procyberВестник кибернетикиProceedings in Cybernetics1999-7604Бюджетное учреждение высшего образования Ханты-Мансийского автономного округа – Югры «Сургутский государственный университет»10.34822/1999-7604-2022-2-66-74procyber-437Research ArticleФИЗИКО-МАТЕМАТИЧЕСКИЕ НАУКИPhysics and MathematicsФОРМАЛИЗАЦИЯ ПРОЦЕДУРЫ ПОДБОРА СВЕРТОЧНЫХ ЯДЕРCHARACTERIZING A PROCEDURE FOR SEARCHING CONVOLUTION KERNELShttps://orcid.org/0000-0002-4686-2752ГиниятуллинВ. М.GiniyatullinV. M.

кандидат технических наук, доцентE-mail: fentazer@mail.ru

Candidate of Sciences (Engi-neering), Associate ProfessorE-mail: fentazer@mail.ru

https://orcid.org/0000-0003-0439-3035ЕрмолаевЕ. В.ErmolaevE. V.

магистрантE-mail: evg.ermo2009@gmail.com

Master’s Degree Student

E-mail: evg.ermo2009@gmail.com

https://orcid.org/0000-0002-9586-0681ХлыбовА. В.KhlybovA. V.

аспирант

E-mail: brinkinvision@gmail.com

Postgraduate

E-mail: brinkinvision@gmail.com

Уфимский государственный нефтяной технический университет, УфаРоссияUfa State Petroleum Technological University, UfaRussian Federation20222906202202 (46)6674Copyright © Гиниятуллин В.М., Ермолаев Е.В., Хлыбов А.В., 20222022Гиниятуллин В.М., Ермолаев Е.В., Хлыбов А.В.Giniyatullin V.M., Ermolaev E.V., Khlybov A.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.vestcyber.ru/jour/article/view/437

В работе представлено описание методики подбора сверточных ядер на примере датасета MNIST. Подробно рассмотрен алгоритм, приведено обоснование возможности его применения, проведен анализ полученных результатов. Разработанный алгоритм в перспективе позволит заменить обучаемые сверточные ядра, состоящие из чисел с плавающей запятой, на дискретные, которые подбираются для каждой прикладной области единожды и позволяют обойтись без обучения сверточных слоев в нейронных сетях.

The article describes a method for searching convolution kernels using the MNIST dataset. The algorithm is studied in detail. The possibility to apply the algorithm is substantiated. The obtained results are analyzed. The algorithm developed will make it possible to substitute discrete kernels, which are selected once for each applied field and do not require training of convolutional layers in neural networks, for trainable convolution kernels consisting of numbers with floating point.

нейронные сетисверточный слойматрица весовглубокое обучениеподбор ядерneural networksconvolutional layermatrix of weightsdeep learningsearching of kernelsReferencesВиноградов О. В., Морозова О. А. Аспекты применения нейронных сетей для прогнозирования чрезвычайных ситуаций // Технологии граждан. безопасности. 2021. № 18. С. 23–26.Виноградов О. В., Морозова О. А. Аспекты применения нейронных сетей для прогнозирования чрезвычайных ситуаций // Технологии граждан. безопасности. 2021. № 18. С. 23–26.Андреев О. А., Трофимов А. Т. Интерпретация весовых коэффициентов и функций активации искусственных нейронных сетей // Цифровая обработка сигналов и ее применение – DSPA-2019. М., 2019. С. 565–569.Андреев О. А., Трофимов А. Т. Интерпретация весовых коэффициентов и функций активации искусственных нейронных сетей // Цифровая обработка сигналов и ее применение – DSPA-2019. М., 2019. С. 565–569.Gokulanathan S., Feldsher A., Malca A., Barret C., Katz G. Simplifying Neural Networks Using Formal Verification // Proceedings of the 12th NASA Formal Methods Symposium (NFM). 2020. P. 85–93.Gokulanathan S., Feldsher A., Malca A., Barret C., Katz G. Simplifying Neural Networks Using Formal Verification // Proceedings of the 12th NASA Formal Methods Symposium (NFM). 2020. P. 85–93.Schirrmeister T. R., Liu R., Hooker S., Ball T. When Less Is More: Simplifying Inputs Aids Neural Networks Understanding // ArXiv. 2022. URL: https://arxiv.org/abs/2201.05610 (дата обращения: 22.03.2022).Schirrmeister T. R., Liu R., Hooker S., Ball T. When Less Is More: Simplifying Inputs Aids Neural Networks Understanding // ArXiv. 2022. URL: https://arxiv.org/abs/2201.05610 (дата обращения: 22.03.2022).Pan W., Dong H., Huo Y. DropNeuron: Simplifying the Structure of Deep Neural Networks // ArXiv. 2016. URL: https://arxiv.org/abs/1606.07326 (дата обращения: 22.03.2022).Pan W., Dong H., Huo Y. DropNeuron: Simplifying the Structure of Deep Neural Networks // ArXiv. 2016. URL: https://arxiv.org/abs/1606.07326 (дата обращения: 22.03.2022).Tanaka H., Kunin D., Yamins D., Ganguli S. Pruning Neural Networks without Any Data by Iteratively Conserving Synaptic Flow // ArXiv. 2020. URL: https://arxiv.org/abs/2006.05467 (дата обращения: 22.03.2022).Tanaka H., Kunin D., Yamins D., Ganguli S. Pruning Neural Networks without Any Data by Iteratively Conserving Synaptic Flow // ArXiv. 2020. URL: https://arxiv.org/abs/2006.05467 (дата обращения: 22.03.2022).Wang C., Zhang G., Grosse R. Picking Winning Tickets before Training by Preserving Gradient Flow // ArXiv. 2020. URL: https://arxiv.org/abs/ 2002.07376 (дата обращения: 22.03.2022).Wang C., Zhang G., Grosse R. Picking Winning Tickets before Training by Preserving Gradient Flow // ArXiv. 2020. URL: https://arxiv.org/abs/ 2002.07376 (дата обращения: 22.03.2022).Хлыбов А. В., Ермолаев Е. В., Зеленов А. С., Коняева Е. Э., Фаррахова К. А., Хужиахметов В. Э., Яковлев А. С. Преобразование весов матриц сверточных нейронных сетей // Теория и практика процессов химической технологии (Марушкинские чтения) : материалы VI Междунар. науч. конф. Уфа : Изд-во УГНТУ, 2021. С. 269–270.Хлыбов А. В., Ермолаев Е. В., Зеленов А. С., Коняева Е. Э., Фаррахова К. А., Хужиахметов В. Э., Яковлев А. С. Преобразование весов матриц сверточных нейронных сетей // Теория и практика процессов химической технологии (Марушкинские чтения) : материалы VI Междунар. науч. конф. Уфа : Изд-во УГНТУ, 2021. С. 269–270.EGG Heartbeat Categorization Dataset. URL: https://www.kaggle.com/shayanfazeli/heartbeat (да-та обращения: 23.03.2022).EGG Heartbeat Categorization Dataset. URL: https://www.kaggle.com/shayanfazeli/heartbeat (да-та обращения: 23.03.2022).IEEE – представление с плавающей точкой. URL: https://docs.microsoft.com/ru-ru/cpp/build/ieee-floating-point-representation?view=msvc-170 (дата обращения: 22.03.2022).IEEE – представление с плавающей точкой. URL: https://docs.microsoft.com/ru-ru/cpp/build/ieee-floating-point-representation?view=msvc-170 (дата обращения: 22.03.2022).Digit Recognizer. URL: https://www.kaggle.com/c/ digit-recognizer/data (дата обращения: 22.03.2022).Digit Recognizer. URL: https://www.kaggle.com/c/ digit-recognizer/data (дата обращения: 22.03.2022).Module05_mnist_conv.ipynb. URL:https://github.com/ SlinkoIgor/Neural_Networks_ and_CV/blob/master/ module05_mnist_conv.ipynb (дата обращения: 22.03.2022).Module05_mnist_conv.ipynb. URL:https://github.com/ SlinkoIgor/Neural_Networks_ and_CV/blob/master/ module05_mnist_conv.ipynb (дата обращения: 22.03.2022).Buntine A. The Balanced Ternary Machines of Soviet Russia. URL: https://dev.to/buntine/the-balanced-ternary-machines-of-soviet-russia (дата обращения: 22.03.2022).Buntine A. The Balanced Ternary Machines of Soviet Russia. URL: https://dev.to/buntine/the-balanced-ternary-machines-of-soviet-russia (дата обращения: 22.03.2022).Кушнеров А. Троичная цифровая техника. Ретроспектива и современность. URL: http://314159.ru/ kushnerov/kushnerov1.pdf (дата обращения: 22.03.2022).Кушнеров А. Троичная цифровая техника. Ретроспектива и современность. URL: http://314159.ru/ kushnerov/kushnerov1.pdf (дата обращения: 22.03.2022).Кнут Д. Э. Искусство программирования / под общ. ред. Ю. В. Козаченко. М. : Вильямс, 2007. 822 с.Кнут Д. Э. Искусство программирования / под общ. ред. Ю. В. Козаченко. М. : Вильямс, 2007. 822 с.Гиниятуллин В. М., Салихова М. А. Эффект компенсации ошибок округления в троично-сбалансированной системе счисления // Вестник кибернетики. 2020. № 4 (40). С. 14–20.Гиниятуллин В. М., Салихова М. А. Эффект компенсации ошибок округления в троично-сбалансированной системе счисления // Вестник кибернетики. 2020. № 4 (40). С. 14–20.Немков Р. М. Исследование сверточной нейронной сети, обученной с помощью метода применения нестандартных рецептивных полей при распознавании изображений // Изв. ЮФУ. Технич. Науки. 2015. С. 79–90.Немков Р. М. Исследование сверточной нейронной сети, обученной с помощью метода применения нестандартных рецептивных полей при распознавании изображений // Изв. ЮФУ. Технич. Науки. 2015. С. 79–90.

The authors declare that there are no conflicts of interest present.