CHARACTERIZING A PROCEDURE FOR SEARCHING CONVOLUTION KERNELS
https://doi.org/10.34822/1999-7604-2022-2-66-74
Abstract
The article describes a method for searching convolution kernels using the MNIST dataset. The algorithm is studied in detail. The possibility to apply the algorithm is substantiated. The obtained results are analyzed. The algorithm developed will make it possible to substitute discrete kernels, which are selected once for each applied field and do not require training of convolutional layers in neural networks, for trainable convolution kernels consisting of numbers with floating point.
About the Authors
V. M. Giniyatullin
Ufa State Petroleum Technological University, Ufa
Russian Federation
Russian Federation
Candidate of Sciences (Engi-neering), Associate Professor
E-mail: fentazer@mail.ru
E. V. Ermolaev
Ufa State Petroleum Technological University, Ufa
Russian Federation
Russian Federation
Master’s Degree Student
E-mail: evg.ermo2009@gmail.com
A. V. Khlybov
Ufa State Petroleum Technological University, Ufa
Russian Federation
Russian Federation
Postgraduate
E-mail: brinkinvision@gmail.com
References
1. Виноградов О. В., Морозова О. А. Аспекты применения нейронных сетей для прогнозирования чрезвычайных ситуаций // Технологии граждан. безопасности. 2021. № 18. С. 23–26.
2. Андреев О. А., Трофимов А. Т. Интерпретация весовых коэффициентов и функций активации искусственных нейронных сетей // Цифровая обработка сигналов и ее применение – DSPA-2019. М., 2019. С. 565–569.
3. Gokulanathan S., Feldsher A., Malca A., Barret C., Katz G. Simplifying Neural Networks Using Formal Verification // Proceedings of the 12th NASA Formal Methods Symposium (NFM). 2020. P. 85–93.
4. Schirrmeister T. R., Liu R., Hooker S., Ball T. When Less Is More: Simplifying Inputs Aids Neural Networks Understanding // ArXiv. 2022. URL: https://arxiv.org/abs/2201.05610 (дата обращения: 22.03.2022).
5. Pan W., Dong H., Huo Y. DropNeuron: Simplifying the Structure of Deep Neural Networks // ArXiv. 2016. URL: https://arxiv.org/abs/1606.07326 (дата обращения: 22.03.2022).
6. Tanaka H., Kunin D., Yamins D., Ganguli S. Pruning Neural Networks without Any Data by Iteratively Conserving Synaptic Flow // ArXiv. 2020. URL: https://arxiv.org/abs/2006.05467 (дата обращения: 22.03.2022).
7. Wang C., Zhang G., Grosse R. Picking Winning Tickets before Training by Preserving Gradient Flow // ArXiv. 2020. URL: https://arxiv.org/abs/ 2002.07376 (дата обращения: 22.03.2022).
8. Хлыбов А. В., Ермолаев Е. В., Зеленов А. С., Коняева Е. Э., Фаррахова К. А., Хужиахметов В. Э., Яковлев А. С. Преобразование весов матриц сверточных нейронных сетей // Теория и практика процессов химической технологии (Марушкинские чтения) : материалы VI Междунар. науч. конф. Уфа : Изд-во УГНТУ, 2021. С. 269–270.
9. EGG Heartbeat Categorization Dataset. URL: https://www.kaggle.com/shayanfazeli/heartbeat (да-та обращения: 23.03.2022).
10. IEEE – представление с плавающей точкой. URL: https://docs.microsoft.com/ru-ru/cpp/build/ieee-floating-point-representation?view=msvc-170 (дата обращения: 22.03.2022).
11. Digit Recognizer. URL: https://www.kaggle.com/c/ digit-recognizer/data (дата обращения: 22.03.2022).
12. Module05_mnist_conv.ipynb. URL:https://github.com/ SlinkoIgor/Neural_Networks_ and_CV/blob/master/ module05_mnist_conv.ipynb (дата обращения: 22.03.2022).
13. Buntine A. The Balanced Ternary Machines of Soviet Russia. URL: https://dev.to/buntine/the-balanced-ternary-machines-of-soviet-russia (дата обращения: 22.03.2022).
14. Кушнеров А. Троичная цифровая техника. Ретроспектива и современность. URL: http://314159.ru/ kushnerov/kushnerov1.pdf (дата обращения: 22.03.2022).
15. Кнут Д. Э. Искусство программирования / под общ. ред. Ю. В. Козаченко. М. : Вильямс, 2007. 822 с.
16. Гиниятуллин В. М., Салихова М. А. Эффект компенсации ошибок округления в троично-сбалансированной системе счисления // Вестник кибернетики. 2020. № 4 (40). С. 14–20.
17. Немков Р. М. Исследование сверточной нейронной сети, обученной с помощью метода применения нестандартных рецептивных полей при распознавании изображений // Изв. ЮФУ. Технич. Науки. 2015. С. 79–90.
Review
For citations:
Giniyatullin V.M., Ermolaev E.V., Khlybov A.V. CHARACTERIZING A PROCEDURE FOR SEARCHING CONVOLUTION KERNELS. Proceedings in Cybernetics. 2022;(2 (46)):66-74. (In Russ.) https://doi.org/10.34822/1999-7604-2022-2-66-74
Views:
143
Email this article 