ФОРМАЛИЗАЦИЯ ПРОЦЕДУРЫ ПОДБОРА СВЕРТОЧНЫХ ЯДЕР
https://doi.org/10.34822/1999-7604-2022-2-66-74
Аннотация
В работе представлено описание методики подбора сверточных ядер на примере датасета MNIST. Подробно рассмотрен алгоритм, приведено обоснование возможности его применения, проведен анализ полученных результатов. Разработанный алгоритм в перспективе позволит заменить обучаемые сверточные ядра, состоящие из чисел с плавающей запятой, на дискретные, которые подбираются для каждой прикладной области единожды и позволяют обойтись без обучения сверточных слоев в нейронных сетях.
Об авторах
В. М. Гиниятуллин
Уфимский государственный нефтяной технический университет, Уфа
Россия
Россия
кандидат технических наук, доцент
E-mail: fentazer@mail.ru
Е. В. Ермолаев
Уфимский государственный нефтяной технический университет, Уфа
Россия
Россия
магистрант
E-mail: evg.ermo2009@gmail.com
А. В. Хлыбов
Уфимский государственный нефтяной технический университет, Уфа
Россия
Россия
аспирант
E-mail: brinkinvision@gmail.com
Список литературы
1. Виноградов О. В., Морозова О. А. Аспекты применения нейронных сетей для прогнозирования чрезвычайных ситуаций // Технологии граждан. безопасности. 2021. № 18. С. 23–26.
2. Андреев О. А., Трофимов А. Т. Интерпретация весовых коэффициентов и функций активации искусственных нейронных сетей // Цифровая обработка сигналов и ее применение – DSPA-2019. М., 2019. С. 565–569.
3. Gokulanathan S., Feldsher A., Malca A., Barret C., Katz G. Simplifying Neural Networks Using Formal Verification // Proceedings of the 12th NASA Formal Methods Symposium (NFM). 2020. P. 85–93.
4. Schirrmeister T. R., Liu R., Hooker S., Ball T. When Less Is More: Simplifying Inputs Aids Neural Networks Understanding // ArXiv. 2022. URL: https://arxiv.org/abs/2201.05610 (дата обращения: 22.03.2022).
5. Pan W., Dong H., Huo Y. DropNeuron: Simplifying the Structure of Deep Neural Networks // ArXiv. 2016. URL: https://arxiv.org/abs/1606.07326 (дата обращения: 22.03.2022).
6. Tanaka H., Kunin D., Yamins D., Ganguli S. Pruning Neural Networks without Any Data by Iteratively Conserving Synaptic Flow // ArXiv. 2020. URL: https://arxiv.org/abs/2006.05467 (дата обращения: 22.03.2022).
7. Wang C., Zhang G., Grosse R. Picking Winning Tickets before Training by Preserving Gradient Flow // ArXiv. 2020. URL: https://arxiv.org/abs/ 2002.07376 (дата обращения: 22.03.2022).
8. Хлыбов А. В., Ермолаев Е. В., Зеленов А. С., Коняева Е. Э., Фаррахова К. А., Хужиахметов В. Э., Яковлев А. С. Преобразование весов матриц сверточных нейронных сетей // Теория и практика процессов химической технологии (Марушкинские чтения) : материалы VI Междунар. науч. конф. Уфа : Изд-во УГНТУ, 2021. С. 269–270.
9. EGG Heartbeat Categorization Dataset. URL: https://www.kaggle.com/shayanfazeli/heartbeat (да-та обращения: 23.03.2022).
10. IEEE – представление с плавающей точкой. URL: https://docs.microsoft.com/ru-ru/cpp/build/ieee-floating-point-representation?view=msvc-170 (дата обращения: 22.03.2022).
11. Digit Recognizer. URL: https://www.kaggle.com/c/ digit-recognizer/data (дата обращения: 22.03.2022).
12. Module05_mnist_conv.ipynb. URL:https://github.com/ SlinkoIgor/Neural_Networks_ and_CV/blob/master/ module05_mnist_conv.ipynb (дата обращения: 22.03.2022).
13. Buntine A. The Balanced Ternary Machines of Soviet Russia. URL: https://dev.to/buntine/the-balanced-ternary-machines-of-soviet-russia (дата обращения: 22.03.2022).
14. Кушнеров А. Троичная цифровая техника. Ретроспектива и современность. URL: http://314159.ru/ kushnerov/kushnerov1.pdf (дата обращения: 22.03.2022).
15. Кнут Д. Э. Искусство программирования / под общ. ред. Ю. В. Козаченко. М. : Вильямс, 2007. 822 с.
16. Гиниятуллин В. М., Салихова М. А. Эффект компенсации ошибок округления в троично-сбалансированной системе счисления // Вестник кибернетики. 2020. № 4 (40). С. 14–20.
17. Немков Р. М. Исследование сверточной нейронной сети, обученной с помощью метода применения нестандартных рецептивных полей при распознавании изображений // Изв. ЮФУ. Технич. Науки. 2015. С. 79–90.
Рецензия
Для цитирования:
Гиниятуллин В.М., Ермолаев Е.В., Хлыбов А.В. ФОРМАЛИЗАЦИЯ ПРОЦЕДУРЫ ПОДБОРА СВЕРТОЧНЫХ ЯДЕР. Вестник кибернетики. 2022;(2 (46)):66-74. https://doi.org/10.34822/1999-7604-2022-2-66-74
For citation:
Giniyatullin V.M., Ermolaev E.V., Khlybov A.V. CHARACTERIZING A PROCEDURE FOR SEARCHING CONVOLUTION KERNELS. Proceedings in Cybernetics. 2022;(2 (46)):66-74. (In Russ.) https://doi.org/10.34822/1999-7604-2022-2-66-74
Просмотров:
142
Послать статью по эл. почте 