<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">procyber</journal-id><journal-title-group><journal-title xml:lang="ru">Вестник кибернетики</journal-title><trans-title-group xml:lang="en"><trans-title>Proceedings in Cybernetics</trans-title></trans-title-group></journal-title-group><issn pub-type="epub">1999-7604</issn><publisher><publisher-name>Бюджетное учреждение высшего образования Ханты-Мансийского автономного округа – Югры «Сургутский государственный университет»</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.34822/1999-7604-2022-3-46-56</article-id><article-id custom-type="elpub" pub-id-type="custom">procyber-456</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>ТЕХНИЧЕСКИЕ НАУКИ</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>Engeneering</subject></subj-group></article-categories><title-group><article-title>ПРИМЕНЕНИЕ БАЙЕСОВСКИХ МЕТОДОВ ДЛЯ ОПТИМИЗАЦИИ ОБУЧЕНИЯ НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ ТЕСТИРОВАНИЯ ПРИЛОЖЕНИЙ</article-title><trans-title-group xml:lang="en"><trans-title>USING BAYESIAN METHODS TO OPTIMIZE TRAINING OF NEURAL NETWORK MODELS FOR APPLICATION TESTING</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0001-5645-6312</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Полухин</surname><given-names>П. В.</given-names></name><name name-style="western" xml:lang="en"><surname>Polukhin</surname><given-names>P. V.</given-names></name></name-alternatives><bio xml:lang="ru"><p>кандидат технических наук</p><p>E-mail: alfa_force@bk.ru</p></bio><bio xml:lang="en"><p>Candidate of Sciences (Engineering)</p><p>E-mail: alfa_force@bk.ru</p></bio><xref ref-type="aff" rid="aff-1"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru"><institution>Воронежский государственный университет, Воронеж</institution><country>Россия</country></aff><aff xml:lang="en"><institution>Voronezh State University, Voronezh</institution><country>Russian Federation</country></aff></aff-alternatives><pub-date pub-type="collection"><year>2022</year></pub-date><pub-date pub-type="epub"><day>03</day><month>11</month><year>2022</year></pub-date><volume>0</volume><issue>3 (47)</issue><fpage>46</fpage><lpage>56</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Полухин П.В., 2022</copyright-statement><copyright-year>2022</copyright-year><copyright-holder xml:lang="ru">Полухин П.В.</copyright-holder><copyright-holder xml:lang="en">Polukhin P.V.</copyright-holder><license xml:lang="ru" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>Данная работа распространяется под лицензией Creative Commons Attribution 4.0.</license-p></license><license xml:lang="en" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>This work is licensed under a Creative Commons Attribution 4.0 License.</license-p></license></permissions><self-uri xlink:href="https://www.vestcyber.ru/jour/article/view/456">https://www.vestcyber.ru/jour/article/view/456</self-uri><abstract><p>Нейросетевые модели являются универсальным инструментом для решения вероятностных задач в различных сферах и областях деятельности. Однако при решении ряда задач применение классических нейросетевых моделей и алгоритмов обучения может приводить к переобучению сети, вследствие чего происходит снижение точности апостериорного распределения выходного слоя нейросети и наблюдается слабая адаптивность сети к самообучению на основе ранее непредставленных данных в обучающей выборке. Тем самым снижаются возможности сети по выявлению аномалий. Одним из методов решения данной проблемы является использование байесовских методов для обучения и вероятностного вывода в нейросетях. При использовании байесовского под-хода в нейросетях подразумевается задание весов сети в виде вероятностного распределения по всем допустимым значениям, которые могут принимать параметры сети. Тогда для определения весов можно использовать классические механизмы обучения и вероятностного вывода, которые используются в байесовских сетях, в частности алгоритмы на основе метода Монте-Карло и цепей Маркова. В работе рассмотрены вопросы применения байесовских нейросетей для моделирования процесса тестирования веб-приложений.</p></abstract><trans-abstract xml:lang="en"><p>Neural network models are a universal tool for solving probabilistic problems in various fields and areas. However, when solving a set of problems, typical neural networks and training algorithms can lead to overfitted networks, resulting in a decrease in the accuracy of the posterior distribution of the output layer of the neural network. In this case, the network fails to adapt fully to self-training due to no data in the training sample, leading to a decrease in the network’s ability to detect anomalies. One of the methods to solve the problem is by using Bayesian methods for training of and inference in neural networks. When using the Bayesian approach in neural networks, it is intended to set the weights in the network as a probability distribution over all values that are permissible for the parameters of the network. Then, classical learning mechanisms and probabilistic inference used in Bayesian networks, such as algorithms based on the Monte Carlo methods and Markov chains, can be used to determine weights. The article considers the issues of using Bayesian neural networks for modeling the process of web application testing.</p></trans-abstract><kwd-group xml:lang="ru"><kwd>метод Монте-Карло</kwd><kwd>цепь Маркова</kwd><kwd>метод максимального правдоподобия</kwd><kwd>максимум апостериорной вероятности</kwd><kwd>вариационный вывод</kwd><kwd>байесовская нейронная сеть</kwd><kwd>многослойный перцептрон</kwd><kwd>методы тестирования</kwd></kwd-group><kwd-group xml:lang="en"><kwd>Monte Carlo method</kwd><kwd>Markov chain</kwd><kwd>maximum likelihood method</kwd><kwd>maximum posterior probability</kwd><kwd>variation inference</kwd><kwd>Bayesian neural network</kwd><kwd>multilayer perceptron</kwd><kwd>testing methods</kwd></kwd-group></article-meta></front><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Skansi S. Introduction to Deep Learning: From Logical Calculus to Artificial Intelligence. 2018. 191 p.</mixed-citation><mixed-citation xml:lang="en">Skansi S. Introduction to Deep Learning: From Logical Calculus to Artificial Intelligence. 2018. 191 p.</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">Зуев В. Н., Кемайкин В. Л. Модифицированные алгоритмы обучения нейронных сетей // Программные продукты и системы. 2019. Т. 4, № 2. С. 258-262.</mixed-citation><mixed-citation xml:lang="en">Зуев В. Н., Кемайкин В. Л. Модифицированные алгоритмы обучения нейронных сетей // Программные продукты и системы. 2019. Т. 4, № 2. С. 258-262.</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Вершков Н. А., Кучуков В. А., Кучукова Н. Н. Теоретический подход к поиску глобального экстремума при обучении нейронных сетей // Тр. ИСП РАН. 2019. Т. 31, № 2. С. 41-52.</mixed-citation><mixed-citation xml:lang="en">Вершков Н. А., Кучуков В. А., Кучукова Н. Н. Теоретический подход к поиску глобального экстремума при обучении нейронных сетей // Тр. ИСП РАН. 2019. Т. 31, № 2. С. 41-52.</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Russell S., Norvig P. Artificial Intelligence: A Modern Approach. Hoboken : Pearson, 2020. 1023 p.</mixed-citation><mixed-citation xml:lang="en">Russell S., Norvig P. Artificial Intelligence: A Modern Approach. Hoboken : Pearson, 2020. 1023 p.</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">Bunch P., Godsill S. Improved Particle Approximations to the Joint Smoothing Distribution Using Markov Chain Monte Carlo // IEEE Transactions Signal Processing. 2013. Vol. 61, Is. 4. P. 946‒953.</mixed-citation><mixed-citation xml:lang="en">Bunch P., Godsill S. Improved Particle Approximations to the Joint Smoothing Distribution Using Markov Chain Monte Carlo // IEEE Transactions Signal Processing. 2013. Vol. 61, Is. 4. P. 946‒953.</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">Mohan K., Pearl J. Graphical Models for Processing Missing Data // Journal of American Statistical Association. 2018. Vol. 116, Is. 534. P. 1023‒1037.</mixed-citation><mixed-citation xml:lang="en">Mohan K., Pearl J. Graphical Models for Processing Missing Data // Journal of American Statistical Association. 2018. Vol. 116, Is. 534. P. 1023‒1037.</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">Азарнова Т. В., Полухин П. В., Аснина Н. Г., Проскурин Д. К. Формирование структуры байесовской сети процесса тестирования надежности информационных систем // Вестн. Воронеж. гос. техн. ун-та. 2017. Т. 13, № 6. 156 с.</mixed-citation><mixed-citation xml:lang="en">Азарнова Т. В., Полухин П. В., Аснина Н. Г., Проскурин Д. К. Формирование структуры байесовской сети процесса тестирования надежности информационных систем // Вестн. Воронеж. гос. техн. ун-та. 2017. Т. 13, № 6. 156 с.</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">Moral P. D., Doucet A. Particle Methods: An Introduction with Application // ESAIM. 2014. Vol. 44. P. 1‒46.</mixed-citation><mixed-citation xml:lang="en">Moral P. D., Doucet A. Particle Methods: An Introduction with Application // ESAIM. 2014. Vol. 44. P. 1‒46.</mixed-citation></citation-alternatives></ref><ref id="cit9"><label>9</label><citation-alternatives><mixed-citation xml:lang="ru">Мельникова И. В., Сметанников Д. И. Исследование уравнений для вероятностных характеристик случайных процессов, заданных стохастическими уравнениями // Тр. ИММ УрО РАН. 2018. Т. 24, № 2. С. 185-193.</mixed-citation><mixed-citation xml:lang="en">Мельникова И. В., Сметанников Д. И. Исследование уравнений для вероятностных характеристик случайных процессов, заданных стохастическими уравнениями // Тр. ИММ УрО РАН. 2018. Т. 24, № 2. С. 185-193.</mixed-citation></citation-alternatives></ref><ref id="cit10"><label>10</label><citation-alternatives><mixed-citation xml:lang="ru">Bardenet R., Doucet A., Holmes C., Bardenet R. Towards Scaling up Markov Chain Monte Carlo:An Adaptive Subsampling Approach // Proceedings of the 31st International Conference on Machine Learning, June 22‒24, 2014, Beijing, China. 2014. Vol. 32, Is. 1. P. 405‒413.</mixed-citation><mixed-citation xml:lang="en">Bardenet R., Doucet A., Holmes C., Bardenet R. Towards Scaling up Markov Chain Monte Carlo:An Adaptive Subsampling Approach // Proceedings of the 31st International Conference on Machine Learning, June 22‒24, 2014, Beijing, China. 2014. Vol. 32, Is. 1. P. 405‒413.</mixed-citation></citation-alternatives></ref><ref id="cit11"><label>11</label><citation-alternatives><mixed-citation xml:lang="ru">LeCun Y., Bengio G., Hinton G. Deep Learning // Nature. 2015. Vol. 521. P. 436‒444.</mixed-citation><mixed-citation xml:lang="en">LeCun Y., Bengio G., Hinton G. Deep Learning // Nature. 2015. Vol. 521. P. 436‒444.</mixed-citation></citation-alternatives></ref><ref id="cit12"><label>12</label><citation-alternatives><mixed-citation xml:lang="ru">Durmus A., Majewski S., Miasojedow B. Analysis of Langevin Monte Carlo via Convex Optimization // Journal of Machine Learning Research. 2019. Vol. 20. P. 1‒46.</mixed-citation><mixed-citation xml:lang="en">Durmus A., Majewski S., Miasojedow B. Analysis of Langevin Monte Carlo via Convex Optimization // Journal of Machine Learning Research. 2019. Vol. 20. P. 1‒46.</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
