procyberВестник кибернетикиProceedings in Cybernetics1999-7604Бюджетное учреждение высшего образования Ханты-Мансийского автономного округа – Югры «Сургутский государственный университет»10.34822/1999-7604-2022-1-46-54procyber-415Research ArticleТЕХНИЧЕСКИЕ НАУКИEngeneeringРАЗРАБОТКА МОДУЛЯ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ПЕРЕВОДЧИКА СЛОВ ЖЕСТОВОГО ЯЗЫКА В ЗВУКОВОЙ ФОРМАТDEVELOPING A SOFTWARE MODULE FOR TRANSLATING WORDS FROM SIGN LANGUAGE INTO AN AUDIO FORMAThttps://orcid.org/0000-0003-3639-9036СеменоваВ. О.SemenovaV. O.

бакалаврЕ-mail: semenova_vo@bk.ru

Bachelor’s Degree Student

Е-mail: semenova_vo@bk.ru

https://orcid.org/0000-0001-6384-0996СеменоваЛ. Л.SemenovaL. L.

старший преподаватель

Е-mail: semenova_ll@surgu.ru

Senior Lecturer

Е-mail: semenova_ll@surgu.ru

Сургутский государственный университет, СургутРоссияSurgut State University, SurgutRussian Federation20220404202201 (45)4654Copyright © Семенова В.О., Семенова Л.Л., 20222022Семенова В.О., Семенова Л.Л.Semenova V.O., Semenova L.L.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.vestcyber.ru/jour/article/view/415

В статье определены и сформулированы основные требования к нейронной сети с функциями распознавания жестов кистей рук, проведено исследование существующих подходов на соответствие этим требованиям. Составлен перечень для имитации реальных условий использования модуля распознавания жестов «Диалогового сурдопереводчика», дополнительно проведены измерения необходимых характеристик камеры для корректной работы нейронной сети с целью получения качества распознавания кисти руки в режиме реального времени не ниже 75 %. Разработан прототип нейронной сети, представлен успешный результат различения левой и правой руки в имитационных условиях. В качестве перспективы заявлена необходимость обеспечения работы программного обеспечения не только с жестами, но и с речью для дальнейшего развития технологий инклюзии людей с коммуникативными трудностями.

The article determines and formulates the main requirements to a neural network that detects hand gestures. A study of existing approaches is conducted on the matter of their compliance with the requirements. A list of real conditions is compiled to imitate an application of a sign recognition module “Dialogue Sign Language Translator”. In addition to that, the required camera characteristics were measured for proper operation of the neural network in order to obtain a real-time palm recognition quality of at least 75 %. A prototype of a neural network was developed. The study shows the efficiency at differentiating left and right hands during imitation. From the prospect point of view, it is necessary to build the software operating both with signs and with speech in order to continue developing the technologies for inclusion of people with communication difficulties.

сурдопереводнейронные сетижестовый языкмашинное зрениемашинное обучениеMediaPipesign language translationneural networkssign languagemachine visionmachine learningMediaPipeReferencesБизюкин Г. А., Майков К. А. Адаптивный метод распознавания динамических жестов // Новые информ. технологии в автоматизир. системах. 2017. № 20. URL: https://cyberleninka.ru/article/n/adaptivnyy-metod-raspoznavaniya-dinamicheskihzhestov (дата обращения: 15.12.2021).Бизюкин Г. А., Майков К. А. Адаптивный метод распознавания динамических жестов // Новые информ. технологии в автоматизир. системах. 2017. № 20. URL: https://cyberleninka.ru/article/n/adaptivnyy-metod-raspoznavaniya-dinamicheskihzhestov (дата обращения: 15.12.2021).Тухбатуллин М. С., Кирпичников А. П., Ляшева С. А., Шлеймович М. П. Распознавание динамических жестов на основе вычитания фона // Вестник Казан. технолог. ун-та. 2016. № 18. URL: https://cyberleninka.ru/article/n/raspoznavaniedinamicheskih-zhestov-na-osnove-vychitaniya-fona (дата обращения: 15.11.2021).Тухбатуллин М. С., Кирпичников А. П., Ляшева С. А., Шлеймович М. П. Распознавание динамических жестов на основе вычитания фона // Вестник Казан. технолог. ун-та. 2016. № 18. URL: https://cyberleninka.ru/article/n/raspoznavaniedinamicheskih-zhestov-na-osnove-vychitaniya-fona (дата обращения: 15.11.2021).MediaPipe Hands. URL: https://google.github.io/mediapipe/solutions/hands.html (дата обращения: 17.12.2021).MediaPipe Hands. URL: https://google.github.io/mediapipe/solutions/hands.html (дата обращения: 17.12.2021).Zhang F., Bazarevsky V., Vakunov A. et al. Media-Pipe Hands: On-device Real-time Hand Tracking // arXiv. 2020. URL: https://arxiv.org/pdf/2006.pdf (дата обращения: 17.12.2021).Zhang F., Bazarevsky V., Vakunov A. et al. Media-Pipe Hands: On-device Real-time Hand Tracking // arXiv. 2020. URL: https://arxiv.org/pdf/2006.pdf (дата обращения: 17.12.2021).Lugaresi C., Tang J., Nash H. et al. MediaPipe: A Framework for Building Perception Pipelines // Third Workshop on Computer Vision for AR/VR at IEEE Computer Vision and Pattern Recognition (CVPR). 2019. URL: https://arxiv.org/pdf/1906. 08172.pdf (дата обращения: 17.12.2021).Lugaresi C., Tang J., Nash H. et al. MediaPipe: A Framework for Building Perception Pipelines // Third Workshop on Computer Vision for AR/VR at IEEE Computer Vision and Pattern Recognition (CVPR). 2019. URL: https://arxiv.org/pdf/1906. 08172.pdf (дата обращения: 17.12.2021).Маликов А. В. Адаптация структуры диагностической искусственной нейронной сети при появлении новых обучающих примеров // Тр. учеб. заведений связи. 2020. № 4. URL: https://cyberleninka.ru/article/n/adaptatsiya-struktury-diagnosticheskoy-iskusstvennoy-neyronnoy-setipri-poyavlenii-novyh-obuchayuschih-primerov (дата обращения: 20.02.2022).Маликов А. В. Адаптация структуры диагностической искусственной нейронной сети при появлении новых обучающих примеров // Тр. учеб. заведений связи. 2020. № 4. URL: https://cyberleninka.ru/article/n/adaptatsiya-struktury-diagnosticheskoy-iskusstvennoy-neyronnoy-setipri-poyavlenii-novyh-obuchayuschih-primerov (дата обращения: 20.02.2022).Тормозов В. С., Василенко К. А., Золкин А. Л. Настройка и обучение многослойного персептрона для задачи выделения дорожного покрытия на космических снимках города // Программные продукты и системы. 2020. № 2. URL: https://cyberleninka.ru/article/n/nastroyka-i-obucheniemnogosloynogo-perseptrona-dlya-zadachi vydeleniyadorozhnogo-pokrytiya-na-kosmicheskih-snimkah-goroda (дата обращения: 20.02.2022).Тормозов В. С., Василенко К. А., Золкин А. Л. Настройка и обучение многослойного персептрона для задачи выделения дорожного покрытия на космических снимках города // Программные продукты и системы. 2020. № 2. URL: https://cyberleninka.ru/article/n/nastroyka-i-obucheniemnogosloynogo-perseptrona-dlya-zadachi vydeleniyadorozhnogo-pokrytiya-na-kosmicheskih-snimkah-goroda (дата обращения: 20.02.2022).Graph API. URL: https://docs.opencv.org/4.x/d0/d1e/gapi.html (дата обращения: 20.02.2022).Graph API. URL: https://docs.opencv.org/4.x/d0/d1e/gapi.html (дата обращения: 20.02.2022).

The authors declare that there are no conflicts of interest present.