РАЗРАБОТКА МОДУЛЯ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ПЕРЕВОДЧИКА СЛОВ ЖЕСТОВОГО ЯЗЫКА В ЗВУКОВОЙ ФОРМАТ
https://doi.org/10.34822/1999-7604-2022-1-46-54
Аннотация
В статье определены и сформулированы основные требования к нейронной сети с функциями распознавания жестов кистей рук, проведено исследование существующих подходов на соответствие этим требованиям. Составлен перечень для имитации реальных условий использования модуля распознавания жестов «Диалогового сурдопереводчика», дополнительно проведены измерения необходимых характеристик камеры для корректной работы нейронной сети с целью получения качества распознавания кисти руки в режиме реального времени не ниже 75 %. Разработан прототип нейронной сети, представлен успешный результат различения левой и правой руки в имитационных условиях. В качестве перспективы заявлена необходимость обеспечения работы программного обеспечения не только с жестами, но и с речью для дальнейшего развития технологий инклюзии людей с коммуникативными трудностями.
Ключевые слова
Об авторах
В. О. Семенова
Сургутский государственный университет, Сургут
Россия
Россия
бакалавр
Е-mail: semenova_vo@bk.ru
Л. Л. Семенова
Сургутский государственный университет, Сургут
Россия
Россия
старший преподаватель
Е-mail: semenova_ll@surgu.ru
Список литературы
1. Бизюкин Г. А., Майков К. А. Адаптивный метод распознавания динамических жестов // Новые информ. технологии в автоматизир. системах. 2017. № 20. URL: https://cyberleninka.ru/article/n/adaptivnyy-metod-raspoznavaniya-dinamicheskihzhestov (дата обращения: 15.12.2021).
2. Тухбатуллин М. С., Кирпичников А. П., Ляшева С. А., Шлеймович М. П. Распознавание динамических жестов на основе вычитания фона //
3. Вестник Казан. технолог. ун-та. 2016. № 18. URL: https://cyberleninka.ru/article/n/raspoznavaniedinamicheskih-zhestov-na-osnove-vychitaniya-fona
4. (дата обращения: 15.11.2021).
5. MediaPipe Hands. URL: https://google.github.io/mediapipe/solutions/hands.html (дата обращения: 17.12.2021).
6. Zhang F., Bazarevsky V., Vakunov A. et al. Media-Pipe Hands: On-device Real-time Hand Tracking // arXiv. 2020. URL: https://arxiv.org/pdf/2006.
7. pdf (дата обращения: 17.12.2021).
8. Lugaresi C., Tang J., Nash H. et al. MediaPipe: A Framework for Building Perception Pipelines // Third Workshop on Computer Vision for AR/VR at
9. IEEE Computer Vision and Pattern Recognition (CVPR). 2019. URL: https://arxiv.org/pdf/1906. 08172.pdf (дата обращения: 17.12.2021).
10. Маликов А. В. Адаптация структуры диагностической искусственной нейронной сети при появлении новых обучающих примеров // Тр. учеб.
11. заведений связи. 2020. № 4. URL: https://cyberleninka.ru/article/n/adaptatsiya-struktury-diagnosticheskoy-iskusstvennoy-neyronnoy-setipri-poyavlenii-novyh-obuchayuschih-primerov (дата обращения: 20.02.2022).
12. Тормозов В. С., Василенко К. А., Золкин А. Л. Настройка и обучение многослойного персептрона для задачи выделения дорожного покрытия на космических снимках города // Программные продукты и системы. 2020. № 2. URL: https://cyberleninka.ru/article/n/nastroyka-i-obucheniemnogosloynogo-perseptrona-dlya-zadachi vydeleniyadorozhnogo-pokrytiya-na-kosmicheskih-snimkah-goroda (дата обращения: 20.02.2022).
13. Graph API. URL: https://docs.opencv.org/4.x/d0/d1e/gapi.html (дата обращения: 20.02.2022).
Рецензия
Для цитирования:
Семенова В.О., Семенова Л.Л. РАЗРАБОТКА МОДУЛЯ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ПЕРЕВОДЧИКА СЛОВ ЖЕСТОВОГО ЯЗЫКА В ЗВУКОВОЙ ФОРМАТ. Вестник кибернетики. 2022;(1 (45)):46-54. https://doi.org/10.34822/1999-7604-2022-1-46-54
For citation:
Semenova V.O., Semenova L.L. DEVELOPING A SOFTWARE MODULE FOR TRANSLATING WORDS FROM SIGN LANGUAGE INTO AN AUDIO FORMAT. Proceedings in Cybernetics. 2022;(1 (45)):46-54. (In Russ.) https://doi.org/10.34822/1999-7604-2022-1-46-54
Просмотров:
228
Послать статью по эл. почте 