procyberВестник кибернетикиProceedings in Cybernetics1999-7604Бюджетное учреждение высшего образования Ханты-Мансийского автономного округа – Югры «Сургутский государственный университет»procyber-241Research ArticleСтатьиРеализация бесконтактного взаимодействия с прототипом компьютерного интерфейса в Unity 3DImplementation of Contactless Interaction with Computer Interface Prototype Using Unity 3DЗенгВ. А.ZengV. A.valeriyazeng@mail.ruБатенькинаО. В.BatenkinaO. V.oksi-bat@mail.ruОмский государственный технический университетРоссияOmsk State Technical UniversityRussian Federation20193003202004 (36)5260Copyright © Зенг В.А., Батенькина О.В., 20202020Зенг В.А., Батенькина О.В.Zeng V.A., Batenkina O.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.vestcyber.ru/jour/article/view/241

В статье рассмотрен процесс реализации прототипа бесконтактного взаимодействия пользователя с системой с помощью игрового движка Unity 3D. Описано создание объектов системы: пяти рабочих экранов, выдвигающейся панели меню, панели программ, приветственного экрана и окна программ. Для управления прототипом с помощью устройства Kinect произведено подключение ряда скриптов, разработанных компанией Microsoft, которые позволяют программно воспринимать любые жесты. Также описан комплект классов, позволяющих обработчику идентифицировать конкретные жесты пользователя и производить соответствующие действия. Приведены параметры анимации объектов для перехода между различными состояниями, которые могут изменяться посредством скриптов. Вся разработанная система методов и классов была аккумулирована в одном скрипте для удобства управления и вызова функций проверки. Для запуска интерфейса установлен пароль в виде определенного уникального движения, установленного пользователем. Данный прототип реагирует на шесть жестов: активное махание рукой, единовременный взмах руки влево, вправо, вверх, вниз и удержание руки на месте. В качестве альтернативного средства управления прототипом в Unity 3D предусмотрены соответствующие траектории мыши, которые будут восприниматься так же, как и жесты пользователя.

The article presents the prototype implementation process of contactless user-machine interaction using the Unity 3D game engine. It describes the creation of system objects: five desktops, a drop-down menu bar, a taskbar, a welcome screen and a program window. To control the prototype using the Kinect, a number of scripts, which were originally developed by Microsoft Corporation, are used. These scripts allow recognizing and identifying all possible gestures in software. A set of classes that allow identifying pre-set user gesture and performing relevant action are also described. Objects animation parameters for a transition between different states, which can be changed by scripts, are described. The entire system of methods and classes is assembled into one piece to make control and verification functionality easier to manage. A password gesture is set as a certain unique movement by the user to start the user session. This prototype responds to six human gestures: active hand waving, one-time hand wave to the left, to the right, up, down and holding a hand still. Mouse’s motions that can be recognized as alternative user gestures are provided.

человеко-машинное взаимодействиепрограммное приложениебесконтактный интерфейспрототипзахват движениятехнологии бесконтактного взаимодействияпользователи с ограниченными возможностями здоровьяhuman-machine interactionsoftware applicationcontactless interfaceprogram prototypemotion capturecontactless interaction technologiesusers with disabilitiesReferencesЗенг В. А. Формирование базового словаря жестов для естественного компьютерного бесконтактного интерфейса // Вестн. НГУ. Сер. Информ. технологии. 2018. Т. 16, № 3. С. 105–112.Зенг В. А. Формирование базового словаря жестов для естественного компьютерного бесконтактного интерфейса // Вестн. НГУ. Сер. Информ. технологии. 2018. Т. 16, № 3. С. 105–112.Horton W. K. The icon book: visual symbols for computer systems and documentation. New York: J. Wiley, 2016. 417 p.Horton W. K. The icon book: visual symbols for computer systems and documentation. New York: J. Wiley, 2016. 417 p.Кораблев Д. А. Выбор и обоснование показателя эффективности элементов экранных интерфейсов систем электронного документооборота // Сб. тезисов VII конф. молодых ученых. Вып. № 1. Информ. технологии. СПб. : СПб ГУ ИТМО, 2014. С. 112–119.Кораблев Д. А. Выбор и обоснование показателя эффективности элементов экранных интерфейсов систем электронного документооборота // Сб. тезисов VII конф. молодых ученых. Вып. № 1. Информ. технологии. СПб. : СПб ГУ ИТМО, 2014. С. 112–119.Zhang Z. Microsoft Kinect Sensor and its Effect // IEEE Computer Society. 2012. Vol. 19, No. 2. P. 4–12.Zhang Z. Microsoft Kinect Sensor and its Effect // IEEE Computer Society. 2012. Vol. 19, No. 2. P. 4–12.Smisek J., Jancosek M., Pajdla T. 3D with Kinect // Computer Vision Workshops (ICCV Workshops), 2011 IEEE International Conference on, 2011. P. 1154–1160.Smisek J., Jancosek M., Pajdla T. 3D with Kinect // Computer Vision Workshops (ICCV Workshops), 2011 IEEE International Conference on, 2011. P. 1154–1160.El-laithy R., Jidong H., Yeh M. Study on the use of Microsoft Kinect for Robotics Applications // Position Location and Navigation Symposium (PLANS), 2017 IEEE/ION, 2017. P. 1280–1288.El-laithy R., Jidong H., Yeh M. Study on the use of Microsoft Kinect for Robotics Applications // Position Location and Navigation Symposium (PLANS), 2017 IEEE/ION, 2017. P. 1280–1288.Hodges S., Freeman D., Hilliges O., Molyneaux D., Newcombe R., Shotton J. KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera // UIST’16 Proceedings of the 29th Annual ACM Symposium on User Interface Software and Technology, 2016. P. 559–568.Hodges S., Freeman D., Hilliges O., Molyneaux D., Newcombe R., Shotton J. KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera // UIST’16 Proceedings of the 29th Annual ACM Symposium on User Interface Software and Technology, 2016. P. 559–568.Xia L., Chen C., Agarwal J. Human Detection Using Depth Information by Kinect // Computer Vision and Pattern Recognition Workshops (CVPRW), 2015 IEEE Computer Society Conference on, 2015. P. 15–22.Xia L., Chen C., Agarwal J. Human Detection Using Depth Information by Kinect // Computer Vision and Pattern Recognition Workshops (CVPRW), 2015 IEEE Computer Society Conference on, 2015. P. 15–22.Варфел. Т. З. Прототипирование. М. : Манн, Иванов и Фербер, 2013. 240 с.Варфел. Т. З. Прототипирование. М. : Манн, Иванов и Фербер, 2013. 240 с.Быковский В. П. Моделирование прототипа интерфейса // Модели систем распределения информации и их анализ. М., 2012. С. 101–112.Быковский В. П. Моделирование прототипа интерфейса // Модели систем распределения информации и их анализ. М., 2012. С. 101–112.

The authors declare that there are no conflicts of interest present.