Реализация бесконтактного взаимодействия с прототипом компьютерного интерфейса в Unity 3D
Аннотация
В статье рассмотрен процесс реализации прототипа бесконтактного взаимодействия пользователя с системой с помощью игрового движка Unity 3D. Описано создание объектов системы: пяти рабочих экранов, выдвигающейся панели меню, панели программ, приветственного экрана и окна программ. Для управления прототипом с помощью устройства Kinect произведено подключение ряда скриптов, разработанных компанией Microsoft, которые позволяют программно воспринимать любые жесты. Также описан комплект классов, позволяющих обработчику идентифицировать конкретные жесты пользователя и производить соответствующие действия. Приведены параметры анимации объектов для перехода между различными состояниями, которые могут изменяться посредством скриптов. Вся разработанная система методов и классов была аккумулирована в одном скрипте для удобства управления и вызова функций проверки. Для запуска интерфейса установлен пароль в виде определенного уникального движения, установленного пользователем. Данный прототип реагирует на шесть жестов: активное махание рукой, единовременный взмах руки влево, вправо, вверх, вниз и удержание руки на месте. В качестве альтернативного средства управления прототипом в Unity 3D предусмотрены соответствующие траектории мыши, которые будут восприниматься так же, как и жесты пользователя.
Об авторах
В. А. Зенг
Омский государственный технический университет
Россия
Россия
О. В. Батенькина
Омский государственный технический университет
Россия
Россия
Список литературы
1. Зенг В. А. Формирование базового словаря жестов для естественного компьютерного бесконтактного интерфейса // Вестн. НГУ. Сер. Информ. технологии. 2018. Т. 16, № 3. С. 105–112.
2. Horton W. K. The icon book: visual symbols for computer systems and documentation. New York: J. Wiley, 2016. 417 p.
3. Кораблев Д. А. Выбор и обоснование показателя эффективности элементов экранных интерфейсов систем электронного документооборота // Сб. тезисов VII конф. молодых ученых. Вып. № 1. Информ. технологии. СПб. : СПб ГУ ИТМО, 2014. С. 112–119.
4. Zhang Z. Microsoft Kinect Sensor and its Effect // IEEE Computer Society. 2012. Vol. 19, No. 2. P. 4–12.
5. Smisek J., Jancosek M., Pajdla T. 3D with Kinect // Computer Vision Workshops (ICCV Workshops), 2011 IEEE International Conference on, 2011. P. 1154–1160.
6. El-laithy R., Jidong H., Yeh M. Study on the use of Microsoft Kinect for Robotics Applications // Position Location and Navigation Symposium (PLANS), 2017 IEEE/ION, 2017. P. 1280–1288.
7. Hodges S., Freeman D., Hilliges O., Molyneaux D., Newcombe R., Shotton J. KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera // UIST’16 Proceedings of the 29th Annual ACM Symposium on User Interface Software and Technology, 2016. P. 559–568.
8. Xia L., Chen C., Agarwal J. Human Detection Using Depth Information by Kinect // Computer Vision and Pattern Recognition Workshops (CVPRW), 2015 IEEE Computer Society Conference on, 2015. P. 15–22.
9. Варфел. Т. З. Прототипирование. М. : Манн, Иванов и Фербер, 2013. 240 с.
10. Быковский В. П. Моделирование прототипа интерфейса // Модели систем распределения информации и их анализ. М., 2012. С. 101–112.
Рецензия
Для цитирования:
Зенг В.А., Батенькина О.В. Реализация бесконтактного взаимодействия с прототипом компьютерного интерфейса в Unity 3D. Вестник кибернетики. 2019;(4 (36)):52-60.
For citation:
Zeng V.A., Batenkina O.V. Implementation of Contactless Interaction with Computer Interface Prototype Using Unity 3D. Proceedings in Cybernetics. 2019;(4 (36)):52-60. (In Russ.)
Просмотров:
263
Послать статью по эл. почте 