Применение нейросетевого классификатора для оценки эмоционального состояния человека

ВВЕДЕНИЕ

Развитие цифровых фотографических систем (оптика, цифровая матрица, алгоритмы кодирования и системы сжатия) привело к тому, что изображение стало источником информации, важным для различных видов человеческой деятельности. Внедрение цифровых компьютерных технологий, в том числе и цифровой фотографии в разнообразные виды производств приводит к появлению возможностей для решения задач, которых ранее не было.

Одной из таких задач является оценка состояния человека при выполнении различных технологических операций на производстве, что связано с обеспечением качества выполнения работы и сохранности здоровья человека. Характерной чертой работы операторов является монотонная, напряженная работа в различных производственных условиях (пыль, шум, слабое освещение и т. д.), что может привести к эмоциональному срыву, физическому утомлению. В таком состоянии у работника рассеивается внимание, в результате увеличивается количество неточных действий и как следствие, ошибок. Другая задача опирается на встроенные технологии получения изображений и фиксации состояния человека как основы качественного изображения. Встречаются и варианты задач, которые связаны с определением эмоционального состояния человека.

Это состояние издавна интересовало философов, художников, врачей и фотографов, которые с разной результативностью и направленностью пытаются решить эту задачу на описательном или техническом уровне. Возможность получать изображение человека, особенно лица, привела к необходимости разработки различных подходов к оценке эмоционального состояния человека. Для этого необходимо внедрение новых и совершенствование известных методов, позволяющих фиксировать с заданной точностью реакцию человека на определенные события, проявляющуюся на лицевых мышцах. Оказывается, что те или иные эмоции человека приводят к повторяющимся изменениям лицевых мышц, что позволяет фиксировать это событие и идентифицировать типы эмоций.

Учитывая сказанное ранее, целью статьи является разработка подхода обработки изображений на основе нейросетевых методов, подготовка программного обеспечения и проверка его работы, получение результатов и их всесторонний анализ.

Началом использования системного подхода в решении задачи распознавания эмоций человека считают систему кодирования лицевых движений (Facial Action Coding System, или FACS), разработанную в 1978 г. П. Экманом и У. Фризеном [1]. В 90-х гг. ХХ в. появление средств вычислительной техники дало возможность обрабатывать графическую информацию с распознаванием движения различных областей лица [2–5]. В настоящее время наблюдается рост интереса к искусственному интеллекту, машинному обучению и компьютерному зрению. Современная технология OpenCV (Open Source Computer Vision Library) предоставляет набор инструментов для обработки изображений и видео, а Python является одним из популярных языков программирования для разработки приложений с использованием машинного обучения.

Такие приложения с функцией распознавания эмоций человека могут автоматизировать процесс анализа эмоционального состояния кандидата на собеседовании, что может повысить объективность в принятии обоснованных решений. В традиционных собеседованиях рекрутеры оценивают эмоциональное состояние кандидата на основе субъективных и не всегда точных ощущений (особенно с использованием конференц-связи), что может приводить к ошибочным выводам и неоправданным решениям.

Особое внимание заслуживает возможность применения таких систем распознавания эмоций при проведении учебного (тренировочного) процесса, а именно для анализа настроения и вовлеченности обучающихся в учебный (тренировочный) процесс. Актуальность в этой области состоит в том, что зачастую обучение (тренировка) происходит в групповом режиме и преподавателю (наставнику) физически невозможно наблюдать за состоянием обучающихся в каждый момент времени.

Также будет полезно применять такие системы отслеживания эмоций в коллективах, осуществляющих трудовую деятельность. Известно, что для повышения эффективности и безопасности функционирования человеко-машинных систем необходимо уделить особое внимание уровню подготовки операторов технологическими объектами управления. Для этого широко используют как электронные информационно-образовательные среды, так и специализированные компьютерные тренажеры [6–11]. Использование системы отслеживания эмоций в методах обучения позволяет учитывать индивидуальные особенности человека-оператора в плане его эмоциональных реакций в процессе профессионального тренинга.

МАТЕРИАЛЫ И МЕТОДЫ

Аппаратная часть установки включала персональный компьютер с операционной системой Windows 10 с подключенной через интерфейс USB веб-камерой Logitech C270. Эта камера имеет максимальное разрешение 1280×720 пикселей, что достаточно для качественного отображения лиц. При максимальном разрешении скорость видеосъемки достигает 30 кадров в секунду, а угол обзора объектива камеры составляет 55°. В камере реализована автоматическая фокусировка.

Для разработки программного обеспечения на языке программирования Python в качестве инструментальной среды разработки использовалась кроссплатформенная интегрированная среда PyCharm. Для поиска лиц в кадре применялся метод Виолы – Джонса, названный так по именам его разработчиков [12]. В основе данного метода лежит разбиение области изображения на графические элементы (так называемые примитивы Хаара), и в настоящее время многие алгоритмы распознавания образов широко его используют. Сами примитивы Хаара представляют собой прямоугольники, в свою очередь, состоящие из черно-белых геометрических областей в различных комбинациях, как показано на рис. 1.

Позже этот метод был усовершенствован и стал включать примитивы с поворотом на 45^°, а также несимметричные примитивы [13][14].

Блок-схема алгоритма программы классификации эмоции показана на рис. 2.

В начале работы программы происходила загрузка каскадного классификатора Хаара для обнаружения лиц – cv2.CascadeClassifier (cv2.data.haarcascades) и инициализация веб-камеры. В случае успешного подключения камеры и считывания кадра производилось преобразование цветного изображения в полутоновое изображение (с оттенками серого). Это изображение выводилось на экран, на котором прямоугольной рамкой выделялась область лица: face = frame [y: y+h, x: x+w]. Затем осуществлялась классификация доминирующей эмоции с помощью библиотеки DeepFace, вывод на экран и запись в массив:

Массив FaceData, содержащий данные о пяти эмоциях: «Happy», «Fear», «Disgust», «Angry», «Neutral», их количестве, координаты лица, а также соответствующие номера кадров использовался для последующего анализа. Обработка кадров видеопотока происходила в цикле в течение одной минуты, затем массив FaceData экспортировался в табличный файл для просмотра в программе Excel (рис. 3).

РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ

Разработанная программа была применена для выявления признаков утомления человека в процессе выполнения трудовых функций. В данном исследовании под оптимальным функциональным состоянием понималось состояние условно здорового человека в первый час рабочей смены. Соответственно, под состоянием утомления понималось психофизиологическое состояние этого же человека в конце рабочей смены в тот же день. Испытуемый должен был в течение одной минуты сидеть перед компьютером с веб-камерой для выявления и регистрации эмоций. Несмотря на то что испытуемый в это время не находился в процессе активного решения рабочих задач, в отдельные моменты его лицевые мышцы осуществляли непроизвольные сокращения малой амплитуды, которые были классифицированы системой как базовые эмоции «Happy», «Fear», «Disgust», «Angry» и «Neutral». По полученным данным были построены диаграммы распределения эмоциональных состояний человека, распознанных нейросетевым классификатором, показанные на рис. 4 и 5.

На рис. 4 показана круговая диаграмма соотношения распознанных классов эмоций в оптимальном функциональном состоянии человека, а на рис. 5 – круговая диаграмма соотношения распознанных классов эмоций этого же человека в состоянии утомления. Видно, что в случае оптимального функционального состоянии у человека наблюдается более разнообразная мимика, а в состоянии утомления – более скудная, с возрастанием доли «Angry» с 5 до 11 %.

ЗАКЛЮЧЕНИЕ

В результате проведенной работы была разработана и апробирована программа идентификации и анализа эмоционального состояния человека. Разработанный программный модуль идентификации и анализа эмоционального состояния может быть использован при обучении операторов АСУ ТП и построении компьютерных тренажеров. Использование данного решения может спрогнозировать раннее утомление человека как на этапе обучения, так и в процессе работы, что может повысить качество обучения операторов АСУ ТП с учетом их индивидуальных особенностей и надежность человеко-машинной системы в целом.