Биоразнообразие является базисом устойчивого развития нашей планеты, обеспечивающим экологическую стабильность и поддерживающим биологические ресурсы. Извлечение признаков растений, именуемых plant traits (например, высоты растения, плотности его стебля или площади листьев), является очень важным моментом для изучения экосистем и прогнозирования их реакции на изменения окружающей среды. Еще большую актуальность этот вопрос приобретает в контексте глобального изменения климата, оказывающего значительное влияние на функционирование экосистем. Отсутствие достаточных данных о признаках растений является серьезным ограничением для моделирования экосистем и предсказания их будущего поведения [1–4].

В этой статье исследуется современный подход к извлечению признаков растений из изображений, сделанных пользователями со всего мира. Метод основан на использовании так называемой комбинированной модели, сочетающей сверточные нейронные сети (CNN) со вспомогательными переменными. CNN-блок используется для извлечения визуальных признаков из изображений, а вспомогательные переменные (в частности, информация о климате, почве, местоположении) предоставляют контекстную информацию. Логично, что совмещение этих двух источников информации позволит повысить точность предсказания признаков растений.

Таким образом, основная цель работы – демонстрация эффективности комбинирования моделей машинного обучения.

Работа с исходными данными и моделью машинного обучения выполнялась на языке Python с использованием соответствующих библиотек и документации.

Комбинированный алгоритм

Алгоритм основан на симбиозе двух подходов машинного обучения: извлечении признаков из фотографий сверточной нейронной сетью и нелинейной регрессии с использованием вспомогательных данных. Этот подход отражает принципы многомодального моделирования (обработка информации разной природы – изображения, переменные), способствующего улучшению качества работы. Кроме того, предобученная CNN играет роль «слабого учителя», уже обладающего знаниями о распознавании образов, тогда как гибридная модель дополнительно обучается на специфических данных о plant traits, что делает ее «сильным учителем», обладающим большей точностью [5].

Общий порядок действий алгоритма представлен в схеме на рис. 1.

Этапы подготовки и предварительной обработки данных

Исходные данные приведены на рис. 2 и 3 и представляют собой два набора информации разных модальностей: более 9000 цветных цифровых изображений растений разных видов.

Изображения были предварительно подготовлены – приведены к единому размеру 224 × 224 пикселя и нормализованы в диапазоне от 0 до 1 (путем деления значения яркости каждого пикселя на 255 – максимальный показатель для 8-битной глубины цвета).

Вспомогательные переменные в CSV-файле для каждого изображения представляют собой вектор из 167 значений, где:

– значение id – уникальный идентификатор, а также префикс имени изображения (для связи мультимодальных данных);

– 6 значений WORLDCLIM_BIO – климатические переменные;

– 62 значения SOIL – переменные почвы;

– 96 значений MODIS/VOD – многовременные спутниковые переменные;

– 3 значения X [*] – целевые признаки plant traits, которые необходимо предсказать (извлечь): X11 – площадь листьев, X18 – высота растения, X26 – сухая масса семян [6, 7].

Для улучшения производительности модели эти данные были также нормализованы [8].

 (1)

В выражении (1):

x′ – нормализованное значение признака;

x– исходное значение признака;

xmin – минимальное значение всех x;

xmax – максимальное значение всех x.

Кроме того, строковые значения id были приведены к числовому типу int.

Данные на рис. 2 и 3 были загружены с общедоступного ресурса по исследованию данных Kaggle.

Этап создания комбинированной модели

В качестве основы для извлечения визуальных признаков было использовано несколько предварительно обученных архитектур CNN: InceptionV3, ResNet50, VGG19. Все они были обучены на большом наборе изображений ImageNet.

Крайний слой каждой из моделей был исключен ввиду иной выполняемой задачи – классификации. Для сохранения «знаний», полученных при предварительном обучении сети, их оставшиеся слои были подвергнуты «заморозке». Это предотвратит изменение весов в слоях CNN при обучении объединенных моделей задаче регрессии [9].

Данные на выходе CNN-моделей имеют вид 4-мерного тензора в формате

V_4d = {b×m×n×k}, (2)

где:

b – размер батча;

m – высота тензора;

n – глубина тензора;

k – количество каналов.

Для успешного комбинирования модели на вход регрессионного блока должен поступать одномерный тензор формата:

V_1d = {1× (b×m×n×k+f)}, (3)

где f – число признаков после обработки вспомогательных переменных.

Следовательно, возникает необходимость конвертирования тензора (2) в тензор (3). Выполняется данное действие благодаря применению Flatten-слоя выпрямления.

Из выражения (3) понятно, что после выпрямления тензора (2) выполняется операция конкатенации по числу признаков.

Таким образом, ветвь изображений представляет собой замороженную предобученную сверточную модель со скорректированным внешним слоем.

Принцип работы комбинированной (совмещенной, гибридной) модели представлен на рис. 4.

Параметры обучения моделей приведены в табл. 1.

Метрики, использованные для оценки работы моделей:

Средняя абсолютная ошибка:

 (4)

Среднеквадратичная ошибка:

 (5)

Коэффициент детерминации:

 (6)

В выражениях (4), (5), (6):

N – количество наблюдений (по числу изображений N = 9147);

M – количество целевых переменных (в данной работе M = 3);

– фактическое значение j-й целевой переменной для i-го наблюдения;

– предсказанное значение j-й целевой переменной для i-го наблюдения;

– среднее значение j-й целевой переменной.

Значение коэффициента детерминации не может превышать 1. Нижний порог неограничен, но отрицательное значение свидетельствует о неработоспособности модели в контексте решаемой задачи [10].

Для доказательства эффективности сочетания сверточной и регрессионной частей результаты извлечения признаков приведены в двух таблицах. В табл. 2 – метрики оценки, обученных задаче регрессии сверточных сетей. В табл. 3 – метрики оценки гибридных моделей с многослойным персептроном в роли нелинейной регрессии.

Из табл. 2 и 3 видно, что модель VGG-19 не подходит для исходного набора данных, скорее всего, ввиду архитектурной простоты – коэффициент детерминации отрицателен. В целом невысокое значение R2 в таблицах объясняется большой сложностью набора исходных данных. Тем не менее эффективность рассматриваемого подхода гибридизации очевидна.

В работе рассмотрен перспективный подход совмещения мультимодальных данных на примере сочетания моделей машинного обучения разной природы. Подтверждена его эффективность в решении задачи определения признаков растений plant traits: результаты показали, что объединение преимуществ сверточных сетей (CNN) для обработки изображений и регрессионных моделей для интеграции вспомогательных данных позволяет улучшить показатели качества обучения – уменьшить величины MAE, MSE и увеличить.

Дальнейшие исследования будут направлены на совершенствование данного метода и могут включать оптимизацию гиперпараметров каждой из составляющих комбинированной модели, борьбу с переобучением, изучение исходных данных на предмет корреляции признаков и целевых переменных, а также ансамблирование.