procyberВестник кибернетикиProceedings in Cybernetics1999-7604Бюджетное учреждение высшего образования Ханты-Мансийского автономного округа – Югры «Сургутский государственный университет»10.35266/1999-7604-2023-1-29-35procyber-501Research ArticleТЕХНИЧЕСКИЕ НАУКИEngeneeringАНАЛИЗ РАЗВИТИЯ РАСТЕНИЙ С ПОМОЩЬЮ МЕТОДОВ КОМПЬЮТЕРНОГО ЗРЕНИЯANALYSIS OF PLANTS’ GROWTH USING COMPUTER VISION METHODShttps://orcid.org/0000-0001-9828-7051МатохинаА. В.MatokhinaA. V.

кандидат технических наук

E-mail: matokhina.a.v@gmail.com

Candidate of Sciences (Engineering)

E-mail: matokhina.a.v@gmail.com

https://orcid.org/0000-0001-6104-8145ТищенкоВ. В.TishchenkoV. V.

магистрант

E-mail: vsevolutionlord@gmail.com

Master’s Degree Student

E-mail: vsevolutionlord@gmail.com

Волгоградский государственный технический университет, ВолгоградРоссияVolgograd State Technical University, VolgogradRussian Federation2023280420232212935Copyright © Матохина А.В., Тищенко В.В., 20232023Матохина А.В., Тищенко В.В.Matokhina A.V., Tishchenko V.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.vestcyber.ru/jour/article/view/501

Представлено описание разработки сервиса для мониторинга развития растений в комнатной теплице с использованием моделей компьютерного зрения, сбора визуальных данных с использованием платы esp32-cam и камеры OV5640 и извлечения отдельных растений из получаемых изображений с помощью модели детектирования YOLO v4. Трекинг высаженных растений выполнен с помощью библиотеки DeepSORT. Исходя из определяемой культуры оценивается возраст для вычис-ления скорости развития высаженных растений, а также оповещения пользователя о достижении заданных показателей. Методы компьютерного зрения реализованы с помощью фреймворка TensorFlow 2, полученная точность классификации – 99 %, коэффициент детерминации модели Random Forest для регрессии возраста растения – 0,94.

The study describes the development of a service for monitoring plants’ growth in an indoor greenhouse using computer vision models, visual data collection with the esp32-cam card, the OV5640 camera, and the YOLO v4 detection model for extracting individual plants from the images. The plants tracking was performed by the DeepSORT library. The study determined the age of plants according to their type in order to identify their growth rate and notify the user when the parameters achieved. The computer vision methods are implemented through the TensorFlow 2 framework, with 99 % of classification accuracy, and Random Forest coefficient of determination of 0.94 for the regression of a plant’s age.

сельское хозяйствокомнатная теплицамониторингнейронные сетиagricultureindoor greenhousemonitoringneural networksReferencesBačić S., Tomić H., Andlar G., Roić M. Towards Integrated Land Management: The Role of Green Infra-structure. ISPRS Int J GeoInf. 2022. No. 10. P. 513. DOI 10.3390/ijgi11100513.Bačić S., Tomić H., Andlar G., Roić M. Towards Integrated Land Management: The Role of Green Infra-structure. ISPRS Int J GeoInf. 2022. No. 10. P. 513. DOI 10.3390/ijgi11100513.Kozai T., Niu G., Takagaki M. PFAL Business and R&D in Asia and North America: Status and Perspectives. Plant Factory: An Indoor Vertical Farming System for Efficient Quality Food Production. 2nd Ed. 2020. P. 35‒76.Kozai T., Niu G., Takagaki M. PFAL Business and R&D in Asia and North America: Status and Perspectives. Plant Factory: An Indoor Vertical Farming System for Efficient Quality Food Production. 2nd Ed. 2020. P. 35‒76.Danyltsiv O., Khomiak A., Nazarevych O. Usage of Artificial Intelligence Systems and Working with the Neural Network in Assessing the Condition of Plants in Smart Greenhouses. 3rd International Workshop on Modern Machine Learning Technologies and Data Science, June 5, 2021, Lviv-Shatsk, Ukraine. URL: https://ceur-ws.org/Vol-2917/paper20.pdf (дата обращения: 20.01.2023).Danyltsiv O., Khomiak A., Nazarevych O. Usage of Artificial Intelligence Systems and Working with the Neural Network in Assessing the Condition of Plants in Smart Greenhouses. 3rd International Workshop on Modern Machine Learning Technologies and Data Science, June 5, 2021, Lviv-Shatsk, Ukraine. URL: https://ceur-ws.org/Vol-2917/paper20.pdf (дата обращения: 20.01.2023).Прошкин Ю. А., Смирнов А. А., Соколов А. В. и др. Оптический мониторинг овощных культур на основе цифровой обработки RGB изображений // Инновации в сельском хозяйстве. 2019. № 4. С. 266–278.Прошкин Ю. А., Смирнов А. А., Соколов А. В. и др. Оптический мониторинг овощных культур на основе цифровой обработки RGB изображений // Инновации в сельском хозяйстве. 2019. № 4. С. 266–278.Kerkecha M., Hafianea A., Canalsb R. Vine Disease Detection in UAV multispectral Images Using Optimized Image Registration and Deep Learning Segmentation Approach. Computers and Electronics in Agriculture. 2020. Vol. 174. P. 105446. URL: https://hal.science/hal-03299578/document (дата обращения: 20.01.2023).Kerkecha M., Hafianea A., Canalsb R. Vine Disease Detection in UAV multispectral Images Using Optimized Image Registration and Deep Learning Segmentation Approach. Computers and Electronics in Agriculture. 2020. Vol. 174. P. 105446. URL: https://hal.science/hal-03299578/document (дата обращения: 20.01.2023).Harakannanavara S. S., Rudagib J. M., Purani-kmathb V. I. et. al. Plant Leaf Disease Detection Using Computer Vision and Machine Learning Algorithms. Global Transitions Proceedings. 2022. Vol. 3, No. 1. P. 305‒310. DOI 10.1016/j.gltp. 2022.03.016.Harakannanavara S. S., Rudagib J. M., Purani-kmathb V. I. et. al. Plant Leaf Disease Detection Using Computer Vision and Machine Learning Algorithms. Global Transitions Proceedings. 2022. Vol. 3, No. 1. P. 305‒310. DOI 10.1016/j.gltp. 2022.03.016.Al-Gunaid M. A., Shcherbakov M. V., Tishchenko V. V. et. al. The System of Intelligent Identi-fication of Harmful Objects in the Field of Agricul-ture. Creativity in Intelligent Technologies and Data Science. CIT&DS 2021. Communications in Com-puter and Information Science. 2021. Vol. 1448. P. 177–189. DOI 10.1007/978-3-030-87034-8_14.Al-Gunaid M. A., Shcherbakov M. V., Tishchenko V. V. et. al. The System of Intelligent Identi-fication of Harmful Objects in the Field of Agricul-ture. Creativity in Intelligent Technologies and Data Science. CIT&DS 2021. Communications in Com-puter and Information Science. 2021. Vol. 1448. P. 177–189. DOI 10.1007/978-3-030-87034-8_14.Брыкин В. В., Брагинский М. Я., Тараканова И. О. и др. Анализ состояния растений с применением технологий искусственного интеллекта // Вестник кибернетики. 2022. № 4. С. 6–13.Брыкин В. В., Брагинский М. Я., Тараканова И. О. и др. Анализ состояния растений с применением технологий искусственного интеллекта // Вестник кибернетики. 2022. № 4. С. 6–13.TensorFlow Core. URL: https://www.tensorflow.org/ overview (дата обращения: 20.01.2023).TensorFlow Core. URL: https://www.tensorflow.org/ overview (дата обращения: 20.01.2023).Bochkovskiy A., Wang C., Liao H. M. YOLOv4: Optimal Speed and Accuracy of Object Detection. arXiv. 2020. URL: https://arxiv.org/pdf/2004.10934.pdf (дата обращения: 20.01.2023).Bochkovskiy A., Wang C., Liao H. M. YOLOv4: Optimal Speed and Accuracy of Object Detection. arXiv. 2020. URL: https://arxiv.org/pdf/2004.10934.pdf (дата обращения: 20.01.2023).Pereira R., Carvalho G., Garrote L., Nunes U. J. Sort and Deep-SORT Based Multi-Object Tracking for Mobile Robotics: Evaluation with New Data Association Metrics. Appl Sci. 2022. Vol. 12, No. 3. P. 1319. DOI 10.3390/app12031319.Pereira R., Carvalho G., Garrote L., Nunes U. J. Sort and Deep-SORT Based Multi-Object Tracking for Mobile Robotics: Evaluation with New Data Association Metrics. Appl Sci. 2022. Vol. 12, No. 3. P. 1319. DOI 10.3390/app12031319.Keras Applications. URL: https://keras.io/api/appli cations/ (дата обращения: 20.01.2023).Keras Applications. URL: https://keras.io/api/appli cations/ (дата обращения: 20.01.2023).

The authors declare that there are no conflicts of interest present.