procyberВестник кибернетикиProceedings in Cybernetics1999-7604Бюджетное учреждение высшего образования Ханты-Мансийского автономного округа – Югры «Сургутский государственный университет»10.35266/1999-7604-2025-2-8procyber-681Research ArticleТЕХНИЧЕСКИЕ НАУКИEngeneeringМетод захвата движущегося объекта манипулятором на основе обучения с подкреплениемReinforcement learning-based method for grasping moving object with robotic manipulatorhttps://orcid.org/0009-0008-7577-2327ЦаоИ.CaoY.

аспирант

Postgraduate

caoyin1995@gmail.comМосковский государственный университет имени М. В. Ломоносова, МоскваРоссияLomonosov Moscow State University, MoscowRussian Federation2025180620252426673Copyright © Цао И., 20252025Цао И.Cao Y.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.vestcyber.ru/jour/article/view/681

В статье предлагается метод управления манипулятором с использованием обучения с подкреплением в глубоких нейронных сетях для захвата движущихся объектов на конвейерной ленте. В отличие от задач с захватом статичных объектов, данная проблема требует учета динамических факторов, что существенно усложняет процесс управления. Подробно рассматривается физико-кинематическое моделирование манипулятора, а также интеграция параметров манипулятора и движущихся объектов в структуру нейронной сети. Метод протестирован в среде физического моделирования PyBullet.

The paper proposes a method for controlling a robotic manipulator using reinforcement learning with deep neural networks to grasp moving objects on a conveyor belt. Unlike tasks involving static objects, this problem requires the consideration of dynamic factors, which significantly complicates the control process. The paper provides a detailed description of the physical and kinematic modeling of the manipulator, as well as the integration of manipulator and object parameters into the neural network structure. The method is tested in the PyBullet physics simulation environment.

робот-манипулятормашинное обучениеобучение с подкреплениемкомпьютерное зрениекомпьютерное моделированиеrobot manipulatormachine learningreinforcement learningcomputer visioncomputer simulationReferencesShuzhi S. G., Hang C. C., Woon L. C. Adaptive neural network control of robot manipulators in task space // IEEE transactions on industrial electronics. 1997. No. 6. P. 746–752.Shuzhi S. G., Hang C. C., Woon L. C. Adaptive neural network control of robot manipulators in task space // IEEE transactions on industrial electronics. 1997. No. 6. P. 746–752.Pane Y. P., Nageshrao S. P., Kober J. et al. Reinforcement learning based compensation methods for robot manipulators // Engineering Applications of Artificial Intelligence. 2019. Vol. 78. P. 236–247.Pane Y. P., Nageshrao S. P., Kober J. et al. Reinforcement learning based compensation methods for robot manipulators // Engineering Applications of Artificial Intelligence. 2019. Vol. 78. P. 236–247.Sekkat H., Tigani S., Saadane R. et al. Vision-based robotic arm control algorithm using deep reinforcement learning for autonomous objects grasping // Applied Sciences. 2021. No. 11. P. 7917.Sekkat H., Tigani S., Saadane R. et al. Vision-based robotic arm control algorithm using deep reinforcement learning for autonomous objects grasping // Applied Sciences. 2021. No. 11. P. 7917.Marturi N., Kopicki M., Rastegarpanah A. et al. Dynamic grasp and trajectory planning for moving objects // Autonomous Robots. 2019. No. 43. P. 1241–1256.Marturi N., Kopicki M., Rastegarpanah A. et al. Dynamic grasp and trajectory planning for moving objects // Autonomous Robots. 2019. No. 43. P. 1241–1256.Reed A., Albin D., Pasricha A. et al. Transformer-based Learning Models of Dynamical Systems for Robotic State Prediction. 2024. https://doi.org/10.21203/rs.3.rs-3919154/v1.Reed A., Albin D., Pasricha A. et al. Transformer-based Learning Models of Dynamical Systems for Robotic State Prediction. 2024. https://doi.org/10.21203/rs.3.rs-3919154/v1.Цао И. Метод визуально управляемого захвата 7-степенного манипулятора на основе обучения с подкреплением // Вестник кибернетики. 2025. Т. 24, № 1. С. 31–38.Цао И. Метод визуально управляемого захвата 7-степенного манипулятора на основе обучения с подкреплением // Вестник кибернетики. 2025. Т. 24, № 1. С. 31–38.Lillicrap T. P., Hunt J. J., Pritzel A. et al. Continuous control with deep reinforcement learning // arXiv preprint arXiv:1509.02971. 2015.Lillicrap T. P., Hunt J. J., Pritzel A. et al. Continuous control with deep reinforcement learning // arXiv preprint arXiv:1509.02971. 2015.Fujimoto S., Hoof H., Meger D. Addressing function approximation error in actor-critic methods // Proceedings of the 35th International conference on machine learning, 2018, Stockholm. PMLR, 2018. P. 1587–1596.Fujimoto S., Hoof H., Meger D. Addressing function approximation error in actor-critic methods // Proceedings of the 35th International conference on machine learning, 2018, Stockholm. PMLR, 2018. P. 1587–1596.Haarnoja T., Zhou A., Abbeel P. et al. Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor // Proceedings of the 35th International conference on machine learning, 2018, Stockholm. PMLR, 2018. P. 1861–1870.Haarnoja T., Zhou A., Abbeel P. et al. Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor // Proceedings of the 35th International conference on machine learning, 2018, Stockholm. PMLR, 2018. P. 1861–1870.Schulman J., Wolski F., Dhariwal P. et al. Proximal policy optimization algorithms // arXiv preprint arXiv: 1707.06347. 2017.Schulman J., Wolski F., Dhariwal P. et al. Proximal policy optimization algorithms // arXiv preprint arXiv: 1707.06347. 2017.

The authors declare that there are no conflicts of interest present.