Эволюция алгоритмов управления сложными системами

В статье проведен сравнительный анализ эволюции методов управления сложными системами – от классических ПИД-регуляторов к современным подходам на основе обучения с подкреплением (RL, Reinforcement Learning) и глубокого обучения с подкреплением (DRL, Deep Reinforcement Learning). Цель исследования – выявить сильные и слабые стороны различных классов алгоритмов управления и обосновать области их эффективного применения в прикладных задачах (автономное вождение, промышленная автоматизация, энергетика, робототехника). Методология включает систематический обзор 15 научных источников, структурированное сравнение по критериям точности (установившейся ошибки регулирования), устойчивости (к возмущениям и изменению параметров) и адаптивности (способности к самонастройке), анализ численных данных из практических внедрений. Научная новизна состоит в разработке комплексной методики сравнительной оценки классических и интеллектуальных систем управления с количественным обоснованием областей применения: ПИД обеспечивают точность ±1–3 % для линейных объектов, RL ±0,5–2 % с адаптацией за 10–50 итераций, DRL ±0,1–0,5 % при работе с высокоразмерными данными. Основные результаты показывают, что RL/DRL-системы превосходят ПИД по энергоэффективности на 10–40 % (подтверждено на примере управления охлаждением дата-центра Google с экономией 40 %) и адаптивности в динамичных средах, однако требуют значительных вычислительных ресурсов (дни–недели обучения на GPU) и порождают проблемы верифицируемости. Практическая значимость заключается в предоставлении инженерам-проектировщикам АСУ ТП (Автоматизированная Система Управления Технологическим Процессом), обоснованных рекомендаций по выбору типа системы управления с учетом сложности объекта, требований к адаптивности и доступных вычислительных ресурсов.

1. Терехов В. А. Управление в динамических системах: современные задачи и подходы // Известия ЮФУ. Технические науки. 2011. Т. 6, № 119. С. 20–29.

2. Красовский А. А., Колесников А. А., Буков В. Н. и др. Современная прикладная теория управления: Оптимизационный подход в теории управления. Москва–Таганрог : Таганрогский радиотехнический университет, 2000. Ч. 1. 400 с.

3. Frolova K. A., Shestakov A. V. Models for managing the structural parameters of complex project systems // The Way of Science. 2020. Vol. 9, no. 79. P. 35–42.

4. Шубладзе А. М., Гуляев С. В., Малахов В. А. и др. Автоматическая настройка и адаптация в промышленных ПИД регуляторах // Приборы и системы. Управление, контроль, диагностика. 2007. № 12. С. 26–30.

5. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы / пер. с польск. И. Д. Рудинского. 2-е изд. М. : Горячая линия-Телеком, 2013. 384 с.

6. Саяпин О. В., Тиханычев О. В., Безвесильная А. А. и др. Об одной тенденции развития алгоритмов, реализуемых в системах поддержки принятия решений // Программные продукты и системы. 2023. Т. 36, № 3. С. 388–397. https://doi.org/10.15827/0236-235X.143.388-397.

7. Terven J. Deep Reinforcement Learning: A chronological overview and methods // AI. 2025. No. 6. https://doi.org/10.3390/ai6030046.

8. Четвертных А. А., Бобров Д. А., Видинеев Д. С. и др. Сравнительный анализ PID-регулятора и SMC-регулятора // Молодежь. Техника. Космос : труды XVI общероссийской молодежной научно-технической конференции, приуроченной к 90-летию Юрия Алексеевича Гагарина, летчика-космонавта СССР, Героя Советского Союза, первого человека, отправившегося в космическое пространство. 25–29 марта 2024 г., Санкт-Петербург. В 4-х томах. Санкт-Петербург : Балтийский государственный технический университет «ВОЕНМЕХ» им. Д. Ф. Устинова, 2024. С. 64–68.

9. Усков А. А., Кузьмин А. В. Интеллектуальные технологии управления. Искусственные нейронные сети и нечеткая логика. М. : Научно-техническое издательство «Горячая линия-Телеком», 2004. 143 с.

10. Гао Т. Роботизированное обучение по демонстрациям с использованием диффузионной модели и алгоритмов обучения с подкреплением // Инженерный вестник Дона. 2025. Т. 3, № 123. С. 898–919.

11. Trenev I., Tkachenko A., Kustov A. Movement stabilization of the parrot mambo quadcopter along a given trajectory based on PID controllers // IFAC-PapersOnLine. 2021. Vol. 54. P. 227–232. https://doi.org/10.1016/j.ifacol.2021.10.450.

12. Современные технологии в задачах управления, автоматики и обработки информации : труды XXXIII Международной научно-технической конференции, 13–19 сентября 2024 г., г. Сочи. М. : Артишок, 2024. 175 с.

13. Oróstica R., Duarte-Mermoud M. A., Jáuregui C. Stabilization of inverted pendulum using LQR, PID and fractional order PID controllers: A simulated study // 2016 IEEE International Conference on Automatica, ICA-ACCA 2016, October 19–21, 2016, Curico. Curico/Chile : IEEE, 2016. P. 1–7. https://doi.org/10.1109/ICA-ACCA.2016.7778434.

14. Воевода А. А., Романников Д. О. Формирование структуры нейронной сети посредством декомпозиции исходной задачи на примере задачи управления роботом манипулятором // Известия СПбГЭТУ ЛЭТИ. 2018. № 9. С. 27–32.

15. Боровик В. С., Шидловский С. В. Обучение с подкреплением в системах управления объектами с транспортным запаздыванием // Автометрия. 2021. Т. 57, № 3. С. 48–57. https://doi.org/10.15372/AUT20210306.