Evolution of algorithms for managing complex systems

The article presents a comparative analysis of the evolution of control methods for complex systems: from classical PID controllers to modern approaches based on Reinforcement Learning (RL) and Deep Reinforcement Learning (DRL). This study aims to pinpoint the strengths and weaknesses of various control algorithm classes and validate where they can be effectively applied to practical tasks such as autonomous driving, industrial automation, energy, and robotics. The methodology includes a systematic review of 15 scientific sources, structured comparison based on criteria of accuracy (steady-state control error), stability (disturbances and parameter changes), and adaptability (self-tuning capability), analysis of numerical data from practical implementations. The scientific novelty lies in the development of a comprehensive methodology for comparative evaluation of classical and intelligent control systems with quantitative justification of application areas: PID provides accuracy of ±1–3% for linear objects, RL ±0.5–2% with adaptation in 10–50 iterations, DRL ±0.1–0.5% when working with high-dimensional data. The main results show that RL/DRL systems surpass PID in energy efficiency by 10–40% (confirmed by the example of Google data center cooling management with 40% savings) and adaptability in dynamic environments, but require significant computational resources (days or weeks of GPU training) and pose verifiability problems. The practical significance lies in providing control system designers with evidence-based recommendations for choosing the type of control system, considering the complexity of the controlled object, adaptability requirements, and available computational resources.

1. Терехов В. А. Управление в динамических системах: современные задачи и подходы // Известия ЮФУ. Технические науки. 2011. Т. 6, № 119. С. 20–29.

2. Красовский А. А., Колесников А. А., Буков В. Н. и др. Современная прикладная теория управления: Оптимизационный подход в теории управления. Москва–Таганрог : Таганрогский радиотехнический университет, 2000. Ч. 1. 400 с.

3. Frolova K. A., Shestakov A. V. Models for managing the structural parameters of complex project systems // The Way of Science. 2020. Vol. 9, no. 79. P. 35–42.

4. Шубладзе А. М., Гуляев С. В., Малахов В. А. и др. Автоматическая настройка и адаптация в промышленных ПИД регуляторах // Приборы и системы. Управление, контроль, диагностика. 2007. № 12. С. 26–30.

5. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы / пер. с польск. И. Д. Рудинского. 2-е изд. М. : Горячая линия-Телеком, 2013. 384 с.

6. Саяпин О. В., Тиханычев О. В., Безвесильная А. А. и др. Об одной тенденции развития алгоритмов, реализуемых в системах поддержки принятия решений // Программные продукты и системы. 2023. Т. 36, № 3. С. 388–397. https://doi.org/10.15827/0236-235X.143.388-397.

7. Terven J. Deep Reinforcement Learning: A chronological overview and methods // AI. 2025. No. 6. https://doi.org/10.3390/ai6030046.

8. Четвертных А. А., Бобров Д. А., Видинеев Д. С. и др. Сравнительный анализ PID-регулятора и SMC-регулятора // Молодежь. Техника. Космос : труды XVI общероссийской молодежной научно-технической конференции, приуроченной к 90-летию Юрия Алексеевича Гагарина, летчика-космонавта СССР, Героя Советского Союза, первого человека, отправившегося в космическое пространство. 25–29 марта 2024 г., Санкт-Петербург. В 4-х томах. Санкт-Петербург : Балтийский государственный технический университет «ВОЕНМЕХ» им. Д. Ф. Устинова, 2024. С. 64–68.

9. Усков А. А., Кузьмин А. В. Интеллектуальные технологии управления. Искусственные нейронные сети и нечеткая логика. М. : Научно-техническое издательство «Горячая линия-Телеком», 2004. 143 с.

10. Гао Т. Роботизированное обучение по демонстрациям с использованием диффузионной модели и алгоритмов обучения с подкреплением // Инженерный вестник Дона. 2025. Т. 3, № 123. С. 898–919.

11. Trenev I., Tkachenko A., Kustov A. Movement stabilization of the parrot mambo quadcopter along a given trajectory based on PID controllers // IFAC-PapersOnLine. 2021. Vol. 54. P. 227–232. https://doi.org/10.1016/j.ifacol.2021.10.450.

12. Современные технологии в задачах управления, автоматики и обработки информации : труды XXXIII Международной научно-технической конференции, 13–19 сентября 2024 г., г. Сочи. М. : Артишок, 2024. 175 с.

13. Oróstica R., Duarte-Mermoud M. A., Jáuregui C. Stabilization of inverted pendulum using LQR, PID and fractional order PID controllers: A simulated study // 2016 IEEE International Conference on Automatica, ICA-ACCA 2016, October 19–21, 2016, Curico. Curico/Chile : IEEE, 2016. P. 1–7. https://doi.org/10.1109/ICA-ACCA.2016.7778434.

14. Воевода А. А., Романников Д. О. Формирование структуры нейронной сети посредством декомпозиции исходной задачи на примере задачи управления роботом манипулятором // Известия СПбГЭТУ ЛЭТИ. 2018. № 9. С. 27–32.

15. Боровик В. С., Шидловский С. В. Обучение с подкреплением в системах управления объектами с транспортным запаздыванием // Автометрия. 2021. Т. 57, № 3. С. 48–57. https://doi.org/10.15372/AUT20210306.