Построение системы оптимального управления движением меканум-платформы методом «актер-критик»
Сайпулаев Г.Р., Половинкин Р.А., Сайпулаева Г.А.
Национальный исследовательский университет «МЭИ», Москва
Ключевые слова: меканум-платформа, метод «актер-критик», динамика, стабилизация движения, условие непроскальзывания, нейронная сеть, обучение с подкреплением, оптимальное управление.
Аннотация. В рамках данной работы ставится задача построения алгоритма управления методом «актер-критик» для модели динамики меканум-платформы, в котором оптимизируются энергозатраты на управление и отклонения от программного движения. Для этого были построена стационарная система нелинейных дифференциальных уравнений динамики меканум-платформы относительно расширенного вектора состояния. Сформулирована задача оптимального управления и предложено её приближенное решение в виде системы управления, использующей нейронные сети актера и критика, настройка весов которых проводится методом обучения с подкреплением. Полученное математическое описание системы управления меканум-платформы может быть использовано для реализации заданных программных движений. По результатам численного моделирования продемонстрирована работоспособность предложенного управления и сделан вывод о том, что после окончания переходных процессов предложенное управление устраняет отклонения скоростей платформы от программного движения, при этом поправки к управляющим воздействиям обнуляются. Предложен вариант базисных функций для нейронных сетей актера и критика, с помощью которых обеспечивается достаточно точное управление нелинейной динамикой меканум-платформы. Результаты работы могут быть использованы при построении прототипов и разработке программного обеспечения колесных роботов.
Designing optimal motion control system for a mecanum-platform using the actor-critic method
Saypulaev G.R., Polovinkin R.A., Saypulaeva G.A.
National Research University “Moscow Power Engineering Institute”, Moscow
Keywords: mecanum-platform, actor-critic method, dynamics, motion stabilization, no-slip condition, neural network, reinforcement learning, optimal control.
Abstract. This study aims to develop an Actor-Critic control algorithm for the dynamic model of a Mecanum-platform, optimizing both control energy consumption and deviations from the reference trajectory. To achieve this, a stationary system of nonlinear differential equations describing the platform's dynamics was formulated in terms of an extended state vector. An optimal control problem is formulated, and an approximate solution is proposed in the form of a control system employing actor-critic neural networks, the weights of which are tuned using reinforcement learning. The resulting mathematical description of the control system can be used to implement desired reference trajectories. Numerical simulations demonstrate the effectiveness of the proposed control scheme and lead to the conclusion that, following the completion of transient processes, the proposed control eliminates deviations of the platform's velocities from the desired motion, while the corrections to the control inputs become equal to zero. A set of basis functions for the actor and critic neural networks is proposed, enabling sufficiently accurate control of the platform's nonlinear dynamics. The results of the work can be applied to the prototyping and software development of wheeled robots.
