Метод захвата движущегося объекта манипулятором на основе обучения с подкреплением

ВВЕДЕНИЕ

С развитием искусственного интеллекта за последние годы эксперты и исследователи активно применяют нейронные сети для решения различных задач в робототехнике и автоматизированном производстве [1]. Одной из актуальных и сложных проблем является захват движущихся объектов, так как он требует от манипулятора способности захватывать объекты с высокой вероятностью успеха, а также выполнять захват за время, соответствующее требованиям производственного процесса. Решение этой задачи имеет огромное значение для оптимизации современных производственных процессов и повышения их эффективности.

Pane и соавт. [2] провели эксперименты на манипуляторе UR5 и показали, что использование алгоритмов обучения с подкреплением (Reinforcement learning, RL) позволяет значительно повысить точность управления, при использовании PD-регулятора погрешность позиционирования конечного эффектора составляла около 2 мм, тогда как при применении RL-методов – около 1 мм.

Sekkat и соавт. [3] продемонстрировали, как алгоритмы глубокого обучения на основе DDPG (Deep Deterministic Policy Gradient) могут повысить эффективность манипулятора при использовании решений на основе YOLO для точного позиционирования объектов. В проведенных экспериментах при захвате статических целей была достигнута вероятность успешного захвата на уровне 95,5 %.

N. Marturi и соавт. [4] предложили метод, использующий решатель обратной кинематики (IK) и анализ ошибки в рабочем пространстве (task space error, разница между текущим положением захвата и целевым положением) для выбора оптимальной траектории захвата движущихся объектов в режиме реального времени. Однако этот подход опирается на несколько камер с фиксированным положением.

Захват объекта – это процесс приближения манипулятора к целевому объекту и его фиксации с помощью захватного устройства. В статье предлагается метод, реализованный с использованием открытых библиотек Stable Baselines3 и PyBullet, основная цель исследования – применение метода обучения с подкреплением для решения задачи захвата движущегося объекта на конвейерной ленте.

МАТЕРИАЛЫ И МЕТОДЫ

В данной работе рассматривается управление манипулятором «Franka Emika Panda» [5], обладающим семью степенями свободы. Как показано на рис. 1, каждое из семи сочленений манипулятора c Joint 0…Joint 6 имеет определенный диапазон вращения, обеспечивая высокую гибкость при выполнении задач. Захват манипулятора обладает максимальной шириной раскрытия 8 см, что позволяет работать с объектами различной формы и размеров. Максимальное усилие захвата составляет 70 ньютонов, а предельная скорость движения пальцев захвата – до 0,1 м/с.

Постановка задачи. На конвейерной ленте равномерно движется объект цилиндрической формы (диаметр d = 0,04 м, высота h = 0,17 м). Требуется использовать манипулятор для захвата объекта в пределах заданной области P (0,7 м × 0,3 м) за время Т = 14 с, при этом манипулятор не должен соприкасаться с конвейерной лентой, а захват должен контактировать с объектом только в процессе захвата.

Математическая формализация задачи: объект движется равномерно вдоль оси X с постоянной скоростью v₀, что описывается уравнением (1):

(1)

где:

x₀ – начальное положение объекта, t – текущее время, а v₀ – постоянная скорость (например, v₀ = 0,05 м/с);

– время (в секундах), в течение которого должен быть выполнен захват;

T =14 с – ограничение по времени выполнения задачи.

Состояние среды и действия агента зависят от времени (2):

(2)

где S_t – 13-мерное наблюдение среды, A_t – 7-мерное управляющее действие. Подробная структура этих векторов будет описана ниже в разделе, посвященном созданию среды обучения.

Таким образом, задача захвата имеет ярко выраженный динамический характер, поскольку координаты объекта x₀ (t), а также состояние среды S_t и действия агента A_t явно зависят от времени, такая зависимость делает задачу динамической, требующей обучения моделей, способных учитывать изменения во времени.

Моделирование манипулятора. PyBullet – это открытая библиотека физического моделирования, которая включает в себя встроенные модели различных современных роботов, манипуляторов и других устройств.

В PyBullet производится моделирование среды и объекта, где зеленый цвет – объект, серый цвет – область захвата, голубой цвет – направление движения, красная, зеленая и синяя линии обозначают оси X, Y и Z (рис. 2).

Преобразование системы координат камеры в мировую систему координат. Передний план и фон на конвейерной ленте используются в качестве маски, и с помощью сегментирующей нейронной сети можно получить пиксельные координаты объекта (u, v) и соответствующее значение глубины d_img из RGBD-камеры. Внутренние параметры камеры представлены матрицей K (3):

(3)

где:

f_x, f_y – фокусное расстояние камеры (в пикселях), вычисляемое по известному углу поля зрения (fov);

c_x, c_y – положение оптического центра камеры (центр изображения).

Формула для преобразования пиксельных координат (u, v) в координаты камеры p_cam = (x_cam, y_cam, z_cam) выглядит следующим образом (4):

(4)

где d – истинная глубина, полученная через камеру. Нормализованное значение глубины d_img денормализуется как (5):

(5)

где:

z_near (ближняя плоскость): минимальная глубина, которую может видеть камера; в симуляции установлено значение 0.1 метра;

z_far (дальняя плоскость): максимальная глубина, которую может видеть камера; в симуляции установлено значение 10 метров;

d_img – это нормализованное значение глубины, полученное RGBD-камерой после захвата изображения. Диапазон значений d_img – от 0 до 1 и истинная глубина d ≥ 0.

Далее строится матрица внешних параметров E (6):

(6)

где:

cam_pos = координаты камеры, представлены в виде матрицы размером 3×1;

R – матрица поворота, вычисленная для описания вращения координатной системы камеры относительно мировой системы координат. В PyBullet R выражается как (7):

(7)

Матрица поворота R формируется из нормализованных векторов направления Forward, Right и Up, представленных как столбцы.

Здесь: focus_pos – координаты фокуса камеры;

вектор Forward =  – направление камеры на фокусе;

вектор Right = – правое направление камеры;

вектор Up = Right × Forward – верхнее направление камеры.

Наконец, координаты камеры преобразуются в мировую систему координат. Точка в координатной системе камеры P_world = (x_w, y_w, z_w, 1) может быть преобразована в точку мировой системы координат с помощью матрицы внешних параметров E (8):

(8)

За более подробным изложением данного процесса можно обратиться к источнику [6].

Вышеупомянутый процесс обработки от получения изображения до вычисления координат занимает около 50 мс на стандартном настольном компьютере (CPU Intel i7–11800H @ 2,3 ГГц). Таким образом, с помощью приведенных выше вычислений мы можем преобразовать координаты камеры движущегося объекта в координаты мировой системы координат.

Создание среды обучения с подкреп­лением. Обучение с подкреплением (Reinforcement learning, RL) – метод машинного обучения, при котором агент обучается через взаимодействие с окружающей средой, получая вознаграждение за успешные действия. Обучение с подкреплением на основе окружающей среды с целью максимизации получаемого вознаграждения в процессе обучения, основные компоненты среды обучения с подкреплением включают:

1. Агент (Робот): манипулятор, взаимодействующий со средой, реализована в PyBullet.

2. Среда: симуляционная установка в PyBullet, показанная на рис. 2.

3. Состояние: определяется пространством наблюдений. Входные данные нейронной сети S_t определяются следующим:

4. Действие: определяется пространством действий. Выходные данные нейронной сети A_t:

где Δθ_i – увеличение угла поворота соответствующего сочленения манипулятора относительно предыдущего действия.

Пространство наблюдений – это множество всех возможных состояний среды, в нашем случае оно реализуется в виде 13-мерного вектора признаков, включающего параметры манипулятора и объекта. Аналогично пространство действий – это множество всех допустимых действий, представленных 7-мерным вектором, соответствующим приращениям углов сочленений манипулятора.

5. Вознаграждение: функция R обратной связи для оценки действия A.

Захват считается успешным, если манипулятор фиксирует объект с точностью не более 2 см, при этом на всем протяжении движения отсутствуют столкновения сочленений с объектом. Учитывая максимальную скорость закрытия захвата (0,1 м/с), такие условия обеспечивают оптимальный момент захвата.

Обучение с подкреплением включает следующие этапы:

Шаг 1. Инициализация параметров: манипулятор устанавливается в начальное положение, а объект появляется в случайной позиции в пределах рабочей области.

Шаг 2. Наблюдение и действие: на основе текущего состояния сети подается на вход наблюдение S_t, сеть принимает решение об изменении углов сочленений A_t.

Шаг 3. Обновление состояния: новое состояние получается в результате выполнения действия манипулятором и движения объекта по конвейеру.

Шаг 4. Вознаграждение: сеть получает вознаграждение R_t за успешное выполнение задачи захвата или штраф за отклонение от объекта (9),

(9)

где:

– штраф за столкновения, направленный на то, чтобы манипулятор избегал ударов;

– дополнительное вознаграждение за выполнение задания;

– вознаграждение, поощряющее сближение захвата с целью;

– вознаграждение, основанное на оставшемся времени после выполнения задачи, стимулирующее более быстрое выполнение.

Шаг 5. Корректировка параметров: обновление параметров нейронной сети.

Шаг 6. Повторить Шаг 1–5.

Процесс показан на рис. 3.

В этой реализации были протестированы различные алгоритмы обучения с подкреплением, представленные в библиотеке Stable Baselines3, включая DDPG [10], TD3 (Twin Delayed Deep Deterministic Policy Gradient) [11], SAC (Soft Actor-Critic) [12] и PPO (Proximal Policy Optimization) [13].

РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ

В процессе экспериментов были протестированы 800 эпизодов на стандартном настольном компьютере с процессором Intel Core i7–11800H. Каждый эпизод содержал 30 000 временных шагов, общий шаг обучения составляет 24 миллиона раз. Для оценки предложенного метода управления манипулятором на основе нейронных сетей мы провели тестирование с использованием четырех современных и популярных алгоритмов обучения с подкреплением: DDPG, TD3, SAC и PPO. Результаты процесса обучения задачи были записаны в TensorBoard (рис. 4):

На рис. 4 представлено изменение уровня успешности в зависимости от числа шагов обучения (ось абсцисс, млн). По оси ординат отложен средний уровень успешности, полученный в результате оценки текущей стратегии в течение 10 эпизодов. Эти данные записываются как eval/success_rate и отображаются в TensorBoard. Можно сделать следующие выводы: алгоритм PPO демонстрирует высокий уровень успешности выполнения задачи. По мере увеличения количества шагов обучения увеличивается и диапазон, в котором достигается 100 % успешности. Алгоритмы SAC и TD3 показывают средние результаты – в пределах 40–60 %, а DDPG демонстрирует наименьший уровень успешности – менее 10 %.

Рис. 5 иллюстрирует производительность различных алгоритмов в условиях случайного тестирования. Можно увидеть, что при случайном тестировании PPO завершает захват еще до прохождения половины серой области, тогда как SAC и TD3, по сравнению с PPO, требуют преодоления дополнительного расстояния, а DDPG выходит за пределы серой области.

Обобщение результатов различных алгоритмов приведено в таблице. Чем выше среднее вознаграждение, тем быстрее выполняется задача захвата и тем лучше общая производительность.

ЗАКЛЮЧЕНИЕ

В данной статье представлено применение нейронных сетей для обучения с подкреплением для решения задачи захвата манипулятором объектов, равномерно движущихся по поверхности, аналогичной конвейерной ленте. Проверка метода проводилась на виртуальной платформе физического моделирования, что подтвердило его применимость и эффективность. В качестве предобученных нейронных сетей были использованы популярные модели PPO, DDPG, SAC и TD3, а также детально описаны этапы решения данной задачи с использованием открытых нейросетевых моделей. Полученные результаты могут служить основой для дальнейших исследований.

В целом обучение с подкреплением позволяет успешно захватывать объекты, движущиеся с низкой скоростью – около 3–5 м в минуту. Дальнейшие направления исследований могут включать изучение использования мобильных роботов для захвата объектов, движущихся с более высокой скоростью.