Разработанный специалистами алгоритм позволит роботам пускать в ход инструменты для передвижения предметов.
Учеными комбинировано два подхода обучения. В первом робот экспериментирует и перемещает предметы различным образом. Во втором случае робота подключают к нейросети, где он «представляет», как поведет себя предмет при определенном воздействии. Данные эксперимента показывают, что робот способен активно использовать даже те предметы, которые он не видел до этого.
Перемещение предметов обыденно для человека, однако для робота нетривиально. Алгоритм дает роботу задачу, и в виде стрелок показывает ему куда необходимо передвинуть предмет. После расчетов с помощью манипулятора и камеры робот двигает предметы к заданной точке.
У алгоритма есть одна интересная особенность. Алгоритм направляет в нейросеть все просчитанные им последовательности действия, а нейросеть синтезирует видео и отправляет в ответ, кадр, который будет идти следующим. Робот изучает полученные записи и сравнивает их с реально найденными предметами, полученными на изображении. После анализа он выбирает сценарии наиболее близкие к реальным и заново просчитывает свои действия. Определив лучший сценарий, робот двигает предметы.
Инженеры доказали, что робот может передвигать предметы в назначенную ему область. Иногда он понимает, что ему легче воспользоваться собственным манипулятором, чем предложенным предметом.
