Исследователи из корпорации NVIDIA и Калифорнийского университета в Сан-Диего создали AnyTeleop – систему дистанционного управления на основе технологий «компьютерного зрения», которую можно применять в широком диапазоне сценариев действий для разных типов робототехники. Об этом сообщает портал TechXplore. Перевод основных положений публикации представлен изданием discover24.ru.
«Прежние исследования были сосредоточены на том, как человек будет дистанционно управлять роботом или направлять его, но у этого подхода есть два барьера. Во-первых, обучение современной модели требует множества демонстраций. Кроме того, устройства или сенсорное оборудование, как правило, предназначены только для конкретного робота или среды развертывания», – отметил в беседе с TechXplore Дитер Фокс, руководитель исследовательской лаборатории NVIDIA Robotics Research Lab и профессор Школы компьютерных технологий Вашингтонского университета.
Ключевой целью новой разработки Фокса и его коллег было создание системы дистанционного управления, которая была бы недорогостоящей, простой в развертывании и хорошо обобщала бы различные задачи, среды и роботизированные системы. Чтобы должным образом обучить искусственный интеллект (ИИ) для такой системы, исследователи дистанционно управляли как виртуальными роботами в смоделированных средах, так и реальными роботами в физической среде.
В итоге появилась AnyTeleop – система телеуправления на основе технологий «компьютерного зрения», которая позволяет людям-операторам использовать свои руки для управления более ловкими роботизированными манипуляторами.
Как пояснил Фокс, система сперва отслеживает нужные позы рук человека с одной или нескольких камер, а затем перенаправляет полученные сигналы на управление механики роботизированных устройств по типу «рук»-манипуляторов. Точка запястья при этом используется для управления движением «руки» робота с помощью планировщика движения на базе CUDA (программно-аппаратной архитектуры параллельных вычислений, применяемой для графических процессоров NVIDIA).
В отличие от большинства прежних систем телеуправления, AnyTeleop может успешно взаимодействовать с различными типами роботов-манипуляторов, конфигурациями камер и различными смоделированными или реальными средами. Кроме того, систему можно применять к сценариям, в которых люди-пользователи находятся как рядом, так и в удаленных местах.
В ходе первоначальных испытаний было обнаружено, что AnyTeleop зачастую превосходит в эффективности существующие системы телеуправления, разработанные даже для данного конкретного робота. Это подчеркивает ценность системы в качестве инструмента для улучшения приложений телеуправления.
Как отмечают разработчики, платформа AnyTeleop также может помочь в сборе демонстрационных данных, представляющих движения и действия, которые люди выполняют при выполнении определенных ручных задач. Эти данные, в свою очередь, могут быть использованы для обучения роботов автономному выполнению различных задач.
«Основным прорывом AnyTeleop является его универсальная и легко развертываемая конструкция. Одним из потенциальных применений является развертывание виртуальных сред и виртуальных роботов в «облаке», что позволяет периферийным пользователям с компьютерами начального уровня и камерами (такими как iPhone или ПК) управлять ими дистанционно. Это может в конечном итоге революционизировать конвейер данных для исследователей и промышленных разработчиков, обучающих роботов новым для них навыкам», – отметил Фокс.
Компания NVIDIA уже в ближайшее время намерена выпустить версию системы AnyTeleop с открытым исходным кодом, что позволит исследовательским группам по всему миру протестировать ее и применить к своим роботам. В будущем эта многообещающая новая платформа может способствовать расширению систем телеуправления, а также облегчить сбор обучающих данных для роботов-манипуляторов.