Ru

Операционная среда роботов xoRDE

Разработка архитектуры и макета, специализированной «операционной системы» для программирования роботов и робота-аватара

В рамках проекта создается операционная система «xoRDE» для программирования роботов, обеспечивающая управление и самообучение роботов различной конфигурации – от колесных до биподных и бимануальных (с конечностями) – при выполнении разнообразных видов работ и готовая к использованию в парадигме «из коробки», принятой в ИТ-индустрии, что на сегодняшний день недостижимо при работе с существующими решениями.
 
xorde_ai_robotics«xoRDE» состоит из набора скомпилированных программных модулей и стеков протоколов для управления роботом, начиная от сбора данных с сенсоров, их обработки в режиме реального времени (в т.ч. распознавание образов, речи и т.д.) до выработки управляющих команд с последующей передачей на актуаторы. «xoRDE» запускается на разных компьютерных платформах (Windows, Linux) и не требует программирования со стороны пользователя (настройка производится без единой строчки кода). Основные каналы коммуникации робота, использующего «xoRDE», – вербальный (на основе распознавания речи) и невербальный (на основе распознавания мимики и жестов).

В результате проекта будет создан полнофункциональный образец «xoRDE», состоящий из:
  • «открытой» части (ядро операционной системы, выложенное на платформу GitHub как open-source проект для привлечения сообщества программистов и ускорения процесса разработки);
  • «закрытых» программных модулей (модули самообучения на основе ИИ) и кастомизированных сборок для производителей роботов.

xoRDE_architecture

Использование универсального протокола ONB, работающего на нескольких интерфейсах (CAN, UART, USB, TCP\IP), позволяет подключать в xoRDE приводы и сенсоры различных роботов, таких как LEGO EV3, TurtleBot3, коллаборативных роботов-манипуляторов Universal Robots и антропоморфных роботов.

Также были разработаны модули зрения, речи и распознавания лиц, обеспечивающие «искусственный интеллект» робота. Пользователь ОСР может программировать поведение робота, используя либо консольное приложение, либо графический интерфейс в веб-браузере.

На рис.: архитектура операционной системы xoRDE

Демонстрация работы прототипа операционной среды роботов xoRDE будет выполняться на примере управления коллаборативными роботами UR3e (компании Universal Robots) и РобоКом (компании Нейроботикс, разработан МФТИ в рамках проекта «Ассистивные технологии с нейроуправлением» НТИ). Роботам будет ставиться задача по захвату и переносу тестовых объектов (по команде манипулятор, управляемый xoRDE, последовательно задействует алгоритмы, ответственные за распознавание предмета, расчет траектории перемещения, ориентацию захватного устройства, выполнение захвата и перенос объекта). С помощью речевого интерфейса также можно корректировать действия xoRDE, обучать неизвестным для него характеристикам предметов.

Тренировка нейролингвистического модуля операционной системы будет проводиться с помощью игры «Кто я?», в которой робот задает человеку вопросы, описывающие сущности разных видов (структуры, роли, сценарии, ситуации) и пытается определить условный объект, загаданный человеком. На основе ответов «Да/Нет/Затрудняюсь ответить» робот задает уточняющие вопросы и выстраивает взаимосвязи между понятиями, формируя в итоге представление об определенном объекте как совокупности присущих ему признаков.

Области применения и потенциальные заказчики ОС xoRDE :

  • Разработчики и стартапы в области робототехники;
  • Разработчики высокотехнологичных решений с интегрированными технологиями технического зрения, обработки естественного языка, управления системами с большим числом степеней подвижности;
  • Обучающие курсы по робототехнике (в школах и институтах);
  • Производители и потребители коллаборативных роботов;
  • Производители и потребители социальных роботов, в том числе роботов-логопедов, роботов-речевых ассистентов и компаньонов, информационных роботов-антропоморфов и др.

Также в рамках проекта ведется разработка биподного антропоморфного робота, функционирующего под управлением «xoRDE», для участия в международных соревнованиях ANA Avatar XPRIZE с призовым фондом 10 М$. Заявка команды «xoRDE» была отобрана из более 1800 поданных на конкурс и успешно прошла квалификацию наряду с еще двумя претендентами от России.

Руководитель проекта: заведующий лабораторией Конышев Владимир Анатольевич

Проект реализует Лаборатория нейроробототехники. Партнер: ООО «Нейроботикс»

Демонстрационные ролики работы операционной системы