научно-технический задел и методико-алгоритмическое обеспечение систем технического зрения, предназначенных для анализа окружающей обстановки и обеспечения возможности беспилотного движения с помощью визуального ориентирования. Разрабатываемые решения являются адаптивными и позволяют максимально предметно настраивать систему под различные задачи технического зрения. Также в ходе работ разработаны и применены методы детектирования аномалий для обнаружения неизвестных ранее объектов, для которых невозможно создание обучающих выборок. Вкупе с авторским ПО разметки данных и подготовки обучающих выборок, включающим симулятор данных, разработка позволяет добиваться высоких значений функционала качества;

- программный комплекс разметки и подготовки обучающих выборок;

- прототип программного обеспечения системы технического зрения комплекса оперативного мониторинга окружающей обстановки на базе беспилотной версии автомобиля Toyota Prius с возможностью движения по визуальной обстановке без доступа к системам спутниковой навигации;

- встраиваемый вычислитель на базе Jetson Xavier либо ПЛИС с реализованными аппаратно алгоритмами анализа окружающей обстановки. Аппаратный модуль может легко встраиваться в имеющиеся цепи передачи данных робототехнического устройства и в короткие сроки адаптироваться под формат данных и задачи конечного заказчика, имеет кардинально меньшие размеры и энергопотребление по сравнению с аналогами, а прогресс в области нейроморфных вычислителей обеспечивает им высокую производительность при относительно небольшой стоимости.
Технические решения основаны на использовании высокоточных нейронных сетей, обученных на критически малых выборках. В ходе проекта будет решены следующие задачи:

• разработка и модификация алгоритмов технического зрения анализа окружающей обстановки посредством технологий ИИ (обучение с учителем и без учителя, генеративно-состязательные сети и методы детектирования аномалий), обеспечивающих детектирование, локализацию и классификацию объектов на фото и видео в режиме реального времени)
• разработка и реализация алгоритмов автономного движения по визуальной информации с камер видимого и инфракрасного (ИК)-диапазонов,
• разработка программного обеспечения прототипа.

Реализация комплекса будет продемонстрирована на беспилотной версии автомобиля Toyota Prius.

Продуктом разработки является линейка систем технического зрения, которые могут быть установлены на наземные и воздушные носители, позволяющее осуществлять оперативное наблюдение и анализ обстановки с воздуха и с земли и решать поставленную задачу без доступа к системам спутниковой навигации, например:

• автономные автомобили спецслужб (ЦОДД, ЖКХ, ГИБДД, МВД) с расширенным функционалом в области анализа окружающей обстановки;
• служебные автомобили в аэропортах, на закрытых территориях;
• роботы-доставщики в отелях и бизнес-центрах;
• адаптивная система технического зрения широкого профиля, позволяющая индивидуальную настройку: вездеходы, ЖД транспорт, в том числе маневрирующий, стз для станции и вокзала.