Роботов решили обучать по сигналам человеческого мозга: зачем это понадобилось разработчикам

© A. Krivonosov

Компании, занимающиеся созданием роботов, все чаще сталкиваются с одной и той же проблемой — нехваткой качественных данных для обучения систем искусственного интеллекта. Если для языковых моделей достаточно огромных объемов текста, то роботам необходимы реальные примеры взаимодействия с окружающим миром. Именно поэтому некоторые разработчики начали искать новые способы сбора информации, включая регистрацию активности человеческого мозга.

От видеозаписей к сигналам мозга

Американская компания Encord, разрабатывающая инструменты для подготовки данных для обучения ИИ, тестирует необычный подход. Во время выполнения различных задач сотрудники компании надевают специальные гарнитуры, которые одновременно записывают видео от первого лица и фиксируют мозговую активность.

Одним из экспериментов стала разборка башни из деревянных блоков. Во время работы система собирает не только визуальные данные, но и сигналы мозга. Для этого используется оборудование немецкого стартапа Zander Labs, который изучает возможность определять по мозговым волнам такие состояния, как намерение, ошибка или удивление. Пока проект находится на стадии испытаний. Encord намерена сформировать первый набор подобных данных, проверить, улучшают ли они работу роботизированных моделей, и лишь затем принимать решение о дальнейшем масштабировании проекта.

Главная проблема — недостаток данных

В Encord считают, что развитие физического искусственного интеллекта сегодня ограничивается вовсе не архитектурой моделей, а дефицитом качественных данных для обучения. По словам руководителя направления роботизированного обучения Винита Велмуругана, компания пришла к выводу, что необходимый объем информации просто отсутствует, поэтому его приходится создавать самостоятельно.

Для этого используются записи с камер, закрепленных на людях, дополнительные ракурсы съемки, дистанционное управление роботами и эксперименты с новыми типами сенсоров.

Роботов учат бытовым действиям

На площадке Encord специалисты формируют обучающие наборы данных для самых разных задач. Роботизированные манипуляторы учатся наливать кофе в кружки, складывать покерные фишки, подключать Ethernet-кабели к серверам, а также выполнять другие действия, требующие высокой точности.

В помещениях компании хранятся предметы, которые используются при обучении: книги, пластиковые овощи, вазы с искусственными цветами, провода, наполнители для кошачьих туалетов и другие бытовые объекты. Все это помогает готовить роботов к выполнению повседневных операций.

Новые сенсоры и подробная разметка

Помимо регистрации мозговой активности Encord испытывает еще одну технологию — датчики на предплечье, фиксирующие электрические сигналы мышц. Предполагается, что такая информация позволит точнее восстанавливать трехмерное положение кисти даже тогда, когда часть руки скрыта из поля зрения камеры.

Каждое обучающее видео сопровождается подробным описанием происходящего. Например, система отмечает конкретные действия вроде затягивания болта правой рукой. По оценке Велмуругана, такая детальная разметка значительно ценнее обычных видеозаписей для обучения специализированных моделей, хотя ее создание обходится заметно дороже.

Почему физический ИИ требует другого подхода

Авторы проекта отмечают, что обучение роботов принципиально отличается от развития языковых моделей. Если разработчики LLM смогли использовать уже существующие массивы текстов из интернета, то данные для физического искусственного интеллекта приходится получать специально, проводя реальные эксперименты и фиксируя каждое действие человека.

Именно поэтому сбор такой информации превращается в самостоятельное направление бизнеса, а не остается лишь частью исследовательской работы. По мнению Encord, понимание того, какие методы подготовки данных действительно повышают эффективность роботизированных систем, может стать одним из ключевых факторов дальнейшего развития физического ИИ.