Нейросетевой симулятор реальности: как «Сбер» обучает роботов через генерацию физически достоверных сцен

Концептуальная архитектура генеративной модели

В отличие от традиционных генеративных сетей, создающих статичные изображения, Kandinsky WM 1.0 представляет собой эволюционный шаг в направлении так называемых «моделей мира» — нейросетевых структур, способных не просто воспроизводить визуальные паттерны, но и моделировать причинно-следственные связи, динамику взаимодействия объектов и пространственно-временную непрерывность. Подобные разработки ведутся ведущими технологическими корпорациями: например, Google развивает модель Genie 3, доступ к которой для тестировщиков открылся в январе 2026 года.

В корпорации Google полагают, что модели мира представляют собой ключевую технологическую веху на пути к созданию общего искусственного интеллекта (AGI) и обучению полностью автономных роботизированных систем. Kandinsky WM 1.0 реализует первый этап этого пути — она генерирует видеопоследовательности продолжительностью до пяти секунд, имитирующие различные физические взаимодействия.

Модульная структура для различных сценариев применения

Разработанный инструментарий включает три специализированные модели, каждая из которых адаптирована под конкретный класс задач:

• Дорожный модуль — ориентирован на симуляцию транспортных сценариев, включая аварийные ситуации и нестандартные дорожные условия.

• Манипуляционный модуль — предназначен для генерации движений роботизированных рук и захватных устройств.

• Модуль сложной физики — моделирует взаимодействия с участием деформируемых объектов и многофазных сред.

Все три модели распространяются на платформах GitHub, GitVerse и HuggingFace под лицензией MIT, что допускает их коммерческое использование. Подобная открытость позволяет разработчикам беспилотного транспорта, промышленных манипуляторов и человекоподобных роботов интегрировать генеративные возможности в свои исследовательские и производственные процессы.

Технологическая основа и тренировочные корпуса

Базовой архитектурой для Kandinsky WM 1.0 послужила модель Kandinsky 5.0 Video Lite, подвергнутая дообучению на видеоматериалах, записанных с камер роботизированных систем и беспилотных автомобилей. Такой подход позволяет применять сгенерированные данные в ситуациях, где реальные съёмки затруднены или опасны — например, для обучения алгоритмов поведения такси при внезапном появлении животных на проезжей части.

Объём тренировочных данных впечатляет: нейросеть была обучена на 5,3 миллиона видеороликов из трёх различных датасетов. Для автономного транспорта использовалось 1,5 миллиона видео из 25 стран (датасет Nvidia), для робототехники — 2,2 миллиона роликов бытовых сцен, включающих складывание одежды, уборку и кухонные операции (датасеты GenRobot и китайской AgiBot). Для модуля сложной физики дополнительно отобрали 300 тысяч видеозаписей вручную.

Практическое внедрение и перспективы развития

Разработанные нейросети уже находят применение в Центре робототехники «Сбера» для обучения собственных роботизированных систем, а также в институте AIRI для создания дорожного симулятора. Генеративные возможности Kandinsky WM 1.0 позволяют существенно расширить спектр тренировочных сценариев без привлечения дорогостоящего натурного оборудования и без рисков, связанных с реальными испытаниями.

Однако текущая версия — лишь первый шаг на пути к полноценным моделям мира. В перспективе такие системы должны обрести функции не только генерации кадров и симуляции, но и планирования последовательных действий автономного агента. Это откроет возможности для создания поистине адаптивных роботизированных систем, способных самостоятельно принимать решения в неструктурированной среде.

Открытие кода Kandinsky WM 1.0 знаменует важный этап в развитии отечественной школы искусственного интеллекта, демонстрируя готовность российских разработчиков к конкуренции на глобальном технологическом поле. Для исследователей и инженеров, занятых в сфере робототехники и компьютерного зрения, этот инструмент представляет собой ценный ресурс, позволяющий ускорить разработку и внедрение автономных систем самого различного назначения.