Нейросеть Kandinsky WM 1.0 создала видео для обучения роботов
Сбер анонсировал новое семейство генеративных моделей Kandinsky WM 1.0, которые предназначены для создания физически правдоподобных видеосцен. Эти модели востребованы для обучения беспилотного транспорта, роботов и других систем Physical AI. Согласно пресс-релизу компании, код и веса моделей уже опубликованы под лицензией MIT и будут доступны разработчикам бесплатно. Об этом рассказывает N + 1.
Системы Physical AI взаимодействуют с физическим миром, включая автомобили, пешеходов, других роботов и промышленное оборудование. Основой их обучения являются большие массивы видеоданных. Однако сбор таких данных является дорогим и трудоемким процессом, а некоторые сценарии, такие как аварии или экстремальные погодные условия, невозможно записать в реальных условиях. Также дообучение роботов в процессе работы может быть не только дорогостоящим, но и опасным.
Ранее использование видео, сгенерированных другими нейросетями для обучения Physical AI, было затруднительным из-за множества ошибок, таких как искажения геометрии и перспективы. Разработчики Сбера, под руководством Дениса Димитрова, смогли решить эту проблему, создав модели, специально предназначенные для генерации физически правдоподобных видеосцен. Новые модели основаны на Kandinsky 5.0 Video Lite и дообучены на миллионах видео с камер роботов и беспилотных автомобилей.
Модели Kandinsky WM теперь способны генерировать физически достоверные видео длительностью около пяти секунд, которые демонстрируют отдельные действия и ситуации, такие как манипуляции с предметами и дорожные сцены. Эти видеоролики могут быть использованы для обучения систем компьютерного зрения и симуляторов беспилотного транспорта. Для улучшения автомобильных сцен разработчики применили этап обучения с подкреплением, где Kandinsky WM генерировали ролики, а другие нейросети оценивали их качество и давали обратную связь.
Модели Kandinsky WM 1.0 уже доступны в открытом репозитории проекта Kandinsky. Институт AIRI использует их в дорожном симуляторе, а Центр робототехники Сбера применяет новые модели для обучения своих роботов.
