Российские ученые обучили ИИ переносить объекты на новые фоны

Специалисты МФТИ, Высшей школы экономики и Института системного программирования имени В.П. Иванникова РАН разработали алгоритмы, которые позволяют генеративным нейросетям более точно выделять объекты на изображении и сохранять их уникальные черты. Об этом сообщает портал Наша Газета Крым.

В основе большинства современных генеративных моделей лежат диффузионные алгоритмы. Они добавляют случайные помехи в изображение, а затем постепенно убирают их, одновременно внедряя элементы из текстового запроса. Этот подход хорошо работает при обучении на нескольких фотографиях, но если исходный материал один, модель может копировать не только нужный объект, но и лишние детали окружения.

Как пояснил один из разработчиков, магистрант кафедры алгоритмов и технологий программирования МФТИ Максим Фофанов, при ограниченном количестве примеров модель усваивает не суть объекта, а случайные детали. Новый метод основывается на том, что малые шумы отвечают за тонкие черты образа — текстуру шерсти, форму носа, цвет глаз, в то время как большие отражают общую схему расположения элементов. Ученые математически изменили распределение вероятностей в пользу малых шумов, что позволило модели запоминать больше деталей, связанных с идентичностью объекта.

Фофанов добавил, что метод почти не требует дополнительных вычислительных ресурсов: не нужны ни лишние проходы через сеть, ни новые параметры модели, ни дополнительная память. Меняются только распределение шагов и весовой коэффициент. Тестирование различных режимов показало, что технология улучшает редактируемость — способность нейросети реагировать на новые текстовые запросы и помещать объект в неожиданные контексты, сохраняя качество воспроизведения.

Предложенный код можно интегрировать в любую существующую систему. По словам разработчиков, это позволит осуществлять продвинутый ИИ-дизайн на ноутбуках и смартфонах, а также расширит возможности серверов генерации изображений.

Главный редактор IT-World.RU и журнала IT Expert Андрей Виноградов отметил, что сервисы вроде Nano Banana при работе с одним исходником сталкиваются с проблемой меморизации контекста: объект «срастается» с окружением, и на новый фон вместе с лицом переносятся тени. Попытки устранить эти эффекты часто стирают индивидуальные черты. По его мнению, зарубежные разработчики достигли значительного прогресса в этих направлениях, но гонка за лидерами — это провальный путь, поэтому российским специалистам следует искать решения для создания конкурентоспособных продуктов.

Руководитель Центра искусственного интеллекта Сибирского федерального университета Анна Пятаева назвала одно из главных преимуществ таких решений — доступность. Небольшие компании смогут создавать рекламные материалы без значительных затрат, дизайнеры — за считанные минуты проверять множество идей, а обычные пользователи — реализовывать творческие замыслы, для которых ранее не хватало навыков или средств.

Эксперт по защите информации, руководитель пресс-службы компании «Код Безопасности» Андрей Горячев отметил, что инструменты быстрой генерации изображений могут быть использованы для создания фейков и поддельных материалов, которые могут нанести вред людям и организациям. Для выявления признаков ИИ-генерации, по его словам, применяются те же нейросети: они анализируют метаданные, ищут артефакты моделей, выявляют неестественные движения и аномалии в анатомии, пейзажах и интерьере.

Научный сотрудник группы «Контролируемый генеративный ИИ» лаборатории FusionBrain Института AIRI Вера Соболева отметила, что управлять генерацией «только голосом» на практике удается редко — обычно требуется несколько этапов доработки, поэтому это все еще ремесло, а не «волшебная кнопка». В будущем технологии, вероятно, позволят напрямую превращать мысли в изображения или видеоряд, но главная сложность заключается не в генерации, а в считывании данных: ИИ пока не умеет расшифровывать сигналы мозга.