В поисковой системе «Яндекса» запустили новую суверенную ИИ-модель
Компания «Яндекс» представила собственную суверенную языковую модель Alice AI Search Pretrain. Эта компактная разработка была обучена с нуля и уже прошла первый этап обучения, обладая знаниями о мире. Об этом пишет сайт Наша Газета Крым.
Благодаря своей архитектуре модель способна мгновенно предоставлять ёмкие ответы и обрабатывать значительное количество запросов.
Alice AI Search Pretrain основана на гибридной архитектуре, ранее использовавшейся в научных исследованиях, которая сочетает Encoder-Decoder и MoE. Одна часть модели отвечает за изучение и отбор информации, другая генерирует ответ, а MoE активирует только те участки нейросети, которые наиболее компетентны в данной теме. Это позволяет ускорить работу и сэкономить вычислительные мощности: при 35 миллиардах параметров на обработку одного токена требуется около 600 миллионов — менее двух процентов.
С июля дообученная версия этой модели функционирует в поисковой системе компании. Разработчики собрали пользовательские сигналы и обучили модель на реальных примерах взаимодействия пользователей с поиском. Ответы отображаются прямо под поисковой строкой и помогают быстро разобраться в теме; каждый месяц быстрыми ответами пользуются более 49 миллионов человек.
Согласно данным слепого тестирования, Alice AI Search Pretrain демонстрирует лучшие результаты по сравнению с зарубежными моделями в своей категории. Она также сопоставима по качеству с аналогами, которым требуется значительно больше вычислительных ресурсов.
