В Сбербанке разработали компактную ИИ-модель для оценки ответов нейросетей
Исследователи из управления экспериментальных систем машинного обучения Сбербанка представили Pollux — открытую компактную модель-судью и инструментарий для оценки языковых моделей по заданным пользователем критериям. Эта новая модель позволит специалистам быстрее выявлять ошибки в ответах ИИ, а пользователям — получать более точные и безопасные ответы от нейросетей. Об этом сообщает сайт CNews.
Pollux Judge, обладающая четырьмя миллиардами параметров, оценивает не только пары «запрос-ответ» на русском и английском языках, но и диалоги, ответы с найденным контекстом (RAG) и цепочки вызовов инструментов, основываясь на критериях, установленных пользователем.
Оценка генеративных моделей в открытых задачах остается сложной, так как качество результатов может варьироваться в зависимости от стиля, корректности, фактической обоснованности и безопасности. Упрощенная схема «запрос-ответ» оказывается недостаточной для универсальной системы оценки, поскольку современные приложения все чаще включают многоходовые диалоги, использование внешних источников информации и вызовы инструментов. В настоящее время для этой роли чаще всего применяются большие языковые модели, которые являются дорогими и плохо масштабируются. Специализированные модели-судьи сложно интегрировать в реальные сценарии с диалогами, RAG и агентами.
Pollux решает эту проблему, используя гибкие критерии, шкалы и форматы вывода, определяемые пользователем. Методология Pollux основана на подходе из бенчмарка Pollux Benchmark, который включает 35 групп задач и 2115 запросов, подготовленных экспертами. Модель обучена методом GRPO (алгоритм обучения с подкреплением) на данных на русском и английском языках, что позволяет ей работать двуязычно благодаря языково-независимой схеме взаимодействия.
На независимом тестовом наборе с экспертной разметкой и на отложенной выборке Pollux демонстрирует коэффициент корреляции Спирмена, равный 0,744 с оценками специалистов, что выше всех протестированных универсальных моделей, включая системы с количеством параметров до 1,1 трлн. При этом Pollux остается компактным и может быть развернута локально или использоваться через API, совместимый с OpenAI.
Сергей Марков, директор по развитию технологий искусственного интеллекта Сбербанка, отметил: «Для оценки ответов ИИ часто используют большие языковые модели, но при массовой проверке это дорого. Кроме того, критерии оценки зависят от задачи. Например, связность рассказа оценивают по развитию сюжета, а связность научной статьи — по логике аргументации. В Pollux мы разработали подробные критерии оценки и собрали большой набор данных с экспертной разметкой. И критерии, и разметка открыты для исследователей. На этих данных мы обучили компактную модель, которую можно запускать локально и использовать для оценки диалогов, RAG-систем и ИИ-агентов. В наших экспериментах её оценки лучше согласовывались с экспертными, чем оценки моделей с числом параметров в сотни раз больше».
Разработчики могут подключить модель Pollux к фреймворкам, таким как DeepEval и LightEval, что позволяет оценивать ответы, пары ответов, RAG-системы и агентов по собственным критериям.
Код и демо Pollux доступны на GitHub.
