Persistence: метрика Сбера для оценки ИИ без участия людей

В Центре практического искусственного интеллекта Сбербанка совместно с НИУ ВШЭ создали метрику Persistence, предназначенную для автоматической оценки качества ИИ-моделей без участия человека и без использования размеченных данных.

Информация о разработке была опубликована пресс-службой Сбера и передана агентству ТАСС.

Отказ от ручной оценки моделей

Как отметил директор департамента развития ИИ-решений Сбербанка Сергей Рябов, ранее специалистам приходилось подбирать архитектуру и момент остановки обучения через длительные эксперименты с разметкой или методом проб и ошибок.

Новая метрика анализирует внутреннюю геометрию эмбеддингов и помогает автоматически определить лучшую модель или оптимальную эпоху обучения, предотвращая переобучение.

Эффект и перспективы применения

Ранее оценка качества эмбеддингов требовала проверки каждой конфигурации на размеченных данных, что занимало значительные вычислительные ресурсы и время.

Persistence позволяет также автоматически подбирать параметры модели — от числа слоев до функции потерь — и показывает высокую корреляцию с качеством на прикладных задачах по сравнению с зарубежными аналогами.

Разработка может быть применена в рекомендательных системах, стриминговых сервисах, маркетплейсах, голосовых ассистентах и медицине, снижая зависимость от размеченных данных и ускоряя внедрение ИИ.

Больше новостей и эксклюзивных видео смотрите в канале Самара Онлайн 24 в MAX.