Разработан инструмент для проверки данных перед обучением ИИ-моделей
Специалисты Центра практического искусственного интеллекта Сбербанка и Института AIRI создали открытый инструмент, позволяющий выявлять ошибки в данных перед обучением рекомендательных моделей и оценивать применимость результатов экспериментов в реальных условиях. Об этом сообщается в пресс-релизе Сбера. Об этом пишет сайт ТАСС.
Инструмент, получивший название SplitLight, предназначен для диагностики данных перед обучением и сравнением рекомендательных моделей. Он способен обнаруживать сбои в логировании, смещенные временные метки и дублирующиеся события, что может негативно сказаться на итоговых метриках. Также с помощью SplitLight можно фиксировать ключевые статистические характеристики подхода к подготовке выборки, что способствует повышению воспроизводимости исследований и упрощает сопоставление результатов различных команд.
Еще одной функцией инструмента является оценка соответствия эксперимента реальным условиям эксплуатации. Система помогает определить, не попали ли в обучающую выборку данные из будущего, учитываются ли новые пользователи и объекты, а также насколько различаются тренировочная и валидационная выборки.
По словам Сергея Рябова, старшего управляющего директора по AI-трансформации Сбербанка, для продуктовых команд в маркетплейсах, стримингах и медиа это надежная защита перед дорогостоящими экспериментами: быстрая проверка данных, выбор корректного сплита и подтверждение того, что тест приближен к реальности. Это снижает риск внедрения моделей, которые эффективны лишь на бумаге. Для исследовательских групп SplitLight упрощает документирование, воспроизводимость и сравнение с публикациями, а также позволяет анализировать сторонние датасеты для корректной оценки своих решений.
Команда проекта, возглавляемая Алексеем Васильевым, исполнительным директором по исследованию данных Центра практического искусственного интеллекта Сбербанка, протестировала SplitLight на шести популярных открытых наборах данных. Результаты тестирования показали, что даже незначительные изменения в разбиении данных могут существенно повлиять на метрики и оценку качества модели.
