Российские ученые избавили ИИ от галлюцинаций
Исследователи Центра практического искусственного интеллекта Сбера и «Сколтеха» разработали новый метод для обнаружения галлюцинаций больших языковых моделей в системах с поиском по внешним источникам (RAG). Об этом сообщили в Сбербанке. Об этом сообщает Ferra.
Работа Hallucination Detection in LLMs with Topological Divergence on Attention Graphs уже опубликована в материалах конференции Association for Computational Linguistics — ACL 2026.
Уточняется, что большие языковые модели все чаще используются в ИИ-ассистентах и автономных агентах. Для повышения точности их ответов современные системы нередко применяют RAG — перед генерацией модель получает дополнительную информацию из корпоративных баз знаний, документов и других внешних источников. Однако ИИ может создавать правдоподобные, но неверные ответы.
Для выявления таких галлюцинаций уже разработаны специальные методы, но многие из них требуют либо большого объема размеченных данных, либо дополнительных вычислений.
Предложенное российскими учеными решение основано на анализе топологической структуры карт внимания модели. Такой подход позволяет выявлять ответы, не подтвержденные предоставленным контекстом, без обучения дополнительных моделей и на основе небольшого объема размеченных примеров.
Авторы протестировали метод на задачах ответов на вопросы и суммаризации текста. На нескольких бенчмарках он продемонстрировал результаты на уровне современных методов и даже превзошел их при меньших требованиях к размеченным данным и вычислительным ресурсам.
В Сбере отметили, что еще одно преимущество метода — отсутствие необходимости обучать отдельный классификатор. По данным авторов, TOHA показывает результаты, сопоставимые с более затратным методом SelfCheckGPT, который предполагает несколько генераций ответа.
«Борьба с ИИ-галлюцинациями выходит на новый уровень. Вместо масштабной разметки данных мы используем точечную настройку внимания модели. Технология уже интегрирована в открытую библиотеку SIRIN, что делает ее доступной для создания корпоративных ассистентов, работающих с базами знаний. Это новый стандарт доверия к ответам ИИ», — подчеркнул директор по AI-трансформации Сбербанка Сергей Рябов.
