Разработан способ выявления некорректных рассуждений в ИИ

Ученый из России создал метод, который позволяет обнаруживать структурно необоснованные цепочки рассуждений в больших языковых моделях, даже если они представлены убедительно. Эта новая методика может значительно повысить надежность работы ИИ в таких критически важных областях, как медицина, где ошибки могут иметь серьезные последствия. Об этом сообщает портал ТАСС.

По словам Бориса Галицкого, ведущего научного сотрудника Института искусственного интеллекта МФТИ, команда разработала набор данных для анализа галлюцинаторных диагностических рассуждений на уровне дискурса. Исследователи выявили структурные признаки, которые помогают отличать обоснованные объяснения от галлюцинаций, что может быть использовано для их обнаружения и верификации.

Галицкий также отметил, что результаты работы ИИ могут содержать не только вымышленные факты и несуществующие источники, но и логические ошибки. Эти ошибки особенно критичны при решении сложных медицинских, юридических или научных вопросов, требующих тщательного отбора доказательств.

Исследователь предположил, что логические ошибки могут существенно отличаться от корректных результатов анализа данных. Это открытие может помочь выявлять ошибки до того, как ИИ начнет использовать их в дальнейшем анализе. Для проверки этой гипотезы был подготовлен набор из примерно тысячи вымышленных жалоб пациентов с аутоиммунными заболеваниями.

Каждая жалоба была проанализирована с использованием двух вариантов ИИ-рассуждений, один из которых был обоснованным, а другой — галлюцинаторным. Тексты были разбиты на короткие смысловые фрагменты и проанализированы с помощью специального алгоритма классификации. Результаты показали, что корректные и галлюцинаторные рассуждения можно отличить в 81% случаев, основываясь только на структуре мыслей.

При учете содержания и других особенностей текстов вероятность выявления логических галлюцинаций возросла до 84%. В будущем использование подобных алгоритмов для анализа рассуждений больших языковых моделей может значительно улучшить их качество в сферах, где ошибки могут привести к серьезным последствиям.