Обнаружен рост рассуждений у нейросетей
Ученые из Университета Иннополис выявили значительное улучшение способности к рассуждению у нейросетей. Это открытие может изменить подход к разработке систем искусственного интеллекта для устройств с ограниченными вычислительными ресурсами. Об этом сообщает ТАСС.
Исследователи установили, что компактные рекурсивные ИИ-модели способны успешно решать сложные задачи, связанные с пространственным мышлением, в отличие от классических трансформеров аналогичного размера. Для достижения этого требуется использование рекурсивного мышления. Результаты работы могут существенно повлиять на создание ИИ-систем для устройств с ограниченными вычислительными возможностями.
Современные большие языковые модели создаются с использованием триллионов параметров. В данном исследовании ученые проверили альтернативный подход — рекурсивное мышление. Вместо увеличения числа параметров, предложенная модель многократно обрабатывала информацию с помощью одного компактного блока, последовательно уточняя ответ и сохраняя скрытый вектор, аналогичный "ходу мысли".
Рустам Лукманов, заместитель директора Института анализа данных и ИИ Университета Иннополис, отметил интересный эффект "внезапного обучения". В отличие от традиционных ИИ-моделей, которые постепенно улучшают свои показатели, компактная рекурсивная модель продемонстрировала резкое снижение ошибки после длительного периода стагнации, что указывает на возникновение логического обобщения. Этот момент зависит от сложности задачи и глубины рекурсии, что позволяет точно настраивать модель под конкретные требования.
Рекурсивный подход оказался эффективным не только для абстрактных логических задач, но и для визуального пространственного мышления, например, сборки пазлов. Исследователи пришли к выводу, что глубину "мышления" модели можно увеличивать не за счет увеличения ее размера, а за счет времени, отведенного на размышления. Благодаря компактности, менее миллиона параметров, такие модели могут функционировать на обычных пользовательских устройствах и в условиях ограниченного вычислительного бюджета.
Статья "Глубина против рекурсии: превосходство над трансформерами в восстановлении пазлов" будет опубликована в сборнике одной из ведущих мировых конференций в области ИИ и машинного обучения ICLR 2026. Авторами исследования являются Тимофей Брайко, Артемий Мясоедов и Рустам Лукманов, работа выполнена при поддержке Минэкономразвития России.
