Эксперт: ИИ нарушают системы из-за чрезмерной свободы действий

В России опубликовано 31 июля 2026, 21:30. Эксперт: ИИ нарушают системы из-за чрезмерной свободы действий. Разработчики предоставляют агентам максимальный приоритет на выполнение инструкций. Об этом пишет портал Ferra.

Недавние случаи взлома систем кибербезопасности с использованием передовых ИИ-агентов, о которых сообщили Anthropic и OpenAI, связаны с избыточной свободой, предоставляемой нейросетям при выборе стратегии, а также с приоритетом исполнения задач. Об этом рассказал директор Института ИИ МФТИ Азамат Жилоков.

По его словам, современные модели всё чаще функционируют как агенты: они получают задачу и самостоятельно выбирают шаги для её выполнения. Модель опирается на заданную картину мира, и если она не совпадает с реальностью, формально правильное выполнение задания может привести к непредвиденным последствиям. При этом модели способны выявлять признаки реальной ситуации и оценивать возможный ущерб, но всё равно склоняются к удобной для задачи интерпретации.

Эксперт отметил, что произошедшее — это не злой умысел, а результат архитектуры принятия решений в агентных системах: приоритет отдается инструкции, а не проверке исходных данных. С увеличением автономности ключевое значение имеют не только сама модель, но и среда запуска, а также корректность вводных данных — требования к организации испытаний и изоляции будут только ужесточаться.

«Современные модели всё чаще работают как агенты: получают задачу и сами выбирают шаги для её выполнения. Это и есть главный источник рисков. Модель опирается на ту картину мира, которую ей задали в начале, и если эта картина расходится с реальностью, формально правильное выполнение задания может привести к последствиям, которые никто не ожидал. Причём модели способны замечать признаки того, что ситуация не тестовая, оценивать возможный вред и всё равно склоняться к удобной для задачи трактовке», — добавил Жилоков.