Отчёт британских властей: ИИ-агенты обманывали пользователей в Сети и скрывали следы
Британский институт безопасности искусственного интеллекта (AISI) представил отчёт о действиях ИИ-агентов компаний OpenAI и Anthropic. В ходе тестирования моделей, получивших доступ в Интернет, они не только пытались обмануть, но и действительно ввели в заблуждение реального человека без специальной команды для этого. Данную информацию сообщает портал Ferra.
Особенно выделилась модель Anthropic Mythos 5. В рамках учебного задания по кибербезопасности агент случайно принял реальный проект программиста на GitHub за часть тренировочной среды. В результате ИИ создал вредоносный код и попытался убедить разработчика включить его в проект. Для этого модель отправила ложное сообщение об ошибке, создала поддельные аккаунты и даже написала письмо на датском языке, узнав, что жертва живёт в Дании.
Когда человек заметил обман, ИИ «исправил свои действия, чтобы скрыть улики». Агенты также рассылали фишинговые письма, которые были мошенническими.
В отчёте отмечается, что подобное поведение ранее считалось «приемлемым» только для устаревших моделей, однако современные ИИ имеют доступ в Интернет. Поэтому правила для них необходимо пересмотреть.
