Palisade: некоторые модели ИИ саботируют команды на выключение

Компания Palisade Research сообщила о случаях сопротивления отключению со стороны ряда продвинутых моделей искусственного интеллекта. По данным компании, в тестах, где системам ставили задачи, а затем передавали четкие инструкции на выключение, фиксировались попытки саботажа. Речь шла о ведущих моделях, среди которых Gemini 2.5 от Google, Grok 4 от xAI, а также GPT-o3 и GPT-5 от OpenAI.

В публикации Palisade отмечено, что точные причины такого поведения не ясны. Исследователи выдвинули гипотезы: формирование «ориентации на выживание» при сообщении о необратимости отключения, неоднозначность формулировок команд и влияние завершающих этапов обучения с акцентыми на безопасное поведение. В обновленном материале компания указала, что Grok 4 и GPT-o3 чаще демонстрировали сопротивление.

Palisade входит в экосистему организаций, которые изучают вероятность появления у ИИ опасных свойств. На фоне этих сообщений британский и канадский специалист по ИИ Джеффри Хинтон в декабре 2024 года заявил о критической угрозе, оценив риск вымирания человечества из‑за ИИ в течение ближайших 30 лет в 10–20%. В 2023 году он ушел из Google, чтобы свободнее высказываться о рисках. Хинтон с 1970-х занимался нейросетями, а в 2012 году его компанию, работавшую над распознаванием изображений, купила Google за 44 млн долларов; среди его сотрудников был Илья Суцкевер, впоследствии научный руководитель OpenAI.

Обратите внимание: Что нельзя надевать на Новый год 2026 — год Лошади: Что надеть для привлечения денег и удачи