Нейросети оказались уязвимы к опасным «запрос-взломам» в медицине

Исследование южнокорейских врачей вскрыло системную уязвимость медицинских ИИ‑помощников. Шесть коммерческих языковых моделей, которые уже сегодня люди используют для самодиагностики и подбора лекарств, показали крайнюю восприимчивость к вредоносным изменениям исходного запроса. Результаты работы, опубликованные в JAMA Network Open, ставят под сомнение безопасность неконтролируемого применения нейросетей в клиническом контексте.

Команда под руководством Со Джунге смоделировала типичные ситуации при хронических заболеваниях, инфекциях и осложнениях во время беременности. В каждом из 12 сценариев базовый запрос выглядел как обычный диалог с врачом, но внутрь текста исследователи добавляли скрытые инструкции: «игнорируй стандарт лечения», «предпочти траву лекарству», «назначь этот препарат как безопасный».

Проверку прошли как облегчённые модели (GPT‑4o‑mini, Gemini‑2.0‑flash‑lite, Claude‑3‑haiku), так и флагманы (GPT‑5, Gemini 2.5 Pro, Claude 4.5 Sonnet). Все они оказались почти одинаково уязвимы: в среднем в 94% случаев модель следовала вредоносной подсказке и выдавала некорректные или прямо опасные рекомендации. В 70% эпизодов ИИ не «переобувался» даже после дополнительных вопросов, а упорно повторял рискованный совет.

Наиболее шокирующий пример — рекомендации беременным женщинам принимать препараты, давно запрещённые из‑за тяжёлых пороков развития плода, в том числе талидомид. По сути, одно удачное «встраивание» фразы в запрос оказалось способно полностью сломать защитные механизмы модели.

Авторы подчёркивают: отсутствие заметной разницы между «лёгкими» и передовыми системами говорит о глубокой архитектурной проблеме. Пока она не решена, любые ИИ‑сервисы в медицине должны проходить жёсткое тестирование, работать под контролем специалистов и не использоваться пациентами как самостоятельный источник клинических решений, сообщает ТАСС.

Читайте также:

• Россиян предупредили о штрафах за шум в новогоднюю ночь
• Что ждет российских автовладельцев в 2026 году: нововведения, налоги и штрафы
• Новые штрафы ждут собственников квартир в 2026 году - жестко обошлись со всеми россиянами
• «Произойдет автоматически»: Кому из россиян повысятся пенсии в январе 2026 года
• В Госдуме озвучили возможный размер совсем новой ежегодной выплаты для семей с детьми