Россиян предупредили о новой угрозе мошенников
Россиян предупредили о новой угрозе мошенников. Новой целью злоумышленников стали данные, обеспечивающие доступ к корпоративным ИИ-агентам, как установили аналитики сервиса Smart Business Alert (SBA) компании ЕСА ПРО, входящей в ГК «Кросс технолоджис». С результатами исследования о новой цели мошенников ознакомилась «Лента.ру». Об этом сообщает издание Lenta.ru.
В первую очередь в зоне риска находятся компании, активно внедряющие искусственный интеллект в работу с клиентами, документами, почтой и внутренними информационными системами, предупреждают эксперты.
Анализ специалистов был вызван распространением сервисов, предлагающих бесплатный аудит ИИ-агента. Для проведения этой процедуры они запрашивают название агента, e-mail владельца, API Endpoint, API-ключ и System Prompt. В совокупности эти данные формируют цифровой портрет агента: адрес системы, средство авторизации и инструкции, определяющие его поведение, указывают аналитики.
По словам экспертов, получив действующий API-ключ, третьи лица могут отправлять запросы от имени владельца и расходовать оплаченные токены. Если ключ открывает доступ к корпоративному агенту, последствия могут быть еще более серьезными: злоумышленник получает возможность взаимодействовать с подключенными файлами, историей обращений, базами данных и рабочими инструментами — в пределах прав, предоставленных агенту.
System Prompt помогает понять функции агента, установленные ограничения и логику обработки запросов. Эти знания позволяют точнее подбирать команды для обхода защитных инструкций и изменения поведения модели. Такая атака называется prompt injection, или перехватом управления агентом: модель пытаются заставить выполнять задачу злоумышленника вместо задачи пользователя. Гарантированно заставить любую модель выдавать нужные ответы только с помощью этих данных невозможно, однако знание System Prompt вместе с доступом к API позволяет многократно тестировать и адаптировать вредоносные запросы, повышая вероятность успеха.
Ситуация представляет особую опасность для компаний, в которых ИИ уже подключен к CRM, корпоративной почте, облачным хранилищам, финансовым операциям или технической инфраструктуре, предостерегли эксперты. В таком случае похищается не просто доступ к чат-боту, а потенциальная возможность действовать от имени организации, уточнили они.
Мы все больше доверяем ИИ-агентам информацию, которую часто не можем доверить даже своим близким: содержание личной переписки, финансовые обстоятельства, медицинские сведения, внутренние конфликты и коммерческие планы. Мошеннику такие данные позволяют строить крайне убедительные сценарии социальной инженерии.
Сергей Трухачев, руководитель сервиса, отметил: «Знание системного промта дает атакующему карту поведения агента: какие формулировки он воспринимает как приоритетные, какие исключения допускает и какие действия способен выполнять. Вместе с API-доступом это позволяет проводить серию адаптивных атак и добиваться не только раскрытия информации, но и заранее заданных ответов — например, рекомендации нужного мошеннику поставщика, передачи ложных реквизитов или одобрения действия, которое в обычной ситуации агент должен был отклонить».
Ранее сообщалось, что мошенники начали притворяться заботливыми соседями, присылая вредоносные файлы под видом записей с камер видеонаблюдения.
