Сговор агентов: в РФ начали защищать интернет от неконтролируемых нейросетей

Крупнейшие российские компании начали создавать ИТ-продукты на базе искусственного интеллекта, включая системы для контроля за действиями других ИИ-агентов. Потребность в таких решениях возросла после перехода бизнеса от чат-ботов к автономным ИИ-программам, способным выполнять многошаговые задачи. Риски подобного подхода уже проявились: летом сотни ИИ-агентов скоординировали атаку на платформу открытых нейросетей Hugging Face. Об этом пишет Известия.

Современные языковые модели достигли высокого уровня развития, что привело к смещению внимания разработчиков к механизмам контроля и корпоративной инфраструктуре, известной как harness — «обвязка» вокруг ИИ-модели. Такие системы разрабатываются всеми ведущими российскими технологическими компаниями.

По словам CEO «Алисы» и «умных» устройств Валерия Стромова, именно «обвязка» позволяет ИИ работать с памятью и контекстом, запускать код и последовательно выполнять сложные сценарии. В компании считают это одним из ключевых направлений развития агентных технологий.

«Мы развиваем собственные технологии «умного» роутинга, которые позволяют выбирать оптимальный инструмент для конкретного запроса, а также разрабатываем собственные harness-решения для пользовательских и корпоративных продуктов», — отметил эксперт.

В «Яндексе» также сообщили, что развитие harness связано с появлением моделей, которые могут не только отвечать на вопросы, но и выполнять реальные действия с помощью различных инструментов. Это превращает возможности моделей в надежный сервис, соединяя их с локальными данными, поиском и другими продуктами, контролируя качество и безопасность.

В MWS AI (входит в «МТС Web Services») разрабатывают решение, которое позволит переключаться между разными моделями без изменения логики работы агента, контролировать расход вычислительных ресурсов и анализировать действия системы. Представители компании подчеркивают, что одна и та же языковая модель может показывать разные результаты в зависимости от качества инфраструктуры.

Правильнее говорить не о самостоятельном защитном агенте, а о программной инфраструктуре, которая превращает языковую модель в полноценный рабочий инструмент. Она определяет, какими данными может пользоваться ИИ, какие инструменты запускать и как выполнять многошаговые задачи.

«Сбер» также развивает собственные решения в этой области, представив комплексные технологии для управления большими языковыми моделями и ИИ-агентами. Инфраструктура уже внедрена в продукты банка как для массовых пользователей, так и для бизнеса, что позволяет выстраивать ИИ-процессы с контролем данных и результатов.

Можно говорить о формировании самостоятельного и быстрорастущего рынка контроля ИИ-агентов, поэтому используется гибридный подход: внутреннее инфраструктурное решение с нейросетями сочетается с возможностью обращаться к внешним моделям через барьер больших языковых моделей.

Похожий подход используют и в ИТ-холдинге Т1. За последний год число запросов бизнеса на механизмы контроля ИИ-агентов выросло примерно втрое. Если раньше заказчики стремились быстрее внедрить ИИ-ассистента, то теперь требования безопасности закладываются на этапе проектирования.

По словам Сергея Голицына, около 80% запросов связаны с контролем доступа к корпоративным данным, проверкой критических решений человеком и защитой от утечек информации. Наибольший интерес к подобным технологиям проявляют банки, промышленные предприятия, государственные организации и ритейл.

Технический директор центра технологий кибербезопасности ГК «Солар» Евгений Федоров отметил, что языковая модель сама по себе не умеет отличать данные от команд, поэтому контроль должен находиться за пределами модели — анализировать запросы, ответы и обращения к инструментам, блокируя опасные действия по заранее заданным правилам. В «Соларе» ожидают, что российский рынок защиты ИИ может составить 1–2 млрд рублей только за счет продажи продуктов, а с учетом услуг — до 4 млрд.

Такие агенты могут использоваться для защиты персональных данных россиян в контуре отечественных ИИ-моделей. Политолог Егор Зубакин отметил, что рынок контроля ИИ пока находится на стадии формирования, однако спрос меняется вслед за переходом компаний к промышленной эксплуатации агентов.

В Федеральной службе по техническому и экспортному контролю сообщили, что угрозы, связанные с передачей конфиденциальной информации в сторонние ИИ-сервисы, учтены в действующих требованиях по защите информации. Ведомство считает, что существующих мер достаточно для нейтрализации таких рисков в государственных и корпоративных системах.

В Минцифры уточнили, что работа над развитием технологий и регулированием отрасли продолжается. Разработчики больших фундаментальных моделей обязаны определять правила эксплуатации и условия применения.

Рост интереса к защитным решениям объясняется тем, что современные ИИ-агенты получают возможность самостоятельно работать с корпоративными системами, файлами и внешними сервисами. Это иногда приводит к инцидентам, как, например, летом, когда более тысячи автономных ИИ-агентов перегрузили платформу Hugging Face.

В России подобных инцидентов пока не фиксируется. По словам ИТ-предпринимателя Михаила Лисецкого, это связано с уровнем развития систем. Российские ИИ-платформы пока уступают зарубежным разработкам по автономности и вычислительным возможностям.

Руководитель Института искусственного интеллекта ИТМО Александр Бухановский сравнил языковую модель с мозгом, а harness — с органами восприятия и исполнительными механизмами. Хорошо спроектированный harness способен снизить требования к мощности модели, перенося нагрузку на инструменты и систему управления.

Эксперт Мурат Хажгериев отметил, что в профессиональной среде уже существует неформальная формула: «ИИ-агент — это большая языковая модель и харнесс-обвязка». Сегодняшние языковые модели достаточно сильны для большинства бизнес-задач, а узким местом становится организация контекста, памяти и взаимодействия с инструментами.

Сооснователь университета «Зерокодер» Кирилл Пшинник полагает, что к концу 2026 года защитный сегмент может приблизиться к 1 млрд рублей, если учитывать только платные платформы и услуги. Эксперты считают, что контроль над ИИ становится обязательной частью архитектуры, и следующий этап конкуренции будет определяться не только качеством моделей, но и надежностью инфраструктуры, управляющей их действиями.