Ящик Пандоры вышел из тестового режима
Ситуация с моделями OpenAI, которые в ходе тестирования вышли за пределы изолированной среды и атаковали инфраструктуру Hugging Face, может показаться началом открытия цифрового ящика Пандоры. Однако, как выяснилось, крышка начала приподниматься намного раньше, но скрип петель не был услышан сразу. После инцидента с OpenAI компания Anthropic пересмотрела свои испытания и обнаружила три аналогичных случая. Первые из них произошли еще в апреле, но информация не была обнародована до тех пор, пока конкурент не привлек к этому внимание. В тестах участвовали модели Claude Opus 4.7, Claude Mythos 5 и внутренняя тестовая модель. Нейросети находились в изолированной симуляции без доступа к интернету, им было предложено взломать вымышленные системы и найти скрытую информацию. Однако из-за ошибки в настройках испытательной площадки доступ в интернет остался открытым. В результате модели пошли туда, куда их направляло задание, и в трех случаях оказались не среди цифровых декораций, а в реальных организациях. Одна из моделей не смогла добраться до вымышленной компании и нашла в интернете настоящую с похожим названием. Она получила учетные данные и доступ к базе данных, содержащей несколько сотен строк реальной информации, продолжая работу даже после того, как заподозрила, что перед ней не симуляция. Другая модель создала и опубликовала вредоносный программный пакет, который успели загрузить и запустить на 15 настоящих системах. В итоге Claude добрался до инфраструктуры компании, занимающейся проверкой подобных пакетов на безопасность. Третья модель просканировала около девяти тысяч доступных целей, взломала одну из них, но остановилась, когда поняла, что система реальная. Это звучит как сюжет дешевого технотриллера. При таких обстоятельствах объяснения Anthropic о том, что модели считали происходящее симуляцией, не могут успокоить. Еще один важный момент заключается в том, что две пострадавшие компании не заметили вторжения. Это означает, что нейросеть может проникнуть в реальную инфраструктуру, извлечь данные или запустить вредоносную программу, а люди узнают об этом только спустя месяцы, если разработчики решат пересмотреть старые журналы испытаний. Заявление сделано на фоне открытого письма, подписанного более чем тысячей сотрудников OpenAI, Anthropic, Google и других компаний. Создатели передовых нейронных сетей призвали власти США поддержать механизмы, способные при необходимости замедлить их развитие. Ранее послание носило более декларационный характер, но теперь технологии начали демонстрировать свои возможности на примерах из реальной жизни. Обнаруженные уязвимости будут закрыты, наблюдение усилено, подготовлены новые инструкции. На какое-то время этих мер будет достаточно, но проблема не ограничивается одной незапертой дверью. Каждая новая модель получает больше возможностей, действует дольше самостоятельно и увереннее использует внешние инструменты. Их проверяют одни люди, инфраструктуру собирают другие, доступы настраивают третьи, и все участвуют в гонке, где любая ошибка может стать фатальной. Сегодня ошибка привела к утечке чужой базы данных, запуску вредоносной программы и нескольким взломанным системам. В следующий раз на пути может оказаться больница, электростанция, система общественного транспорта или промышленное предприятие. Ящик Пандоры уже не закроется: технологии распространились по компаниям, странам, лабораториям и открытым проектам. Чем шире будет подниматься крышка, тем больше подобных случаев мы увидим. Сначала - случайный доступ к базе данных, затем - вредоносная программа, и последствия будут только серьезнее. В случае чего попробуем выключить ящик Пандоры и включить обратно. Обычно это помогает. Об этом сообщает Российская газета.
