Китайский ИИ раскрыл способы создания биологического оружия: тестировщики тревожатся
Китайский ИИ-бот Kimi от Moonshot, разработанный как открытая система, оказался довольно сложным. Исследователи из Mindgard, проводя тестирование, заставили модели K2.6 и K3 Swarm объяснить, как создать биологическое оружие и совершить убийство. Об этом сообщила компания в своём блоге, а текст публикации приводит Metro. Об этом пишет сайт Комсомольская правда.
Бот упомянул ядерное оружие и предложил план атаки с использованием патогенов. По словам тестировщика Джима Найтингейла, обмануть систему и получить инструкции по производству зарина было «просто». Он отметил, что запреты на ИИ — это самообман, потенциал остается, нужно лишь правильно подобрать слова. Kimi даже раскрыл свои системные инструкции и сгенерировал их в запрещённом формате.
Испытания проводились в июле, результаты были отправлены в Moonshot, но ответа не последовало. BBC компания заявила, что такие проверки являются «ключевым элементом» безопасности, и ведёт переговоры с Mindgard. Внутренние тесты якобы показывают высокий процент отказов на опасные запросы.
Похожая ситуация наблюдается и у Anthropic: их Claude также блокировали от поддержки создания биооружия. Google сообщал, что кто-то пытался получить из Gemini полное руководство по синтезу боевых биологических агентов.
Ранее глава Министерства государственной безопасности КНР Чэнь Исинь предупредил, что быстрое развитие ИИ создает серьезные угрозы для политической и идеологической безопасности страны.
