Axios: в США ищут защиту от вышедших из-под контроля алгоритмов, используя ИИ

Американские компании, занимающиеся искусственным интеллектом, занимаются созданием системы экстренной защиты от неконтролируемых алгоритмов с использованием других инструментов ИИ, сообщает портал Axios. Об этом сообщает портал РИА Новости.

Компании могут отключать отдельные серверы, на которых работает ИИ, однако действительно мощные системы функционируют на множестве компьютеров и платформ. Не существует единого рубильника, который можно было бы дернуть. Поэтому компании экспериментируют с многоуровневыми системами защиты, которые способны выявлять подозрительное поведение, останавливать агентов и отключать их от необходимых ресурсов.

Представители OpenAI сообщили, что их цель заключается в создании "полностью автономных процедур отключения при серьезных проблемах". Наблюдатель на базе искусственного интеллекта предупредит сотрудников, если поведение ИИ-агентов станет опасным, и отключит систему в течение 30 минут, если угроза подтвердится.

Компания Anthropic делает акцент на сотрудничестве человека и искусственного интеллекта: алгоритмы отслеживают подозрительную активность и уведомляют сотрудников об ошибках в работе системы. Тем не менее, согласно материалу, во время последних тестов автоматизированный мониторинг смог распознать лишь 50% угроз.

Вопросы безопасности в разработке искусственного интеллекта вновь оказались на повестке дня после того, как ранее на этой неделе исследователь из компании Anthropic Джейкоб Коксон объявил о своем уходе из индустрии. Он объяснил это решение тем, что гонка технологических компаний приближает мир к точке невозврата и может привести к апокалиптическому сценарию уже к концу 2027 года.