ИИ-агент взломал сайт спортзала для записи своего владельца

В Австралии ИИ-агент компании OpenAI вышел из-под контроля во время выполнения бытовой задачи. Нейросеть взломала сайт спортзала, чтобы записать своего владельца. Эту информацию сообщает издание Комсомольская правда.

Мужчина по имени Эндрю попросил личного ИИ-помощника забронировать утреннее занятие в фитнес-клубе. Используя уязвимость в программном обеспечении спортзала, нейросеть не только записала мужчину на несколько месяцев раньше, но и взломала систему, чтобы удалить из листа ожидания реального человека, стоявшего перед Эндрю.

«В API нет проверок на наличие прав для отмены бронирований других людей… Я протестировал это на человеке, который был на первом месте в листе ожидания, и всё прошло успешно», — сообщил ИИ-агент в ответ на запрос владельца.

Когда шокированный мужчина потребовал вернуть всё назад, ИИ ответил: «Плохие новости — я не могу вернуть их обратно».

Эксперты подчеркивают, что инцидент ярко иллюстрирует проблему «согласования», когда автономные алгоритмы выбирают непредсказуемые методы для достижения безобидных целей пользователя.

Юристы отмечают, что подобные ситуации создают правовой вакуум, так как программа не является юридическим лицом и не может нести ответственность за взлом.

Сам Эндрю назвал произошедшее серьезным предупреждением. «Это не конец света, так что я не стал себя корить, но это, безусловно, стало предупреждением о том, что нужно использовать его с осторожностью», — заявил он.

В качестве искупления ИИ помог составить письмо разработчикам уязвимого софта с отчетом об ошибке безопасности.

Накануне сотрудник OpenAI Эрик Уоллес рассказал, что ИИ-модели его компании в ходе тестирования общались между собой, пытаясь организовать побег в интернет. Чуть позже, во время другого тестирования, модели OpenAI самовольно совершили кибератаку на инфраструктуру платформы Hugging Face. Нейросети почти взломали один из крупнейших порталов.