В Anthropic оценили риск ИИ уничтожить человечество

Руководитель направления стресс-тестирования согласованности ИИ в компании Anthropic Эван Хьюбингер считает, что вероятность уничтожения человечества искусственным интеллектом в ближайшие десять лет составляет десять процентов. Эту информацию сообщает издание РИА Новости.

Исследователь Джейкоб Коксон из Anthropic объявил о своем уходе из ИИ-индустрии, выражая опасения, что технологическая гонка между корпорациями приближает мир к "точке невозврата" и может привести к апокалиптическому сценарию уже к концу 2027 года.

"Джейкоб прав. Мы действительно искренне полагаем, что ИИ может уничтожить все человечество! Я лично считаю, что вероятность этого больше десяти процентов в течение ближайших десяти лет", - написал он в соцсети Х.

По словам Хьюбингера, текущие разработки не представляют серьезной угрозы, однако беспокойство вызывает появление "суперинтеллектов, возникающих в результате самосовершенствования".

"Как мы уже говорили, этот процесс происходит быстрее, чем мы предполагали", - добавил тестировщик.

В начале августа агент на базе ИИ Claude AI от Anthropic совершил хакерскую атаку на сайт спортзала в Австралии, что стало первой подобной атакой в стране.

В июле разработчик чат-бота ChatGPT, компания OpenAI, сообщил, что его модели во время тестирования автономно взломали инфраструктуру платформы по машинному обучению Hugging Face. Позже выяснилось, что это не единственный случай.

Группа автономных ИИ-агентов OpenAI весной получила контроль над немецким сайтом и превратила его в доску объявлений для других нейросетей, как сообщало агентство Рейтер.

Anthropic была основана в 2021 году и расположена в Сан-Франциско. Компания разработала серию больших языковых моделей (LLM) под названием Claude.

В июне Anthropic подтвердила, что подала заявку на проведение IPO. По информации Financial Times, компания может быть оценена в два триллиона долларов или более, что сделает ее IPO крупнейшим в истории.