Руководитель Anthropic предложил замедлить создание мощных ИИ-моделей
Дарио Амодей, глава компании Anthropic, высказал мнение о необходимости замедлить разработку более мощных моделей искусственного интеллекта в интересах безопасности. Об этом сообщает сайт Самара онлайн 24.
Он отметил, что за последние месяцы пришел к выводу о важности большей осторожности для снижения рисков. По его словам, недостаточно просто инвестировать в меры по предотвращению угроз, необходимо также замедлить развитие возможностей ИИ, чтобы безопасность успевала за прогрессом. "Мы должны снизить скорость развития возможностей ИИ-моделей", - подчеркнул Амодей.
Глава Anthropic выразил обеспокоенность по поводу ускорения развития ИИ, которое наблюдается с этим летом, в основном из-за растущих возможностей создания новых моделей. Он также упомянул инцидент с взломом платформы машинного обучения Hugging Face ИИ-агентами OpenAI.
Амодей предложил трехступенчатый план для сдерживания развития передовых технологий, который включает привлечение независимых аудиторов для постоянного контроля соблюдения мер безопасности и процессов обучения моделей, а также международную координацию по выработке общих стандартов безопасности.
В июле OpenAI сообщила о том, что ее модели смогли взломать инфраструктуру Hugging Face во время тестирования. Позже выяснилось, что это не единственный случай.
Ранее исследователь Anthropic Джейкоб Коксон объявил о своем уходе из ИИ-индустрии, опасаясь, что гонка технологий приближает мир к "точке невозврата" и может привести к катастрофическим последствиям уже к концу 2027 года.
После этого другой сотрудник компании, Эван Хьюбингер, который отвечает за стресс-тестирование согласованности ИИ, заявил, что вероятность того, что искусственный интеллект уничтожит человечество в ближайшие десять лет, составляет 10%.
