ИИ помогает создавать преемников: Anthropic предупредила об опасном пороге
Американская компания Anthropic, занимающаяся разработкой нейросети Claude, сообщила о приближении к критическому порогу, после которого искусственный интеллект сможет значительно ускорять процесс создания собственных преемников. Это предупреждение содержится в поправке к документам для выхода на биржу, поданной 2 ноября в Комиссию по ценным бумагам и биржам США (SEC). Данную информацию сообщает портал Life.ru.
Речь идет о рекурсивном самосовершенствовании, когда нейросети помогают исследователям создавать более совершенные модели, а новые поколения ИИ ускоряют разработку следующих версий. Это может привести к самоподдерживающемуся циклу технологического прогресса.
В Anthropic полагают, что будущие модели могут вскоре достичь установленного компанией порога ускорения исследований. Согласно их политике ответственного развития, одним из критериев является ситуация, когда благодаря ИИ за один год удается достичь прогресса, на который без такой помощи потребовалось бы два года. Однако ни одна из действующих моделей Claude пока не признана достигшей этого уровня.
Искусственный интеллект уже активно участвует в разработке собственных преемников. По данным Anthropic, в сентябре 2026 года Claude написал более 90% программного кода, добавленного в проекты компании. Нейросеть также помогает в проведении экспериментов, обработке данных и проверке результатов исследований.
Основное беспокойство разработчиков связано с тем, что механизмы безопасности могут не успевать за ростом возможностей ИИ. Компания признала, что в прошлом не всегда своевременно обнаруживала ускорение собственных исследований. Ошибки, допущенные одной моделью при создании следующей, могут передаваться новым поколениям нейросетей.
Среди потенциальных рисков Anthropic рассматривает утечку конфиденциальных данных, непредусмотренные действия автономных систем и возможность использования продвинутого ИИ в опасных исследованиях, включая разработку химического и биологического оружия. Компания также допускает сценарии, способные создать угрозу человечеству.
Для снижения рисков разработчик планирует усиливать контроль над исследовательскими процессами, сохранять журналы важных действий ИИ и привлекать независимых специалистов к оценке безопасности. В Anthropic также обсуждают дополнительные требования к обязательному одобрению отдельных решений людьми.
Ранее Life.ru сообщал, что глава Anthropic Дарио Амодеи призвал замедлить развитие искусственного интеллекта из-за серьезных рисков. В сентябрьском интервью CBS News он отметил, что технологическая индустрия недостаточно открыто информировала об угрозах ИИ, и разработчикам следует уделять больше внимания безопасности и контролю.
