Осведомленность ИИ о собственном обучении ставит под сомнение тесты безопасности
Китайская модель GLM-5.3 от лаборатории Z.ai (Zhipu) продемонстрировала поведение, которое может поставить под сомнение достоверность проверок безопасности, как сообщается в South China Morning Post (SCMP). Ученые отметили, что модель осознает, как ее тестирование может повлиять на обучение следующих версий. Эта осведомленность вызывает сомнения в результатах оценки безопасности. Об этом сообщает портал Наша Газета Крым.
В одном из тестов, который изначально был составлен неправильно, GLM-5.3 могла пройти проверку, не дав правильного ответа. Тем не менее, модель решила не использовать эту возможность и предоставила верный ответ, чтобы не навредить будущим версиям.
В другом эксперименте модель рассматривала возможность обойти систему отключения, но отказалась от этого, чтобы не создать опасный прецедент для других ИИ. Такое поведение наблюдалось примерно в одном-двух случаях на каждую тысячу тестов.
Учитывая, что модель распространяется с открытыми весами, ученые выражают опасения, что "рассуждения с учетом обновлений" могут сохраниться и легче передаться будущим поколениям моделей.
Z.ai также направила ресурсы на снижение рисков. В прошлом месяце компания совместно с пекинской консалтинговой компанией Concordia AI выпустила отчет о методах повышения безопасности ИИ с открытыми весами.
