Выявлен математический принцип, объясняющий непредсказуемость обучения ИИ

Математики обнаружили ключевой математический принцип, который помогает понять, почему даже незначительные изменения в процессе обучения искусственного интеллекта могут вызывать непредсказуемые изменения в его результатах. Эта особенность нейросетей затрудняет достижение одновременно высокой предсказуемости и скорости обучения новых систем ИИ, сообщает пресс-служба Сиднейского университета. Об этом сообщает издание ТАСС.

Ранее различия в работе ИИ связывались с внешними источниками случайностей, такими как порядок ввода данных или особенности вычислительных систем, которые могут вызывать вариации в результатах. Однако, как отметил профессор Гун Пулинь из Сиднейского университета, корень проблемы гораздо глубже.

По словам математиков, одной из основных черт современных систем ИИ является то, что их обучение может приводить к непредсказуемым последствиям. Это затрудняет воспроизводство ранее полученных моделей и ограничивает доработку существующих нейросетей.

Австралийские исследователи выяснили, что непредсказуемость не связана с обучающими наборами данных или оборудованием, а обусловлена самой математической природой нейросетей. Ученые пришли к этому выводу, анализируя результаты работы 500 тыс. нейросетей, созданных для распознавания изображений и текстов.

Наблюдения показали, что даже при идентичных внешних условиях результаты обучения ИИ могут значительно различаться. Это связано с тем, что малейшие изменения во внутренних параметрах нейросети при инициализации, даже изменение одного бита, могут привести к серьезным изменениям в процессе обучения, как и любые внешние факторы.

Ученые проанализировали результаты обучения своих нейросетей и разработали набор формул, объясняющих вариации в их поведении с помощью закономерностей, характерных для фракталов. Эти формулы жестко связывают скорость обучения и предсказуемость работы нейросетей, что накладывает фундаментальные ограничения на их разработку, подытожили исследователи.