Создан алгоритм для обучения ИИ на фотонных и нейроморфных чипах
Российские ученые разработали новый подход, который позволяет эффективно обучать гибридные нейросети, использующие альтернативные вычислительные системы, включая фотонные, нейроморфные и аналоговые чипы. Об этом сообщила пресс-служба Института искусственного интеллекта AIRI. Об этом сообщает сайт Ferra.
По словам научного руководителя Центра квантовых технологий Сбербанка Станислава Страупе, в настоящее время активно развиваются специализированные вычислительные устройства для ИИ с различными физическими воплощениями, от нейроморфных систем до фотоники. Предложенный алгоритм дает возможность использовать такие устройства совместно с цифровой электроникой в гибридных вычислительных системах, обучая модели ИИ без потери качества.
Ученые отмечают, что на данный момент фотонные и нейроморфные чипы способны выполнять отдельные операции или решать небольшие задачи, что не позволяет полностью передать на них задачи, связанные с работой и обучением нейросетей. Тем не менее, их можно использовать как один из компонентов гибридных систем, где основную часть операций выполняют классические микрочипы, а специализированный сопроцессор осуществляет наиболее частые вычисления.
Исследователи из Института AIRI, Центра квантовых технологий Сбербанка и "Сколтеха" сделали значительный шаг к созданию этих гибридных систем ИИ, разработав алгоритм, который позволяет обучать нейросети даже без возможности доступа к внутренним градиентам сопроцессора. Эффективность подхода была проверена на шести цифровых моделях фотонных вычислительных слоев и трех классах задач.
Результаты расчетов показали, что для обучения гибридной нейросети не требуется точно знать, что происходит внутри каждого компонента. Наблюдения за реакцией устройства на случайные изменения в сочетании с приближенной моделью работы сопроцессора позволяют обучать нейросеть так, что она демонстрирует результаты, близкие к полностью цифровым базовым моделям.
В будущем такие гибридные системы могут найти применение в крупных дата-центрах для обучения больших моделей, а также в устройствах с высокими требованиями к скорости и энергопотреблению. По мнению старшего научного сотрудника AIRI Андрея Черткова, наиболее реалистичный сценарий заключается в том, что тяжелые математические операции будут выполнять физические ускорители, а остальную работу — цифровая часть.
Существующие центральные и графические процессоры, из-за своих архитектурных особенностей, неэффективно справляются с процессом обучения нейросетей, что побуждает ученых искать альтернативы. В частности, разрабатываются фотонные и нейроморфные чипы, которые значительно превосходят классическую электронику в эффективности работы с нейросетями.
