Методы статистической физики помогли ускорить оптимизацию нейросетей до 500 раз
Ученые НИУ ВШЭ в Санкт-Петербурге разработали метод уменьшения размера нейронных сетей, который позволяет существенно ускорить их оптимизацию без значимого ухудшения качества. Подход основан на применении методов статистической физики. Его первые испытания описаны в статье, опубликованной в журнале Physica A: Statistical Mechanics and its Applications.
В исследовании говорится, что новый метод протестировали на множестве моделей, решающих задачи классификации, обработки естественного языка и компьютерного зрения. Сравнение с традиционными методами показало, что оптимизацию нейросетей удалось ускорить в диапазоне от десятикратного до пятисоткратного. При этом качество работы моделей, по данным авторов, сохранялось на сопоставимом уровне.
Метод разработан группой российских исследователей под руководством профессора Сергея Кольцова. Основная цель работы — преодолеть ограничения, связанные с высокими требованиями к оперативной памяти при использовании больших языковых моделей и других крупных нейросетей.
Авторы напоминают, что такие системы включают десятки и сотни миллиардов параметров. Для их обработки требуются сотни гигабайт памяти, что делает разработку и использование подобных моделей дорогостоящими. В настоящее время для снижения затрат ученые и инженеры применяют «сжатие» нейросетей: поэтапно удаляют часть параметров и отслеживают изменения качества. Этот процесс трудоемкий и медленный. Новый подход должен сделать его более быстрым и экономичным, сообщает ТАСС.
Обратите внимание: Сбудется все, что только можно вообразить: Володина обрадовала прогнозом на 2026 один знак - кто эти победители
