Языковая модель с двумя миллиардами параметров для очков на чипах Qualcomm
Компания PrismML, основанная исследователями Калифорнийского технологического института и профессором Калифорнийского университета в Беркли Ионом Стоицей, представила компактную языковую модель для смарт-очков на базе чипов Qualcomm. Об этом сообщает TechCrunch. Об этом сообщает издание Наша Газета Крым.
Демонстрация технологии состоялась в среду на конференции Snapdragon Summit. Производитель чипов продемонстрировал 1-битную модель Bonsai LLM, которая может функционировать на очках с платформой Snapdragon AR1 Gen 1 для дополненной реальности без необходимости облачного подключения.
Версия PrismML для очков включает два миллиарда параметров и оптимизирована для обработки как изображений, так и текста. Пользователь может задавать вопросы о предметах, которые он видит, а модель распознает визуальную информацию и предоставляет ответы на связанные запросы.
Ключевая технология PrismML заключается в значительном сжатии крупных моделей при сохранении почти всех результатов в стандартных тестах. В данном случае размер модели удалось уменьшить в четыре раза, что позволяет использовать ИИ на устройствах с ограниченными вычислительными ресурсами.
Компания также продвигает концепцию открытых моделей с доступными весами, которые работают непосредственно на пользовательских устройствах. Этот подход рассматривается как альтернатива зависимости от закрытых разработчиков, чьи системы требуют все больше ресурсов и основываются на собственных заявлениях о конфиденциальности.
Поддержка чипов Qualcomm является очередным шагом в реализации этой концепции. Умные очки с установленной моделью PrismML пока официально не представлены.
