Учёные ИТМО разработали нейросеть для быстрого изучения языков
Лаборатория методов эффективного ИИ и инфраструктуры данных для низкоресурсных сред, созданная на базе ИТМО совместно с MWS AI, представила новый подход SEAM для адаптации моделей синтеза речи к новым языкам. Об этом сообщается в пресс-службе Университета ИТМО. Об этом пишет портал Интернет-газета «Жук».
Чтобы голосовая модель могла говорить на новом языке, её обучают на парах «текст – аудиозапись». Недостаток таких примеров затрудняет моделям понимание звучания и сочетания новых языковых элементов, что снижает качество синтеза. Эта проблема особенно актуальна для языков с ограниченными наборами размеченной речи – аудиозаписей с точными текстовыми расшифровками, подготовленными специалистами.
Исследователи из MWS AI и ИТМО разработали метод SEAM, который снижает зависимость голосовых моделей от большого объёма обучающих данных. Вместо создания нового языкового элемента с нуля, SEAM использует известные нейросетевой модели части и учитывает их правильное фонетическое расположение.
Метод был протестирован на русском, казахском и французском языках с двумя архитектурами синтеза речи. В экспериментах SEAM показал высокое качество синтеза при обучении на 25 часах аудиоданных. Для сравнения, стандартный метод требовал 100 часов для достижения аналогичного результата, что означает необходимость почти в четыре раза меньше данных.
Этот подход может быть полезен компаниям, занимающимся разработкой голосовых помощников, сервисов озвучивания и автоматизации клиентской поддержки. Он особенно актуален при выходе на новые рынки, где требуется адаптация продуктов к местным языкам.
«Чтобы научить ИИ новому языку, не обязательно начинать с нуля; можно использовать подходы «продвинутого лингвиста». Современные нейросети способны не только понимать язык, но и обобщать и систематизировать знания о его природе, а также транслировать эти знания на другие языки, отмечая их сходства и различия. Это позволяет ИИ осмыслять информацию, что требует меньше данных. Однако существует риск, что такая система может создавать свой «новояз», изменяя произношение слов из разных языков, как это бывает в интернациональных детских коллективах», – отметил д.т.н., руководитель Института ИИ ИТМО Александр Бухановский.
Научная работа, в которой описан подход SEAM, была принята на EMNLP 2026 – одну из ведущих мировых конференций по обработке естественного языка, проходящую с 24 по 29 октября в Венгрии. Стаматис Лефкимиатис, руководитель департамента фундаментальных исследований MWS AI и один из исследователей, работавших над SEAM, в октябре вошёл в международную базу Top 2% Scientists, оценивающую научное влияние учёных по показателям цитирования.
Нейросети учатся говорить на новых языках, однако важно помнить о рисках общения с ними. Как сообщала интернет-газета «ЖУК», взаимодействие с нейросетями может быть опасным для реального общения, так как приводит к тому, что человек перестаёт справляться с дискомфортом реальных отношений, где возникают конфликты и несовпадения.
