Нейросеть определила джазовых пианистов по уникальному стилю

Британские ученые разработали алгоритмы машинного обучения, способные распознавать джазовых пианистов по их индивидуальному стилю исполнения. Наивысшую точность продемонстрировала сверточная нейросеть, которая смогла идентифицировать исполнителя на ранее не встречавшейся записи с точностью свыше 94 процентов. Об этом сообщает N + 1.

Исследователи создали модель, анализирующую мелодию, гармонию, ритм и динамику произведений, что позволяет оценить вклад этих компонентов в уникальный стиль музыкантов. Статья была опубликована в журнале Nature Machine Intelligence. Также разработано веб-приложение, позволяющее прослушать характерные особенности игры каждого из двадцати пианистов.

Каждый художник, писатель или композитор имеет свой набор приемов, по которым можно узнать его работы. В живописи это может быть выбор сюжета и цветовая палитра, а в музыке — гармонические последовательности и ритмические структуры. Эти приметы формируют «почерк», который помогает специалистам идентифицировать автора произведения. Однако ручные исследования могут быть медленными, а некоторые нюансы, такие как микроскопические отклонения в ритме, могут оставаться незамеченными.

Под руководством Питера Харрисона из Кембриджского университета исследователи решили использовать методы машинного обучения для выявления творческих отпечатков в джазе. В качестве исходных данных они применили набор из 84 часов записей выступлений двадцати исполнителей, включая таких мастеров, как Билл Эванс и Оскар Питерсон. Аудиофайлы были преобразованы в формат MIDI, что позволяет сохранить важные музыкальные характеристики, исключая несущественные данные, такие как условия звукозаписи.

Для извлечения информации о творческом «почерке» пианистов использовались два подхода. В первом применялись классические алгоритмы машинного обучения, такие как случайный лес и логистическая регрессия, для поиска характерных мелодий и аккордов. Второй подход основывался на сверточных нейронных сетях, обученных на 30-секундных фрагментах, представленных в виде двумерного аналога перфорированного рулона для механического пианино.

Из классических методов наилучшие результаты показала логистическая регрессия, которая смогла идентифицировать исполнителя в 77 процентах случаев. Хотя точность была относительно низкой, метод позволил выявить, какие приемы используют конкретные музыканты. Например, в игре Билла Эванса алгоритм выделил характерные нисходящие арпеджио.

Среди нейросетевых моделей лучшей оказалась ResNet с 50 слоями, которая правильно определяла исполнителя в 94,4 процента случаев. Однако интерпретировать результаты такой нейросети было сложно, поэтому исследователи разработали более понятную архитектуру, выделяющую четыре аспекта исполнения.

Лучшая версия модели достигла точности 91,3 процента. Исследователи выяснили, что только по гармонии можно распознать пианиста в 74 процентах случаев, при этом ритм дает наибольшую дополнительную информацию. В будущем планируется расширить набор анализируемых инструментов и применить подход к изучению творчества других исполнителей.

Также нейросети могут быть использованы для воссоздания звука по беззвучному видео игры на фортепиано, что было продемонстрировано американскими разработчиками в 2020 году.