Имплантат мозга восстановил речь и жесты парализованных пациентов

Американские ученые разработали систему, которая может не только воспроизводить речь людей с параличом, но и интерпретировать их жесты. Данные от единого мозгового имплантата, установленного над сенсомоторной корой, передаются на компьютер, отображающий анимированного аватара пациента. Результаты исследования опубликованы в журнале Nature Neuroscience. Об этом сообщает портал Togliatti24.

Обширный инсульт может лишить человека возможности общения — он не может ни говорить, ни двигать конечностями. Врачи работают над устройствами, которые считывают нейронную активность и преобразуют ее в слова. Ранее сообщалось о мозговом имплантате, установленном парализованному мужчине, который считывал активность в моторных областях мозга, отвечающих за речь, а компьютер преобразовывал ее в короткие фразы.

Теперь команда врачей под руководством Эдварда Чанга из Калифорнийского университета в Сан-Франциско расширила функционал имплантата, добавив возможность передачи не только речи, но и жестов. Имплантат был установлен над сенсомоторной корой, что позволило улавливать сигналы, связанные с различными движениями, включая движения рук и лица, необходимые для речи, такие как пожимание плечами или кивки головой.

Для двух участников эксперимента ученые создали цифрового анимированного аватара в полный рост. Пациентов просили выполнять определенные жесты, отвечать на реплики в ходе диалога или делать это одновременно. Во время экспериментальной сессии мозговая активность передавалась в модели речи и жестов на компьютере, которые были обучены с использованием сверточной рекуррентной нейронной сети.

Прогнозируемая речь отображалась в нижней части экрана в текстовом формате, а жесты воспроизводились аватаром. Обе модели — речевая и жестовая — могут распознавать состояние покоя (отсутствие попыток произнести речь или выполнить жест), что позволяет системе функционировать как во время речи, так и при изолированных жестах, либо одновременно.

Ученые также улучшили точность распознавания: для одного участника она составила 85 процентов для жестов и 75 процентов для речи, в то время как для второго участника достигла 100 процентов как для речи, так и для жестов (в предыдущей работе точность распознавания была 74,4 процента). Однако до внедрения технологии в клиническую практику необходимо провести более масштабные испытания. Кроме того, исследователи планируют расширить диапазон распознаваемых слов и жестов.

Медики стремятся помочь парализованным людям не только говорить, но и ходить. Также упоминался нейроинтерфейс, который соединяет спинной и головной мозг, позволивший пациенту с повреждением спинного мозга улучшить ходьбу.