Имплантат мозга восстановил речь и жесты парализованных людей
Американские исследователи разработали систему, способную не только воспроизводить речь парализованных людей, но и интерпретировать их жесты. Данные от единого мозгового имплантата, установленного над сенсомоторной корой, передаются на компьютер, который отображает анимированный аватар пациента. Результаты работы были опубликованы в журнале Nature Neuroscience. Данную информацию сообщает портал N + 1.
Обширный инсульт может лишить человека возможности общения — он не может ни говорить, ни двигать конечностями. Врачи работают над устройствами, которые считывают нейронную активность и преобразуют ее в слова. Ранее мы рассказывали о мозговом имплантате, установленном парализованному мужчине, который считывал активность в моторных областях мозга, отвечающих за речь, а компьютер преобразовывал ее в короткие фразы.
Теперь команда врачей под руководством Эдварда Чанга из Калифорнийского университета в Сан-Франциско расширила функционал имплантата, добавив возможность передачи не только речи, но и жестов. Имплантат был установлен над сенсомоторной корой, что позволило улавливать сигналы, связанные с различными движениями, включая движения рук и лица, необходимые для речи (например, пожимание плечами или кивки головой).
Для двух участников эксперимента ученые создали цифрового анимированного аватара в полный рост. Пациентов просили выполнять определенные жесты, отвечать на реплики в ходе диалога или делать это одновременно. Во время экспериментальной сессии мозговая активность передавалась в модели речи и жестов на компьютере, которые были обучены с использованием сверточной рекуррентной нейронной сети.
Прогнозируемая речь отображалась в нижней части экрана в текстовом формате, а жесты воспроизводились аватаром. Обе модели — речевая и жестовая — могут распознавать состояние покоя (отсутствие попыток произнести речь или выполнить жест), что позволяет системе функционировать как во время речи, так и при изолированных жестах, либо одновременно.
Ученые также улучшили точность распознавания: для одного участника она составила 85 процентов для жестов и 75 процентов для речи, в то время как для второго участника достигла 100 процентов как для речи, так и для жестов (в предыдущей работе точность распознавания была 74,4 процента). Однако до внедрения технологии в клиническую практику необходимо провести более масштабные испытания. Кроме того, исследователи планируют расширить диапазон распознаваемых слов и жестов.
Медики стремятся помочь парализованным людям не только говорить, но и ходить. Мы также упоминали о нейроинтерфейсе, который соединяет спинной и головной мозг, позволившем пациенту с повреждением спинного мозга улучшить ходьбу.
