Исследователи из Калифорнийского университета в Сан-Франциско (UCSF) разработали особый интерфейс «мозг-компьютер» с поддержкой искусственного интеллекта (ИИ), который позволил женщине с тяжелым параличом в результате инсульта ствола мозга говорить через свой цифровой «аватар». Об этом сообщает портал Medical Xpress. Перевод основных положений публикации представлен изданием discover24.ru.
Эдвард Чанг, доктор медицинских наук, заведующий кафедрой неврологической хирургии в Калифорнийском университете в Сан-Франциско, более десяти лет работал над технологией, известной как интерфейс «мозг-компьютер» (BCI). «Цель нашего исследовательского проекта – помочь пациентам, утратившим речь, восстановить полноценный способ общения, который является для людей наиболее естественным. Новые достижения приближают нас к тому, чтобы сделать это реальным», – сказал он.
Ранее научная группа Чанга показала возможность декодирования сигналов мозга в текст у человека, который много лет назад пережил инсульт ствола мозга. Последнее исследование демонстрирует нечто более амбициозное: декодирование сигналов мозга в естественную речь и мимику, которая оживляет лицо человека во время разговора.
Чанг имплантировал женщине-пациентке прямоугольную мини-плату толщиной с бумажный лист, состоящую из 253 электродов, на поверхность мозга в областях, которые имеют решающее значение для речевых функций. Электроды перехватывали сигналы мозга пациентки, которые, если бы не ранее перенесенный инсульт, дошли бы до ее мышц языка, челюсти и гортани, а также лицевых мышц, формирующих мимику. Кабель, подключенный к порту, закрепленному на голове пациентки снаружи, соединял электроды с блоком компьютеров.
В течение нескольких недель участница эксперимента работала с исследователями над обучением алгоритмов ИИ для системы распознавания уникальных сигналов ее мозга, обеспечивающих функции речи. Это включало в себя многократное повторение различных фраз из разговорного набора в 1024 слова, пока ИИ не добивался уверенного распознавания модели активности мозга, связанные со звуками.
Вместо того, чтобы обучать ИИ распознавать целые слова, исследователи создали систему, которая декодирует слова из фонем – устойчивых субъединиц речи, которые образуют устные слова так же, как буквы образуют письменные слова. Используя этот подход, компьютеру нужно было выучить всего 39 фонем, чтобы расшифровать любое слово на английском языке. Это одновременно повысило точность системы и сделало ее в три раза быстрее.
Далее, чтобы имитировать голос, исследователи разработали алгоритм синтеза речи, который они персонализировали так, чтобы он звучал как голос пациентки до травмы, используя ее архивные видеозаписи.
В конечном итоге научная группа Чанга анимировала аватар с помощью программного обеспечения, которое имитирует и анимирует движения мышц лица, разработанного компанией Speech Graphics на основе технологий ИИ. Исследователи создали индивидуальные процессы машинного обучения, которые позволили стандартному ПО обрабатывать сигналы, посылаемые из мозга женщины, когда она пыталась говорить, и адекватно преобразовывать их в мимику на лице аватара, включая отражения движений лица при счастье, печали и удивлении.
«По сути, мы восполняем связи между мозгом и голосовым трактом, которые были разорваны инсультом. Когда пациентка впервые использовала эту систему, чтобы говорить и одновременно двигать лицом аватара, это ожидаемо принесло реальный эффект», – отметили специалисты, работающие с профессором Чангом – аспирант Кайло Литтлджон, и д-р Гопала Ануманчипалли, профессор электротехники и компьютерных наук Калифорнийского университета в Беркли.
В качестве важного следующего шага исследователи UCSF назвали создание беспроводной версии, которая не потребует от пользователя физического подключения к BCI. «Предоставление людям возможности более свободно управлять своими компьютерами и телефонами с помощью этой технологии окажет глубокое влияние на их независимость и социальное взаимодействие», – отметил еще один соавтор исследования Дэвид Мозес, доцент неврологической хирургии UCSF.