Тяжело парализованная женщина смогла говорить через аватар с помощью технологии, переводившей сигналы ее мозга на язык и мимику.
Тяжело парализованная женщина смогла говорить через аватар с помощью технологии, переводившей сигналы ее мозга на язык и мимику.
Это достижение дает надежду, что интерфейсы между мозгом и компьютером могут изменить жизнь людей, потерявших способность говорить из-за инсульта или бокового амиотрофического склероза, передает The Guardian.
Раньше пациентам приходилось полагаться на очень медленные синтезаторы речи, которые улавливают и воспроизводят слова, следя за глазами или небольшими движениями лица. Конечно, это делало невозможным обычный разговор.
Новейшая технология использует крохотные электроды, имплантированные на поверхность мозга, для обнаружения электрической активности в той части, которая контролирует язык и движения лица. Эти сигналы транслируются непосредственно в слова и мимику цифрового аватара, включая улыбку, насупленность или удивление.
«Наша цель — восстановить полноценный, воплощенный способ общения, который на самом деле наиболее естественный для нас», — сказал профессор Эдвард Чанг, возглавлявший работу в Калифорнийском университете в Сан-Франциско (UCSF)
47-летняя Энн тяжело парализована после инсульта ствола мозга, произошедшего более 18 лет назад. Пациентка не может говорить или печатать и обычно общается с помощью технологии отслеживания движений, позволяющей ей медленно выбирать буквы со скоростью до 14 слов в минуту. Она надеется, что технология аватаров позволит ей в будущем работать консультантом.
Команда имплантировала тонкую, как бумагу, прямоугольник из 253 электродов на поверхность мозга Энн над критически важной для речи областью. Электроды перехватывали сигналы мозга, которые, если бы не инсульт, управляли мышцами языка, челюсти, гортани и лица.
После имплантации Энн работала с командой над тем, чтобы научить алгоритм искусственного интеллекта распознавать уникальные сигналы ее мозга для разных речевых звуков путем многократного повторения разных фраз.
Компьютер изучил 39 характерных звуков, а языковая модель, похожая на ChatGPT, применялась для перевода сигналов в понятные предложения. Затем это было использовано для управления аватаром с голосом, персонализированным под голос Энн до травмы на основе записи ее выступления на свадьбе.
Технология не была совершенной: во время тестового запуска, включавшего более 500 фраз, она декодировала слова неправильно в 28% случаев, а скорость превращения мыслей в текст составляла 78 слов в минуту по сравнению со 110–150 словами, обычно произносимыми во время естественного разговора.
Однако по словам ученых, последние достижения в точности, скорости и совершенстве свидетельствуют, что эта технология сейчас находится на этапе, когда она может быть практически полезна пациентам.
По мнению профессора Ника Рэмси, нейробиолога из Утрехтского университета в Нидерландах, не участвовавшего в исследовании, это значительный скачок по сравнению с предыдущими результатами. «Мы находимся на переломном этапе», — говорит он.
Ученые отмечают, что следующим важным шагом станет создание беспроводной версии, которую можно будет имплантировать под череп.
