Тяжко паралізована жінка змогла говорити через аватар за допомогою технології, яка перекладала сигнали її мозку на мову та міміку.
Тяжко паралізована жінка змогла говорити через аватар за допомогою технології, яка перекладала сигнали її мозку на мову та міміку.
Це досягнення дає надію, що інтерфейси між мозком і комп’ютером можуть змінити життя людей, які втратили здатність говорити через інсульт або бічний аміотрофічний склероз, передає The Guardian.
Раніше пацієнтам доводилося покладатися на дуже повільні синтезатори мови, які вловлюють і відтворюють слова, стежачи за очима або невеликими рухами обличчя. Звісно, це внеможливлювало звичайну розмову.
Новітня технологія використовує крихітні електроди, імплантовані на поверхню мозку, для виявлення електричної активності в тій його частині, яка контролює мову й рухи обличчя. Ці сигнали транслюються безпосередньо в слова та міміку цифрового аватара, включно з посмішками, насупленістю або здивуванням.
«Наша мета — відновити повноцінний, утілений спосіб спілкування, який насправді є найбільш природним для нас», — сказав професор Едвард Чанг, який очолював роботу в Каліфорнійському університеті в Сан-Франциско (UCSF)
47-річна Енн важко паралізована після інсульту стовбура мозку, що стався понад 18 років тому. Пацієнтка не може говорити або друкувати й зазвичай спілкується за допомогою технології відстеження рухів, яка дає змогу їй повільно вибирати літери зі швидкістю до 14 слів на хвилину. Вона сподівається, що технологія аватарів дасть змогу їй у майбутньому працювати консультантом.
Команда імплантувала тонкий, наче папір, прямокутник із 253 електродів на поверхню мозку Енн над критично важливою для мовлення областю. Електроди перехоплювали сигнали мозку, які, якби не інсульт, керували б м’язами язика, щелепи, гортані й обличчя.
Після імплантації Енн працювала з командою над тим, щоби навчити алгоритм штучного інтелекту розпізнавати унікальні сигнали її мозку для різних мовних звуків шляхом багаторазового повторення різних фраз.
Комп’ютер вивчив 39 характерних звуків, а мовна модель, схожа на ChatGPT, застосовувалась для перекладу сигналів у зрозумілі речення. Потім це було використано для управління аватаром із голосом, персоналізованим під голос Енн до травми, на основі запису її виступу на весіллі.
Технологія не була досконалою: під час тестового запуску, що включав понад 500 фраз, вона декодувала слова неправильно у 28% випадків, а швидкість перетворення думок у текст становила 78 слів за хвилину, порівняно з 110–150 словами, які зазвичай вимовляються під час природної розмови.
Однак, за словами вчених, останні досягнення в точності, швидкості й досконалості свідчать про те, що ця технологія зараз знаходиться на етапі, коли вона може бути практично корисною для пацієнтів.
На думку професора Ніка Ремсі, нейробіолога з Утрехтського університету в Нідерландах, який не брав участі в дослідженні, це значний стрибок у порівнянні з попередніми результатами. «Ми перебуваємо на переломному етапі», — говорить він.
Науковці зазначають, що наступним важливим кроком стане створення бездротової версії, яку можна буде імплантувати під череп.
