ElevenLabs, стартап у сфері штучного інтелекту, який має оцінку в $3,3 млрд, і чий продукт використовувався для дубляжу інтерв’ю президента Володимира Зеленського блогеру зі США Лексу Фрідману, запустив нову самостійну модель Scribe. У ній є підтримка української, яка входить до переліку мов з найменшим відсотком помилок.
ElevenLabs, стартап у сфері штучного інтелекту, який має оцінку в $3,3 млрд, і чий продукт використовувався для дубляжу інтерв’ю президента Володимира Зеленського блогеру зі США Лексу Фрідману, запустив нову самостійну модель Scribe. У ній є підтримка української, яка входить до переліку мов з найменшим відсотком помилок.
Як повідомляє TechCrunch, модель Scribe від ElevenLabs на релізі підтримує понад 99 мов. Понад 25 мов компанія відносить до категорії «відмінної точності» моделі, де частота помилок у словах становить менш як 5%. До цього списку входять англійська, українська, французька, німецька, хінді, індонезійська, японська, польська, португальська, іспанська, в'єтнамська та інші.
Інші мови розподілені за різними категоріями:
Компанія заявила, що модель перевершила Google Gemini 2.0 Flash і Whisper Large V3 у тестах FLEURS і Common Voice на різних мовах.
ElevenLabs розробила компонент перетворення мови в текст для своєї платформи розмовних агентів зі штучним інтелектом, яка була випущена минулого року. Однак це перший випадок, коли компанія випускає окрему модель розпізнавання мови.
«Ми хочемо краще розуміти, що ви говорите в розмові. Ми працюємо над тим, щоб відійти від простого генерування контенту і перейти до розуміння та транскрибування мови. Багато хто каже, що перетворення мови в текст — це вирішена проблема. Але для багатьох мов це дуже погано. Ми вважаємо, що можемо створити кращі моделі розпізнавання мовлення, тому що у нас є внутрішні команди, які коментують дані й надають нам швидкий фідбек», — сказав генеральний директор Маті Станішевскі.
Модель також має інтелектуальну діалогізацію спікерів, щоб вказати користувачу, хто саме говорить, позначку часу на рівні слів для точних субтитрів і автоматичне тегування звукових подій, таких як сміх аудиторії. Стартап надає клієнтам можливість безпосередньо транскрибувати відеоконтент для додавання субтитрів або титрів у своїй студії.
Наразі Scribe працює лише з попередньо записаними аудіоформатами. Компанія заявила, що незабаром випустить версію моделі з низькою затримкою в режимі реального часу. Це означає, що вона ще не є ефективною для транскрипції зустрічей або голосових нотаток.
Scribe коштує у $0,40 за годину транскрибованого аудіо. Хоча ця ціна є конкурентоспроможною, деякі з її конкурентів пропонують нижчу ціну за аудіо транскрипцію з певною диференціацією функцій, відзначає TechCrunch.
Нагадаємо, що у 2023 році стартап ElevenLabs, який створює універсальну машину для дубляжу зі штучним інтелектом, додав підтримку понад 20 мов. Серед них була українська, польська, гінді, португальська, іспанська, японська та арабська.
Наприкінці січня 2025 року ElevenLabs залучив $180 млн під час нового раунду фінансування і потроїв свою оцінку до $3,3 млрд. Раунд фінансування серії C спільно очолили Andreessen Horowitz та Iconiq Growth за участю додаткових нових інвесторів NEA, World Innovation Lab, Valor, Endeavor Catalyst Fund і Lunate.
