Deepdub розробив алгоритми, які на основі нейронних мереж відтворюють мову та інші звуки акторів новою мовою, але фактично зберігають звучання оригінального голосу акторів. AI обробляє голоси, але зберігає тембр, ритм, інтонації та інші важливі голосові нюанси в роботі професійного артиста. Про це пише VentureBeat.
Deepdub розробив алгоритми, які на основі нейронних мереж відтворюють мову та інші звуки акторів новою мовою, але фактично зберігають звучання оригінального голосу акторів. AI обробляє голоси, але зберігає тембр, ритм, інтонації та інші важливі голосові нюанси в роботі професійного артиста. Про це пише VentureBeat.
Стартап дублює фільми, ігри та рекламу на етапі постпродакшену. За допомогою штучного інтелекту голоси акторів обробляють і переводять на нову мову. При цьому технології аналізують і зберігають ритм, інтонації, тембр голосу, алгоритми платформи відстежують міміку, рухи губ акторів та інші деталі. Розробники використовують синтетичні голоси, які ґрунтуються на оригінальних зразках голосів акторів. Підсумкова озвучка виходить аналогічною професійному дубляжу, але голосом оригіналу.
Перша проблема, яка виникає в процесі озвучування і дублювання, це велика кількість витраченого на це часу. На п’ять хвилин тексту в середньому йде година роботи в студії звукозапису, такі дані надає компанія Aberdeen. І цей час може збільшуватися приблизно удвічі, якщо актор дубляжу хоче максимально відповідати оригіналу. Друга складність — це значна вартість таких послуг. В середньому ціна становить $75 з одну хвилину дублювання однієї людини на одну мову.
У цьому випадку розробка стартапу є універсальним рішенням для кінематографістів, розробників відеоігор і контент-мейкерів, якщо вони прагнуть вийти на міжнародні ринки.
«Наші моделі штучного інтелекту дозволяють відтворювати характеристики голосу, використовуючи не більше трьох хвилин оригінальних голосових даних. Голос, що генерується AI, на цільовій мові може відтворюватися на будь-якому рівні виразності, включаючи плач, крик, розмову з їжею в роті й багато іншого — навіть якщо вихідні голосові дані не містили цю інформацію», — розповів співзасновник Deepdub Нір Краковскі.
Програма підтримує на цей час шість мов і планує додати ще стільки ж до кінця наступного року.
Як сказав Красовскі, у світовий прокат вже вийшов фільм, дубльований за допомогою технологій Deepdub з синтезованими голосами іспанською та португальською мовами. Це англомовний трилер «Кожен раз, як я вмираю» 2019 року.
Днями Deepdub залучив $20 млн в рамках раунду серії A. отримані кошти будуть спрямовані на вдосконалення технологій розробки. У довгостроковій перспективі компанія має намір також вивести свої алгоритми на наступний рівень — навчити штучний інтелект дублювати голоси в режимі реального часу.
