Ми запускаємо розсилку про українське IT-ком’юніті. Залиште email, аби розуміти більше. Прем’єра — скоро!
Дякую! На вказану адресу надіслано листа для підтвердження підписки.
Hot! dev.media шукає менеджера з продажу спецпроєктів

Ізраїльський стартап Deepdub дублює фільми, ігри та рекламу за допомогою AI

Deepdub розробив алгоритми, які на основі нейронних мереж відтворюють мову та інші звуки акторів новою мовою, але фактично зберігають звучання оригінального голосу акторів.  AI обробляє голоси, але зберігає тембр, ритм, інтонації та інші важливі голосові нюанси в роботі професійного артиста. Про це пише  VentureBeat.

Залишити коментар
Ізраїльський стартап Deepdub дублює фільми, ігри та рекламу за допомогою AI

Deepdub розробив алгоритми, які на основі нейронних мереж відтворюють мову та інші звуки акторів новою мовою, але фактично зберігають звучання оригінального голосу акторів.  AI обробляє голоси, але зберігає тембр, ритм, інтонації та інші важливі голосові нюанси в роботі професійного артиста. Про це пише  VentureBeat.

Стартап дублює фільми, ігри та рекламу на етапі постпродакшену. За допомогою штучного інтелекту голоси акторів обробляють і переводять на нову мову. При цьому технології аналізують і зберігають ритм, інтонації, тембр голосу, алгоритми платформи відстежують міміку, рухи губ акторів та інші деталі. Розробники використовують синтетичні голоси, які ґрунтуються на оригінальних зразках голосів акторів. Підсумкова озвучка виходить аналогічною професійному дубляжу, але голосом оригіналу.

Перша проблема, яка виникає в процесі озвучування і дублювання, це велика кількість витраченого на це часу. На п’ять хвилин тексту в середньому йде година роботи в студії звукозапису, такі дані надає компанія Aberdeen. І цей час може збільшуватися приблизно удвічі, якщо актор дубляжу хоче максимально відповідати оригіналу. Друга складність — це значна вартість таких послуг. В середньому ціна становить $75 з одну хвилину дублювання однієї людини на одну мову.

У цьому випадку розробка стартапу є універсальним рішенням для кінематографістів, розробників відеоігор і контент-мейкерів, якщо вони прагнуть вийти на міжнародні ринки.

Ти один, а даних багато? Обирай курс з дата-аналітики

«Наші моделі штучного інтелекту дозволяють відтворювати характеристики голосу, використовуючи не більше трьох хвилин оригінальних голосових даних. Голос, що генерується AI, на цільовій мові може відтворюватися на будь-якому рівні виразності, включаючи плач, крик, розмову з їжею в роті й багато іншого — навіть якщо вихідні голосові дані не містили цю інформацію», — розповів співзасновник Deepdub Нір Краковскі.

​​Програма підтримує на цей час шість мов і планує додати ще стільки ж до кінця наступного року. 

Як сказав Красовскі, у світовий прокат вже вийшов фільм, дубльований за допомогою технологій Deepdub з синтезованими голосами іспанською та португальською мовами. Це англомовний трилер «Кожен раз, як я вмираю» 2019 року.

Днями Deepdub залучив $20 млн в рамках раунду серії A. отримані кошти будуть спрямовані на вдосконалення технологій розробки. У довгостроковій перспективі компанія має намір також вивести свої алгоритми на наступний рівень — навчити штучний інтелект дублювати голоси в режимі реального часу.

Читайте главные IТ-новости страны в нашем телеграме
Читайте головні ІТ-новини країни в нашому телеграмі
По темі
Читайте головні ІТ-новини країни в нашому телеграмі
“В пандемию решили внедрить AI чтобы помочь клиенту помогать себе самому”. Что происходит в стенах одной из крупнейших IT-компаний Украины ZONE3000
«У пандемію вирішили впровадити AI, щоб допомогти клієнту допомагати собі самому». Що відбувається в стінах однієї з найбільших IT-компаній України ZONE3000
По темі
«У пандемію вирішили впровадити AI, щоб допомогти клієнту допомагати собі самому». Що відбувається в стінах однієї з найбільших IT-компаній України ZONE3000
Террористический хаос неравенство и автономные киллеры. 7 главных мыслей тайваньского AI-гуру Кай-Фу Ли о развитии эры искусственного интеллекта
Терористичний хаос, нерівність і автономні кілери. 7 головних думок тайванського AI-гуру Кай-Фу Лі про розвиток ери штучного інтелекту
По темі
Терористичний хаос, нерівність і автономні кілери. 7 головних думок тайванського AI-гуру Кай-Фу Лі про розвиток ери штучного інтелекту
Выпускников бесплатной школы ML-специалистов от AI HOUSE в Киеве будут трудоустраивать в Reface Pawa и ZibraAI
Випускників безкоштовної школи ml-фахівців від AI HOUSE в Києві будуть працевлаштовувати в Reface, Pawa і ZibraAI
По темі
Випускників безкоштовної школи ml-фахівців від AI HOUSE в Києві будуть працевлаштовувати в Reface, Pawa і ZibraAI
Айтішник розробив та створив болід власноруч.

Дивіться на каналі dev.ua тест-драйв спорткара.

Ми запускаємо розсилку про українське IT-ком’юніті. Залиште email, аби розуміти більше. Прем’єра — скоро!
Дякую! На вказану адресу надіслано листа для підтвердження підписки.
Читайте також
Roosh запускає нову освітню платформу AI HOUSE CLUB для ML/AI-спеціалістів та дата сайнтистів. Розповідаємо, як подати заявку та чому навчатимуть
Roosh запускає нову освітню платформу AI HOUSE CLUB для ML/AI-спеціалістів та дата сайнтистів. Розповідаємо, як подати заявку та чому навчатимуть
Roosh запускає нову освітню платформу AI HOUSE CLUB для ML/AI-спеціалістів та дата сайнтистів. Розповідаємо, як подати заявку та чому навчатимуть
Як нейромережі бачать вільну та незалежну Україну? Тест dev.ua
Як нейромережі бачать вільну та незалежну Україну? Тест dev.ua
Як нейромережі бачать вільну та незалежну Україну? Тест dev.ua
Нейронні мережі для генерації зображень бачать світ по-своєму, їхню логіку зрозуміти часом зовсім неможливо. Але таки хочеться. На честь Дня Незалежності України редакція dev.ua вирішила провести невеликий експеримент. Ми задали чотирьом різним нейронним мережам п’ять однакових запитів: «прапор України», «День Незалежності України», «український Крим», «перемога України» та «українці». Отриманими результатами ми ділимося з вами нижче.
Український звукорежисер зменшував вік голосу Люка Скайвокера у спіч-офф «Зоряних війн» в Маріуполі під звуки сирен
Український звукорежисер зменшував вік голосу Люка Скайвокера у спіч-офф «Зоряних війн» в Маріуполі під звуки сирен
Український звукорежисер зменшував вік голосу Люка Скайвокера у спіч-офф «Зоряних війн» в Маріуполі під звуки сирен
У TikTok тепер можна генерувати фон за допомогою нейромережі. Ми протестували її та ділимося результатами
У TikTok тепер можна генерувати фон за допомогою нейромережі. Ми протестували її та ділимося результатами
У TikTok тепер можна генерувати фон за допомогою нейромережі. Ми протестували її та ділимося результатами
У TikTok з’явилася нова функція «Розумний фон». З її допомогою як фон для тіктоків можна підставляти згенеровані нейромережею зображення. Редакція dev.ua протестувала цю технологію і ділиться своїми враженнями.

Хочете повідомити важливу новину? Пишіть у Telegram-бот

Головні події та корисні посилання в нашому Telegram-каналі

Обговорення
Коментарів поки немає.