Як dev.ua тестили болід айтішника — відео 🏎

Израильский стартап Deepdub дублирует фильмы, игри и рекламу с помощью AI

Deepdub разработал алгоритмы, которые на основе нейронных сетей воспроизводят речь и другие звуки актеров на другом языке, но фактически сохраняют звучание оригинального голоса актеров.  AI обрабатывает голоса, но сохраняя тембр, ритм, интонации и другие важные голосовые нюансы в работе профессионального артиста. Об этом пишет VentureBeat.

Оставить комментарий
Израильский стартап Deepdub дублирует фильмы, игри и рекламу с помощью AI

Deepdub разработал алгоритмы, которые на основе нейронных сетей воспроизводят речь и другие звуки актеров на другом языке, но фактически сохраняют звучание оригинального голоса актеров.  AI обрабатывает голоса, но сохраняя тембр, ритм, интонации и другие важные голосовые нюансы в работе профессионального артиста. Об этом пишет VentureBeat.

Стартап дублирует фильмы, игры и рекламу на этапе постпродакшена. С помощью искусственного интеллекта голоса актеров обрабатывают и переводят на другой язык. При этом технологии анализируют и сохраняют ритм, интонации, тембр голоса, алгоритмы платформы отслеживают мимику, движения губ актеров и другие детали. Разработчики используют синтетические голоса, которые основываются на оригинальных образцах голосов актеров. Итоговая озвучка получается аналогичной профессиональному дубляжу, но голосом оригинала.

Первая проблема, которая возникает в процессе озвучивания и дублирования, это большое количество затраченного времени. На пять минут текста в среднем уходит час работы в студии звукозаписи, такие данные предоставляет компания Aberdeen. И это время может увеличиваться примерно в два раза, если актер дубляжа хочет максимально соответствовать оригиналу. Вторая сложность — значительная стоимость таких услуг. В среднем цена составляет $75 в одну минуту дублирования одного человека на один язык.

В этом случае разработка стартапа является универсальным решением для кинематографистов, разработчиков видеоигр и контент-мейкеров, если они стремятся выйти на международные рынки.

Ты один, а данных много? Выбирай курс по дата-аналитике

«Наши модели искусственного интеллекта позволяют воспроизводить характеристики голоса, используя не более трех минут оригинальных голосовых данных. Голос, генерируемый AI, на целевом языке может воспроизводиться на любом уровне выразительности, включая плач, крик, разговор с едой во рту и многое другое — даже если исходные голосовые данные не содержали эту информацию», — рассказал соучредитель Deepdub Нир Краковски.

​​Программа поддерживает на данный момент шесть языков и планируется добавить еще столько же до конца следующего года. 

Как сказал Красовски, в мировой прокат уже вышел фильм, дублированный с помощью технологий Deepdub с синтезированными голосами на испанский и португальский языки. Это англоязычный триллер «Каждый раз, как я умираю» 2019 года.

На днях Deepdub привлек $20 млн в рамках раунда серии A. Полученные средства будут направлены на совершенствование технологий разработки. В долгосрочной перспективе компания намерена также вывести свои алгоритмы на следующий уровень — научить искусственный интеллект дублировать голоса в режиме реального времени.

Читайте главные IТ-новости страны в нашем телеграме
Читайте главные IТ-новости страны в нашем телеграме
По теме
Читайте главные IТ-новости страны в нашем телеграме
“В пандемию решили внедрить AI чтобы помочь клиенту помогать себе самому”. Что происходит в стенах одной из крупнейших IT-компаний Украины ZONE3000
«В пандемию решили внедрить AI, чтобы помочь клиенту помогать себе самому». Что происходит в стенах одной из крупнейших IT-компаний Украины ZONE3000
По теме
«В пандемию решили внедрить AI, чтобы помочь клиенту помогать себе самому». Что происходит в стенах одной из крупнейших IT-компаний Украины ZONE3000
Террористический хаос неравенство и автономные киллеры. 7 главных мыслей тайваньского AI-гуру Кай-Фу Ли о развитии эры искусственного интеллекта
Террористический хаос, неравенство и автономные киллеры. 7 главных мыслей тайваньского AI-гуру Кай-Фу Ли о развитии эры искусственного интеллекта
По теме
Террористический хаос, неравенство и автономные киллеры. 7 главных мыслей тайваньского AI-гуру Кай-Фу Ли о развитии эры искусственного интеллекта
Выпускников бесплатной школы ML-специалистов от AI HOUSE в Киеве будут трудоустраивать в Reface Pawa и ZibraAI
Выпускников бесплатной школы ML-специалистов от AI HOUSE в Киеве будут трудоустраивать в Reface, Pawa и ZibraAI
По теме
Выпускников бесплатной школы ML-специалистов от AI HOUSE в Киеве будут трудоустраивать в Reface, Pawa и ZibraAI
Мы запускаем рассылку об украинском IT-комьюнити. Оставьте email, чтобы понимать больше. Премьера — скоро!
Спасибо! На указанный адрес отправлено письмо для подтверждения подписки.
Читайте также
Roosh запускает новую образовательную платформу AI HOUSE CLUB для ML/AI-специалистов и дата сайнтистов. Рассказываем, как подать заявку и чему будут учить
Roosh запускает новую образовательную платформу AI HOUSE CLUB для ML/AI-специалистов и дата сайнтистов. Рассказываем, как подать заявку и чему будут учить
Roosh запускает новую образовательную платформу AI HOUSE CLUB для ML/AI-специалистов и дата сайнтистов. Рассказываем, как подать заявку и чему будут учить
Как нейросети видят свободную и независимую Украину? Тест dev.ua
Как нейросети видят свободную и независимую Украину? Тест dev.ua
Как нейросети видят свободную и независимую Украину? Тест dev.ua
Нейронные сети для генерации изображений видят мир по-своему, их логику понять порой совершенно невозможно. Но все-таки хочется. И в честь Дня Независимости Украины редакция dev.ua решила провести небольшой эксперимент. Мы задали четырем разным нейронным сетям пять одинаковых запросов: «флаг Украины», «День Независимости Украины», «украинский Крым», «победа Украины» и «украинцы». Получившимися результатами мы делимся с вами ниже.
Украинский звукорежиссер уменьшал возраст голоса Люка Скайвокера в спич-офф «Звездных войн» в Мариуполе под звуки сирен
Украинский звукорежиссер уменьшал возраст голоса Люка Скайвокера в спич-офф «Звездных войн» в Мариуполе под звуки сирен
Украинский звукорежиссер уменьшал возраст голоса Люка Скайвокера в спич-офф «Звездных войн» в Мариуполе под звуки сирен
В TikTok теперь можно генерировать фон при помощи нейросети. Мы протестировали ее и делимся результатами
В TikTok теперь можно генерировать фон при помощи нейросети. Мы протестировали ее и делимся результатами
В TikTok теперь можно генерировать фон при помощи нейросети. Мы протестировали ее и делимся результатами
В TikTok появилась новая функция «Умный фон». С ее помощью в качестве фонов для тиктоков можно подставлять сгенерированные нейросетью изображения. Редакция dev.ua протестировала эту возможность и делится своими впечатлениями. 

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментариев пока нет.