Deepdub разработал алгоритмы, которые на основе нейронных сетей воспроизводят речь и другие звуки актеров на другом языке, но фактически сохраняют звучание оригинального голоса актеров. AI обрабатывает голоса, но сохраняя тембр, ритм, интонации и другие важные голосовые нюансы в работе профессионального артиста. Об этом пишет VentureBeat.
Deepdub разработал алгоритмы, которые на основе нейронных сетей воспроизводят речь и другие звуки актеров на другом языке, но фактически сохраняют звучание оригинального голоса актеров. AI обрабатывает голоса, но сохраняя тембр, ритм, интонации и другие важные голосовые нюансы в работе профессионального артиста. Об этом пишет VentureBeat.
Стартап дублирует фильмы, игры и рекламу на этапе постпродакшена. С помощью искусственного интеллекта голоса актеров обрабатывают и переводят на другой язык. При этом технологии анализируют и сохраняют ритм, интонации, тембр голоса, алгоритмы платформы отслеживают мимику, движения губ актеров и другие детали. Разработчики используют синтетические голоса, которые основываются на оригинальных образцах голосов актеров. Итоговая озвучка получается аналогичной профессиональному дубляжу, но голосом оригинала.
Первая проблема, которая возникает в процессе озвучивания и дублирования, это большое количество затраченного времени. На пять минут текста в среднем уходит час работы в студии звукозаписи, такие данные предоставляет компания Aberdeen. И это время может увеличиваться примерно в два раза, если актер дубляжа хочет максимально соответствовать оригиналу. Вторая сложность — значительная стоимость таких услуг. В среднем цена составляет $75 в одну минуту дублирования одного человека на один язык.
В этом случае разработка стартапа является универсальным решением для кинематографистов, разработчиков видеоигр и контент-мейкеров, если они стремятся выйти на международные рынки.
«Наши модели искусственного интеллекта позволяют воспроизводить характеристики голоса, используя не более трех минут оригинальных голосовых данных. Голос, генерируемый AI, на целевом языке может воспроизводиться на любом уровне выразительности, включая плач, крик, разговор с едой во рту и многое другое — даже если исходные голосовые данные не содержали эту информацию», — рассказал соучредитель Deepdub Нир Краковски.
Программа поддерживает на данный момент шесть языков и планируется добавить еще столько же до конца следующего года.
Как сказал Красовски, в мировой прокат уже вышел фильм, дублированный с помощью технологий Deepdub с синтезированными голосами на испанский и португальский языки. Это англоязычный триллер «Каждый раз, как я умираю» 2019 года.
На днях Deepdub привлек $20 млн в рамках раунда серии A. Полученные средства будут направлены на совершенствование технологий разработки. В долгосрочной перспективе компания намерена также вывести свои алгоритмы на следующий уровень — научить искусственный интеллект дублировать голоса в режиме реального времени.
