Про Херсон від херсонця 🔥

«На Мэй Маск вышли благодаря хорошему нетворку». Как мировые звезды заговорили на украинском благодаря Respeecher

Украинский стартап Respeecher запустил акцию в поддержку Украины. С помощью искусственного интеллекта он трансформирует голоса голливудских звезд, чтобы они зазвучали по-украински. К инициативе уже присоединились такие звезды, как Мэй Маск и Эбби Севедж. Мы связались с Александром Сердюком, одним из основателей компании, чтобы поговорить о его уникальной разработке.

Оставить комментарий
«На Мэй Маск вышли благодаря хорошему нетворку». Как мировые звезды заговорили на украинском благодаря Respeecher

Украинский стартап Respeecher запустил акцию в поддержку Украины. С помощью искусственного интеллекта он трансформирует голоса голливудских звезд, чтобы они зазвучали по-украински. К инициативе уже присоединились такие звезды, как Мэй Маск и Эбби Севедж. Мы связались с Александром Сердюком, одним из основателей компании, чтобы поговорить о его уникальной разработке.

О компании и инвестициях

Respeecher как компания существует с 2018 года, а учредили ее украинцы Дмитрий Белевцов и Александр Сердюк, а также американец Грант Рибер. С 2018 года компания привлекла более $3 млн. инвестиций. Всего в компании работают 37 человек, это люди с уникальным бэкграундом озвучки фильмов и музыкальной индустрии. Также это и программисты, специалисты по нейронным сетям, коммуникационщики и мощная команда бедняка.

Фото — Александр Сердюк

О технологии

Расскажу на примере видео из Мэй Маск. Она записала видео, где своим голосом по-английски выражает поддержку украинцам. Согласила идею, чтобы мы воспроизвели ее запись и конвертировали в украинский язык. Лишь в то время как получили ее согласование, взяли на работу: несколько дней наша ML–модель тренировалась на интервью и других аудиозаписях Мэй. Далее нейросеть проанализировали эти записи и наложила ее голос на аудиодорожку, которую дублер начитал на украинском. В результате в Twitter-посте Мэй Маск вы слышите как звучит ее обращение на украинском, но ее голосом.

Что-то похожее происходило и видео в память Avicii, сделанное обладателем Грэмми Aloe Blacc. Мы помогли записать эту песню голосом Aloe, но на трех разных языках — испанском, мандаринском и английском.

О том, как вышли на Мэй Маск и помощь ВСУ

Мы вышли на Мэй Маск, потому что имеем хороший нетворк (смеется). В целом мы, как все, хотели приобщиться и поддержать страну в той форме которой можем. Потому и запустили инициативу Share UA Voices.

«Мы хотели услышать, как мировые звезды поддерживают нас именно на украинском языке, услышать, как их голоса будут звучать соловьиной».

Ведь известно, что российская политика и активная информационная война нацелена против украинского языка и культуры в целом. Круто, кроме матери Илона Маска, к инициативам приобщались и героиня Netflix сериала Orange is a new Black — Эбигейл Севедж. Также сейчас в работе ряд других подобных проектов с известными людьми. Средства не проходят через нас, а на прямую зачисляются фонда «Вернись живым», поэтому не владеем информацией.

О том, как синтезировали голоса для сериалов «Мандалорец» и «Боба Фетт»

Главная специфика работы с ним — о многих нюансах и аспектах работы, которые нельзя разглашать через NDA. В последнем эпизоде сериала «Мандалорец» Lucasfilm (теперь Walt Disney) появился главный герой — молодой Люк Скайуокер. Поскольку Марк Хэмилл играет персонажа с 1977 года, на момент выхода эпизода сериала ему уже было 68.

Фото — Марк Хэмилл

Нашей задачей было сделать так, чтобы миллионы фанатов Звездных Войн услышали именно тот голос Люка Скайвокера, который они слышали много лет назад. Технология проанализировала аудиозаписи молодого Хэмилла с помощью нейронных сетей и позволила воспроизвести голос именно той эпохи. Никто не подозревал, что голос искусственный, пока команда Лукасфилма не рассказала об этом. Кстати, было очень приятно видеть, что Хэмилл также сейчас активно поддерживает Украину.

О том, как выиграли премию «Эмми»

Мы получили Эмми за документалку. Не скажу что изменило нашу жизнь, но это точно крутое свидетельство для команды и для нас, что двигаемся в правильном направлении. Если бы мы имели награды всех голливудских проектов, в которых мы принимали участие, то места для них в офисе не хватило бы. Для нас важными приоритетами является качество технологии и этичность ее использования, поэтому думаю Emmy Awards это своего рода валидация обоих критериев.

Фото — Respeecher

О сравнении с Reface

Не слишком компетентно сравнивать. Это два очень разных, но очень крутых продукта родом из Украины, впрочем, у нас разные ниши на направления. Respeecher появился на свет годом ранее. Мы уважаем и болеем за Reface, как и другие украинские стартапы. Наша ниша — это все же профессиональное голосовое клонирование для Голливудских фильмов.

«Отдельным направлением для нас в частности является healthcare и то, как наша технология может помогать людям с заболеваниями, приводящими к частичной потере голоса или ухудшению возможности разговаривать».

К примеру, актер Майк Йорк известен своей ролью в фильме Остин Пауэрс сам обратился к нам из-за того, что частично потерял голос в результате заболевания амилоидозом. Благодаря нашей AI технологии он смог своим голосом озвучить образовательный видеоролик рассказывающий людям об этом заболевании. Это пример того, как новейшие технологии, как клонирование голоса могут улучшить качество жизни людей.

О планах 

Главный план — покорить Голливуд, и чтобы хотя бы половина оскароносных актеров звучали по-украински благодаря нашей технологии (смеется).

«Если серьезно, Respeecher будет иметь ряд продуктов и кроме работы с голливудскими фильмами, гейминг брендами и звездами из музыкальной индустрии мы запустили еще один продукт Voice Marketplace, который активно используется девелоперами игр и анимаций, профессиональными звукачами и даже голосовыми актерами».

Respeecher совсем недавно вывел в продакшн систему замены голоса в реальном времени. В 2021 году мы открыли для технологии новый рынок дубляжа — можем сохранять оригинальные голоса актеров при озвучке на разных языках. Мы строим ряд технологических продуктов на основе основной технологии. Также и дальше будем фокусироваться на теме применения нашей технологии в медицинской сфере и нравственности использования AI технологии. Как лидеры в области синтезированного языка, мы видим в этом важную миссию.

Мэй Маск заговорила по-украински. В этом ей помог украинский стартап: видео
Мэй Маск заговорила по-украински. В этом ей помог украинский стартап: видео
По теме
Мэй Маск заговорила по-украински. В этом ей помог украинский стартап: видео
В Украине запустили NFT проект "Голос Шевченко". Он стоит от $100
В Украине запустили NFT проект «Голос Шевченко». Он стоит от $100
По теме
В Украине запустили NFT проект «Голос Шевченко». Он стоит от $100
Читайте главные IT-новости страны в нашем Telegram
Читайте главные IT-новости страны в нашем Telegram
По теме
Читайте главные IT-новости страны в нашем Telegram
Електробайки по-українськи між Києвом та Лос-Анджелесом в «СКШ»

Дивіться, чим живе Delfast під час війни в Україні

Мы запускаем рассылку об украинском IT-комьюнити. Оставьте email, чтобы понимать больше. Премьера — скоро!
Спасибо! На указанный адрес отправлено письмо для подтверждения подписки.

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментариев пока нет.