«Війна забрала в мого покоління 10 років життя». Як вчитись IT зараз та після війни 💻

«На Мей Маск вийшли завдяки хорошому нетворку». Як світові зірки заговорили українською завдяки Respeecher

Український стартап Respeecher запустив акцію на підтримку України. За допомогою штучного інтелекту він трансформує голоси голлівудських зірок, щоб вони зазвучали українською. До ініціативи вже долучилися такі зірки як Мей Маск та Еббі Севедж. Ми зв’язалися з Олександром Сердюком, одним із засновників компанії, щоб поговорити про його унікальну розробку.

Залишити коментар
«На Мей Маск вийшли завдяки хорошому нетворку». Як світові зірки заговорили українською завдяки Respeecher

Український стартап Respeecher запустив акцію на підтримку України. За допомогою штучного інтелекту він трансформує голоси голлівудських зірок, щоб вони зазвучали українською. До ініціативи вже долучилися такі зірки як Мей Маск та Еббі Севедж. Ми зв’язалися з Олександром Сердюком, одним із засновників компанії, щоб поговорити про його унікальну розробку.

Про компанію та інвестиції

Respeecher як компанія існує з 2018 року, а заснували її українці Дмитро Бєлєвцов та Олександр Сердюк, а також американець Грант Рібер. Із 2018 року компанія залучила понад $3 млн інвестицій. Усього у компанії працює 37 осіб, це люди з унікальним бекграундом озвучки фільмів та музичної індустрії. Також це і програмісти, спеціалісти з нейронних мереж, комунікаційники та потужна команда біздеву. 

Фото — Олександр Сердюк

Про технологію

Розкажу на прикладі відео із Мей Маск. Вона записала відео, де своїм голосом англійською висловлює підтримку українцям. Погодила саму ідею, щоб ми відтворили її запис й конвертували в українську мову. Лише тоді як отримали її погодження взяли у роботу: кілька днів наша ML–модель тренувалась на інтерв’ю та інших аудіозаписах Мей. Далі нейромережа проаналізували ці записи та наклала її голос на аудіо доріжку, яку дублер начитав українською. В результаті у Twitter–пості Мей Маск ви чуєте як звучить її звернення українською, але її голосом. 

Щось схоже відбувалось і відео в пам’ять Avicii, яке зробив володар Гремі Aloe Blacc. Ми допомогли записати цю пісню голосом Aloe, але трьома різними мовами —  іспанською, мандаринською та англійською. 

Команда dev запускає YouTube-канал про сильних людей. Дивіться перше відео вже цієї п’ятниці.

Про те, як вийшли на Мей Маск та допомогу ЗСУ

Ми вийшли на Мей Маск, тому що маємо хороший нетворк (сміється). В цілому ми як усі хотіли долучитись і підтримати країну у тій формі якій можемо. Тому й запустили ініціативу Share UA Voices.

«Ми хотіли почути як світові зірки підтримують нас саме українською мовою, почути як їхні голоси звучатимуть солов'їною».

Адже відомо що російська політика та активна інформаційна війна націлена проти української мови та культури в цілому. Круто що окрім матері Ілона Маска до ініціатив долучались і героїня Netflix серіалу Orange is a new Black — Ебігейл Севедж. Також на цей час у роботі ряд інших подібних проєктів з відомими людьми. Кошти не проходять через нас, а на пряму зачислюються фонду «Повернись живим», тому не володіємо інформацією.

Про те, як синтезували голоси для серіалів «Мандалорець» і «Боба Фетт»

Головна специфіка роботи з ним що про багато нюансів та аспектів роботи, які не можна розголошувати через NDA. В останньому епізоді серіалу «Мандалорець» Lucasfilm (тепер Walt Disney) з’явився головний герой — молодий Люк Скайуокер. Оскільки Марк Хемілл грає персонажа з 1977 року, тож на момент виходу епізоду серіалу йому вже було 68.

Фото — Марк Хемілл

Нашим завданням було зробити так щоб мільйони фанатів Зоряних Війн почули саме той голос Люка Скайвокера, який вони чули багато років тому. Технологія проаналізувала аудіозаписи молодого Хемілла за допомогою нейронних мереж та дозволила відтворити голос саме тієї епохи. Ніхто не підозрював, що голос штучний, поки команда Лукасфілм не розповіла про це. До речі, було дуже приємно бачити що Хемілл також зараз активно підтримує Україну.

Про те, як виграли премію «Еммі»

Ми отримали Еммі за документалку. Не скажу що змінило наше життя, але це точно круте свідчення для команди і для нас що рухаємось у правильному напрямку. Якби ми мали нагороди усіх голлівудських проєктів у яких ми взяли участь то місця для них в офісі не вистачило б. Для нас важливими пріоритетами є якість технології та етичність її використання, тому думаю Emmy Awards це свого роду валідація обох критеріїв.  

Фото — Respeecher

Про порівняння з Reface

Не надто компетентно порівнювати. Це два дуже різні, але дуже круті продукти родом з України, втім у нас різні ніші на напрямки. Respeecher з’явився на світ на рік раніше. Ми поважаємо і вболіваємо за Reface, як і за інші українські стартапи. Наша ніша це все ж професійне голосове клонування для Голлівудських фільмів.

«Окремим напрямом для нас зокрема є healthcare і те як наша технологія може допомагати людям із захворюваннями, які призводять до часткової втрати голосу чи погіршення можливості розмовляти».

Наприклад, актор Майк Йорк відомий своєю роллю у фільмі Остін Пауерс сам звернувся до нас через те, що частково втратив голос внаслідок захворювання амілоїдоз. Завдяки нашій AI технології він зміг своїм голосом озвучити освітній відеоролик який розповідає людям про це захворювання. Це приклад того, як новітні технології, як клонування голосу, можуть покращити якість життя людей. 

Про плани 

Головний план — підкорити Голлівуд, і щоб бодай половина оскароносних акторів звучали українською завдяки нашій технології (сміється). 

«Якщо серйозно, то Respeecher матиме ряд продуктів і окрім роботи із голлівудськими фільмами, геймінг брендами та зірками з музичної індустрії ми запустили ще один продукт Voice Marketplace, який наразі активно використовується девелоперами ігр та анімацій, професійними звукачами та навіть голосовими акторами».

Respeecher зовсім нещодавно вивів у продакшн систему заміни голосу у реальному часі. У 2021 році ми відкрили для технології новий ринок дубляжу — можемо зберігати оригінальні голоси акторів при озвучці різними мовами. Ми будуємо ряд технологічних продуктів на базі основної технології. Також і надалі будемо фокусуватись на темі застосування нашої технології у медичній сфері та етичності використання AI технології. Як лідери в області синтезованої мови, бачимо у цьому важливу місію.

Мей Маск заговорила українською. В цьому їй допоміг український стартап: відео
Мей Маск заговорила українською. В цьому їй допоміг український стартап: відео
По темi
Мей Маск заговорила українською. В цьому їй допоміг український стартап: відео
В Україні запустили NFT проєкт «Голос Шевченка». Він коштує від $100
В Україні запустили NFT проєкт «Голос Шевченка». Він коштує від $100
По темi
В Україні запустили NFT проєкт «Голос Шевченка». Він коштує від $100
Читайте головні IT-новини країни в нашому Telegram
Читайте головні IT-новини країни в нашому Telegram
По темi
Читайте головні IT-новини країни в нашому Telegram
Читайте про офіс, де планували прийняти працювати до 30 IT-шників, а виявилось кілька сотень.

Як організувала простір та роботу в Хмельницькому компанія EPAM.

Хочете повідомити важливу новину?
Пишіть у Telegram-бот

Головні події та корисні посилання
в нашому Telegram-каналі

Обговорення
Коментарів поки немає.