Nvidia представила Nemotron 3.5 Transcribe — ШІ-модель із відкритими вагами, яку розробники можуть безплатно завантажити й адаптувати під свої потреби. Вона перетворює аудіозаписи на текст, перекладає мовлення та може розрізняти до восьми співрозмовників.
Nvidia представила Nemotron 3.5 Transcribe — ШІ-модель із відкритими вагами, яку розробники можуть безплатно завантажити й адаптувати під свої потреби. Вона перетворює аудіозаписи на текст, перекладає мовлення та може розрізняти до восьми співрозмовників.
Про це повідомляє Nvidia.
Модель орієнтована насамперед на розробників сервісів для роботи з аудіо. Наприклад, її можна використати, щоб створити застосунок, який автоматично записуватиме зміст робочих зустрічей, допомагатиме лікарям оформлювати медичні записи або перетворюватиме інтерв’ю на текст.
ШІ-помічнику можна пояснити, який саме результат потрібен. Наприклад, попросити записати розмову дослівно, разом із паузами та словами-паразитами, або підготувати відредагований текст без зайвих повторів. Також можна підказати моделі імена людей чи професійні терміни, щоб вона рідше помилялася під час розпізнавання.
Також модель працює з готовими аудіозаписами, а не з розмовами наживо. Тому використовувати її, наприклад, для миттєвого створення субтитрів під час відеодзвінка поки не вийде.
Nemotron 3.5 Transcribe підтримує переклад між англійською та ще 30 мовами, зокрема українською. А ось функція розрізнення голосів співрозмовників доступна лише для 13 мов. Української серед них поки немає.
Для запуску достатньо одного сумісного графічного процесора Nvidia, хоча вимоги до обладнання залежать від версії моделі.
Разом із моделлю Nvidia випустила Granary v2 — оновлений набір аудіозаписів і текстів для навчання ШІ. За його допомогою та з інструментами NeMo Speech розробники зможуть додатково навчати модель, наприклад, краще розпізнавати медичну термінологію, професійний сленг або особливості вимови.
За даними Nvidia, новинка посіла перше місце серед моделей із відкритими вагами в рейтингу Hugging Face Open ASR Leaderboard за точністю розпізнавання англійської мови.
Модель уже доступна на Hugging Face, зокрема для комерційного використання відповідно до умов ліцензії.
Раніше dev.ua писав, що Microsoft представила MAI-Transcribe-2-Streaming — ШІ-модель, яка може перетворювати мовлення на текст у реальному часі, а також дві нові голосові моделі для ШІ-агентів.
