Компания Stability AI, наиболее известная благодаря созданию визуальных изображений с искусственным интеллектом в сервисе Stable Diffusion, запустила новую платформу. Как можно догадаться из названия, Stable Audio будет преобразовывать текст в звук.
Компания Stability AI, наиболее известная благодаря созданию визуальных изображений с искусственным интеллектом в сервисе Stable Diffusion, запустила новую платформу. Как можно догадаться из названия, Stable Audio будет преобразовывать текст в звук.
Stable Audio использует модель диффузии — ту же модель ИИ, которая лежит в основе Stable Diffusion, но обучена на аудио, а не изображениям. Пользователи могут использовать ее для создания песен или фонового аудио для любого проекта, пишет The Verge.
Модели диффузии звука, как правило, генерируют аудиозаписи фиксированной длины, что ужасно для музыкального производства, поскольку песни имеют разную продолжительность. Новая платформа Stability AI позволяет пользователям создавать звуки разной длины, что требует от компании обучения на музыке и добавления текстовых метаданных о времени начала и окончания песни.
Ранее ИИ, обученный на 30-секундном клипе, мог генерировать всего 30 секунд звука и создавать произвольные фрагменты песен. По словам представителей Stability AI, доработка модели теперь позволяет пользователям Stable Audio иметь больше контроля над продолжительностью песни.
«Stable Audio представляет передовые исследования в области генерации звука, проведенные исследовательской лабораторией Harmonai, входящей в состав Stability AI», — говорится в заявлении компании.
В Stability AI утверждают, что учили Stable Audio на «наборе данных, состоящем из более 800 000 аудиофайлов, содержащих музыку, звуковые эффекты и отдельные инструменты», а также текстовых метаданных от компании AudioSparx, занимающейся лицензированием музыкальных произведений.
Этот набор данных содержит более 19 500 часов звуков. Сотрудничая с лицензионной компанией, Stability AI заявляет, что имеет разрешение на использование материалов, защищенных авторским правом.
Stable Audio будет иметь три ценовых уровня:
Пользователи бесплатной версии не могут коммерчески использовать аудио, созданное с помощью Stable Audio.
Как и в случае других аудио платформ с искусственным интеллектом, значительная часть потенциальных применений Stable Audio будет связана с созданием фоновой музыки для подкастов или видео, чтобы ускорить эти рабочие процессы.
В прошлом году Stability AI объявила о своих планах расширить область применения к генерации аудио, видео и 3D-изображений.
