Нейросеть MusicLM, это модель, которая создает высококачественную музыку из текстовых описаний, таких как «успокаивающая мелодия скрипки, подкрепленная искаженным гитарным рифом». Google обнародовал эти исследования.
Нейросеть MusicLM, это модель, которая создает высококачественную музыку из текстовых описаний, таких как «успокаивающая мелодия скрипки, подкрепленная искаженным гитарным рифом». Google обнародовал эти исследования.
Эксперты Google сообщают, что MusicLM превращает процесс создания условной музыки как иерархическую задачу моделирования последовательности звуков. Кроме того, он генерирует музыку на 24 кГц, которая остается постоянной в течение нескольких минут.
Эксперименты показывают, что MusicLM превосходит предыдущие системы как по звуку, так и по соблюдению текстового описания.
Более того, нейронка может зависеть как от текста, так и от мелодии, поскольку он может трансформировать свистящие и напетые мелодии в соответствии со стилем, описанным в текстовой подписи.
Нейросеть также может генерировать аудио как иллюстрацию к известным картинам Сальвадора Дали, Матисс, Эдвард Мунк и другие.
Промт для генерации музыки выглядит как: «Его изображения тающих часов высмеивают жесткость хронометрического времени. Сами часы выглядят как мягкий сыр — действительно, по словам Дали, их вдохновили галлюцинации после употребления сыра камамбер. В центре картины под одним из часов это искаженное человеческое лицо в профиль. Муравьи на тарелке символизируют тление». Это описание из «Британской энциклопедии» Джессики Громли «Устойчивость памяти».
Энтузиасты выпустили MusicCaps, набор данных, состоящий из 5500 пар музыка-текст с расширенным текстовым описанием, предоставленным экспертами-людьми, доступными по ссылке здесь.
