Нейромережа MusicLM, це модель, яка створює високоякісну музику з текстових описів, таких як «заспокійлива мелодія скрипки, підкріплена спотвореним гітарним рифом». Google оприлюднив ці дослідження.
Нейромережа MusicLM, це модель, яка створює високоякісну музику з текстових описів, таких як «заспокійлива мелодія скрипки, підкріплена спотвореним гітарним рифом». Google оприлюднив ці дослідження.
Експерти Google повідомляють, що MusicLM перетворює процес створення умовної музики, як ієрархічне завдання моделювання послідовності звуків. Крім того, він генерує музику на 24 кГц, яка залишається постійною протягом кількох хвилин.
Експерименти показують, що MusicLM перевершує попередні системи як за якістю звуку, так і за дотриманням текстового опису.
Щобільше, нейронка може залежати як від тексту, так і від мелодії, оскільки він може трансформувати свистячі й наспівані мелодії відповідно до стилю, описаного в текстовому підписі.
Нейромережа також може генерувати аудіо, як ілюстрацію до відомих картин Сальвадора Далі, Матісс, Едвард Мунк та інші.
Промт для генерації музики виглядає, як: «Його зображення годинника, що тане, висміює жорсткість хронометричного часу. Самі годинники виглядають як м’який сир — справді, за словами Далі, їх надихнули галюцинації після вживання сиру камамбер. У центрі картини під одним із годинників, це спотворене людське обличчя в профіль. Мурахи на тарілці символізують тління». Це опис з «Британської енциклопедії» Джесікі Громлі «Стійкість пам’яті».
Ентузіасти випустили MusicCaps, набір даних, що складається з 5500 пар музика-текст із розширеним текстовим описом, наданим експертами-людьми, доступними за посиланням тут.
