, яку можна налаштувати){kind=link}
Компанія Meta представила MusicGen, систему створення музики на основі штучного інтелекту (ШІ), яку можна налаштувати за допомогою текстових підказок або мелодій. Вона схожа на MusicLM від Google, яка може створювати музику на основі існуючих мелодій, незалежно від того, чи вони насвистують, наспівують, співають або грають на інструменті.
Створення музики є складним завданням, оскільки вона містить гармонії та мелодії з різних інструментів, які створюють складні структури. Модель Meta була навчена на 20 000 годин музики, повідомляє Tech Xplore. Meta випустила демонстрацію MusicGen на Hugging Face, і компанія Interesting Engineering вирішила спробувати свої сили.
Мовну модель попросили згенерувати “рок-колискову”. Системі знадобилася 341 секунда, щоб створити 15-секундний аудіокліп. Короткий уривок являв собою поєднання мелодій фортепіано та електрогітари та звучав як початок старого класичного рок-треку.
We present MusicGen: A simple and controllable music generation model. MusicGen can be prompted by both text and melody.
We release code (MIT) and models (CC-BY NC) for open research, reproducibility, and for the music community: https://t.co/OkYjL4xDN7 pic.twitter.com/h1l4LGzYgf— Felix Kreuk (@FelixKreuk) June 9, 2023
Meta та їхня команда дослідників завантажили набір зразків. Вони порівняли різні моделі створення музики зі штучним інтелектом, такі як MusicGen, MusicLM, Riffusion і Mousai, даючи цим попередньо навченим моделям однакові текстові підказки.
Залишаючись вірною своєму підходу до технологій з відкритим вихідним кодом, Meta опублікувала код MusicGen на Github в суботу. Технологічний гігант на чолі з Цукербергом також представив моделі ШІ з відкритим кодом, такі як LLaMA в лютому. Google MusicLM виступив проти того, щоб зробити систему загальнодоступною через етичні проблеми, заявила компанія в січні.
Крюк пояснив, що MusicGen побудований на одноступеневому трансформаторі LM, який усуває необхідність каскадування декількох моделей. Говорячи про обмеження та етичні аспекти MusicGen, дослідники згадують у своєму дослідженні, що вони гарантували, що всі дані, на яких навчався MusicGen, були покриті юридичними угодами з музичними бібліотеками, такими як Shutterstock.
“Другий аспект – це потенційна відсутність різноманітності у використовуваному нами наборі даних, який містить більшу частку музики західного стилю”, – визнали дослідники.
Говорячи про те, як генеративний ШІ викликав хвилю в музичній індустрії, Meta сказала: “Генеративні моделі можуть представляти недобросовісну конкуренцію для артистів, що є відкритою проблемою”. Це відбувається в той час, коли такі музичні стрімінгові сервіси, як Spotify, Apple Music і YouTube, все ще намагаються зрозуміти, що ШІ може означати для музики, захищеної авторським правом.
“Відкриті дослідження можуть гарантувати, що всі учасники матимуть рівний доступ до цих моделей. Завдяки розробці більш досконалих засобів управління, таких як кондиціонування мелодії, яке ми представили, ми сподіваємося, що такі моделі можуть стати корисними як для любителів музики, так і для професіоналів”, – продовжує Meta.
Читайте також: