Музиката, генерирана от изкуствен интелект (AI), вече е реалност. AI инструментите вече могат да създават музика само с текстова подкана и резултатите надминават всички очаквания.
Това обаче не означава, че AI инструментите могат директно да създават музика. Вместо това музиката преминава през AI генератори на изображения, които създават спектрограми на музиката. След това можете да конвертирате тези спектрограми в аудио клипове. Означава ли това, че музиката, генерирана от AI, ще замени музиката, създадена от човека в бъдеще?
AI, базиран на изображения, учи компютърните алгоритми да разпознават изображения на места и обекти. След това се използват алгоритми за възпроизвеждане на подобни, но уникални изображения. DALL-E и Stable Diffusion са добри примери. Засега можете да накарате тези програми да рендират всичко, което искате. Всичко чрез текст!
И така, AI инструментът, който може да създава спектрограми, се нарича Riffusion. Това е най-новият AI проект и по своята същност е генератор на изображения от текст, базиран на стабилна дифузия (Stable Diffusion). Но как е станал способен да създава музика?
Зад Riffusion стоят роботикът Хайк Мартирос и софтуерният разработчик Сет Форсгрен. Те искаха да тестват дали съвременните AI програми могат да работят в аудио полето. Така започва пътешествието на Riffusion в създаването на музика. Форсгрен говори за технологията така: „Хейк и аз свирим заедно в малка група и започнахме проекта просто защото обичаме музиката. След като видяхме зашеметяващите резултати от Stable Diffusion за генериране на изображения, ние се запитахме как би изглеждало да използваме подход на дифузия за създаване на музика?
За да разбере, екип от двама обучи Stable Diffusion с отворен код върху спектрограмни изображения. Те бяха комбинирани с текста. След това програмата успя да създаде спектрограми на музика въз основа на определени улики.
Първоначално те не знаеха дали архитектурата на модела Stable Diffusion може да създаде изображение на спектрограма с достатъчна точност, за да се преобразува в аудио, но се оказа, че може да направи това и повече. Мартирос и Форсгрен публикуваха своите резултати на официалния уебсайт на Riffusion. Отначало това беше хоби проект. Но сега посетителите могат да добавят свои собствени текстови съвети. Това ще принуди Riffusion да генерира спектрограма. По-късно посетителите могат да го използват като аудио клип и да го пуснат на сайта.
Резултатите на този етап може да не са с много високо качество. Но определено не е толкова лошо, колкото си мислите.
Riffusion може също да се опита да възпроизведе песни, които включват рап в стила на еминем и K-Pop. Но функцията за генериране на текстове не е толкова добра. Вместо текст ще чуете мелодично човешко безсмислие. Но най-интересното е, че това безсмислие все още отговаря на тона на песента.
Тази технология все още не е готова да замени създадената от човека музика. Но проектът ни показа, че AI алгоритмите за обработка на изображения все още имат голям потенциал. Скоро може да се превърне в помощник на музикални автори. Може би, за да се вдъхновя да напиша песен.
Можете да помогнете на Украйна да се бори срещу руските нашественици. Най-добрият начин да направите това е да дарите средства на въоръжените сили на Украйна чрез Savelife или през официалната страница НБУ.
Също интересно: