Mākslīgā intelekta (AI) radītā mūzika jau ir kļuvusi par realitāti. AI rīki tagad var radīt mūziku, izmantojot tikai teksta uzvedni, un rezultāti pārsniedz visas cerības.
Tomēr tas nenozīmē, ka AI rīki var tieši radīt mūziku. Tā vietā mūzika iet caur AI attēlu ģeneratoriem, kas veido mūzikas spektrogrammas. Pēc tam šīs spektrogrammas varat pārvērst audio klipos. Vai tas nozīmē, ka mākslīgā intelekta radītā mūzika nākotnē aizstās cilvēku radīto mūziku?
Uz attēliem balstīts AI māca datoru algoritmus atpazīt vietu un objektu attēlus. Pēc tam tiek izmantoti algoritmi, lai reproducētu līdzīgus, bet unikālus attēlus. DALL-E un Stable Diffusion ir labi piemēri. Pagaidām varat likt šīm programmām renderēt visu, ko vēlaties. Viss caur tekstu!
Tātad AI rīku, kas var izveidot spektrogrammas, sauc par Rifūziju. Šis ir jaunākais AI projekts, un pēc būtības tas ir attēlu ģenerators no teksta, kura pamatā ir stabila difūzija (Stable Diffusion). Bet kā viņš kļuva spējīgs radīt mūziku?
Aiz Riffusion ir robotists Heiks Martiros un programmatūras izstrādātājs Sets Forsgrēns. Viņi vēlējās pārbaudīt, vai mūsdienu AI programmas var darboties audio jomā. Tā sākās Riffusion mūzikas radīšanas ceļojums. Forsgrēns par tehnoloģiju stāsta šādi: “Mēs ar Heku kopā spēlējam nelielā grupā, un mēs sākām projektu tikai tāpēc, ka mums patīk mūzika. Pēc tam, kad redzējām satriecošos Stable Diffusion rezultātus attēlu ģenerēšanai, mēs sev jautājām, kā tas izskatītos mūzikas radīšanā izmantot difūzijas pieeju?
Lai to noskaidrotu, divu cilvēku komanda apmācīja atvērtā koda stabilo difūziju spektrogrammu attēlos. Tie tika apvienoti ar tekstu. Pēc tam programma varēja izveidot mūzikas spektrogrammas, pamatojoties uz noteiktiem pavedieniem.
Sākumā viņi nezināja, vai Stable Diffusion modeļa arhitektūra var izveidot spektrogrammas attēlu ar pietiekamu precizitāti, lai to pārveidotu par audio, taču izrādījās, ka tas var darīt to un vēl vairāk. Martiros un Forsgrēns savus rezultātus publicēja oficiālajā Riffusion vietnē. Sākumā tas bija hobija projekts. Taču tagad apmeklētāji var pievienot savus teksta padomus. Tas liks Riffusion ģenerēt spektrogrammu. Vēlāk apmeklētāji to var izmantot kā audioklipu un atskaņot vietnē.
Rezultāti šajā posmā var nebūt ļoti kvalitatīvi. Bet tas noteikti nav tik slikti, kā jūs varētu domāt.
Riffusion var arī mēģināt atskaņot dziesmas, kas ietver reps Eminema stilā un K-Pop. Bet dziesmu tekstu ģenerēšanas funkcija nav tik laba. Teksta vietā jūs dzirdēsiet melodisku cilvēku baumošanu. Bet pats interesantākais ir tas, ka šī vāvuļošana tomēr saskan ar dziesmas toni.
Šī tehnoloģija vēl nav gatava aizstāt cilvēku radīto mūziku. Taču projekts mums parādīja, ka AI attēlu apstrādes algoritmiem joprojām ir liels potenciāls. Drīzumā tas var kļūt par mūzikas autoru asistentu. Varbūt, lai gūtu iedvesmu dziesmas uzrakstīšanai.
Jūs varat palīdzēt Ukrainai cīnīties pret krievu iebrucējiem. Labākais veids, kā to izdarīt, ir ziedot līdzekļus Ukrainas bruņotajiem spēkiem Savelife vai izmantojot oficiālo lapu NBU.
Interesanti arī:
Atstāj atbildi