Musikk generert av kunstig intelligens (AI) har allerede blitt en realitet. AI-verktøy kan nå lage musikk uten annet enn en tekstmelding, og resultatene overgår alle forventninger.
Dette betyr imidlertid ikke at AI-verktøy direkte kan lage musikk. I stedet går musikken gjennom AI-bildegeneratorer som lager spektrogrammer av musikken. Du kan deretter konvertere disse spektrogrammene til lydklipp. Betyr dette at AI-generert musikk vil erstatte menneskeskapt musikk i fremtiden?
Bildebasert AI lærer datamaskinalgoritmer å gjenkjenne bilder av steder og objekter. Etter det brukes algoritmer for å reprodusere lignende, men unike bilder. DALL-E og Stable Diffusion er gode eksempler. Foreløpig kan du få disse programmene til å gjengi alt du vil. Alt gjennom tekst!
Så AI-verktøyet som kan lage spektrogrammer kalles Riffusion. Dette er det siste AI-prosjektet, og i sin essens er det en generator av bilder fra tekst basert på stabil diffusjon (Stable Diffusion). Men hvordan ble han i stand til å generere musikk?
Bak Riffusion står robotiker Heik Martiros og programvareutvikler Seth Forsgren. De ønsket å teste om moderne AI-programmer kunne fungere i lydfeltet. Slik begynte Riffusions musikkreise. Forsgren snakker om teknologien slik: «Hake og jeg spiller i et lite band sammen, og vi startet prosjektet bare fordi vi elsker musikk. Etter å ha sett de fantastiske resultatene av Stable Diffusion for bildegenerering, spurte vi oss selv hvordan det ville se ut å bruke en diffusjonstilnærming for å lage musikk?
For å finne ut trente et team på to open-source Stable Diffusion på spektrogrambilder. De ble kombinert med teksten. Etter det var programmet i stand til å lage spektrogrammer av musikk basert på visse ledetråder.
Først visste de ikke om Stable Diffusion-modellarkitekturen kunne lage et spektrogrambilde med nok nøyaktighet til å konvertere til lyd, men det viste seg at den kunne gjøre det og mer. Martiros og Forsgren publiserte resultatene sine på den offisielle Riffusion-nettsiden. Først var det et hobbyprosjekt. Men nå kan besøkende legge til sine egne teksttips. Dette vil tvinge Riffusion til å generere et spektrogram. Senere kan besøkende bruke det som et lydklipp og spille det av på siden.
Resultatene på dette stadiet er kanskje ikke av særlig høy kvalitet. Men det er definitivt ikke så ille som du kanskje tror.
Riffusion kan også forsøke å spille sanger som inkluderer rap i stil med Eminem og K-Pop. Men funksjonen til å generere tekster er ikke så god. I stedet for tekst, vil du høre melodiøs menneskelig snask. Men det mest interessante er at dette tullet fortsatt stemmer med tonen i sangen.
Denne teknologien er ennå ikke klar til å erstatte menneskeskapt musikk. Men prosjektet viste oss at AI-bildebehandlingsalgoritmer fortsatt har et stort potensial. Snart kan det bli en assistent for musikkforfattere. Kanskje for å få litt inspirasjon til å skrive en sang.
Du kan hjelpe Ukraina med å kjempe mot de russiske inntrengerne. Den beste måten å gjøre dette på er å donere midler til Ukrainas væpnede styrker gjennom Redd livet eller via den offisielle siden NBU.
Også interessant: