Fredagen den 29 mars 2024

desktop v4.2.1

Root NationНовиниIT-nyheterEn AI-bildgenerator lärdes att skapa musik

En AI-bildgenerator lärdes att skapa musik

-

Musik genererad av artificiell intelligens (AI) har redan blivit verklighet. AI-verktyg kan nu skapa musik med bara en textuppmaning och resultaten överträffar alla förväntningar.

Detta betyder dock inte att AI-verktyg direkt kan skapa musik. Istället går musiken genom AI-bildgeneratorer som skapar spektrogram av musiken. Du kan sedan konvertera dessa spektrogram till ljudklipp. Betyder detta att AI-genererad musik kommer att ersätta mänskligt skapad musik i framtiden?

rifusion

Bildbaserad AI lär datoralgoritmer att känna igen bilder av platser och objekt. Därefter används algoritmer för att återskapa liknande men unika bilder. DALL-E och Stable Diffusion är bra exempel. För närvarande kan du få dessa program att rendera vad du vill. Allt genom text!

Så AI-verktyget som kan skapa spektrogram kallas Riffusion. Detta är det senaste AI-projektet, och i sin essens är det en generator av bilder från text baserad på stabil diffusion (Stable Diffusion). Men hur blev han kapabel att skapa musik?

rifusion

Bakom Riffusion står robotisten Heik Martiros och mjukvaruutvecklaren Seth Forsgren. De ville testa om moderna AI-program kunde fungera inom ljudområdet. Så började Riffusions musikskapande resa. Forsgren berättar om tekniken så här: ”Hake och jag spelar i ett litet band tillsammans, och vi startade projektet bara för att vi älskar musik. Efter att ha sett de fantastiska resultaten av Stable Diffusion för bildgenerering, frågade vi oss själva hur det skulle se ut att använda en diffusionsmetod för att skapa musik?

För att ta reda på det tränade ett team på två öppen källkod Stable Diffusion på spektrogrambilder. De kombinerades med texten. Därefter kunde programmet skapa spektrogram av musik utifrån vissa ledtrådar.

Först visste de inte om modellarkitekturen Stable Diffusion kunde skapa en spektrogrambild med tillräcklig noggrannhet för att konvertera till ljud, men det visade sig att den kunde göra det och mer. Martiros och Forsgren publicerade sina resultat på Riffusions officiella hemsida. Till en början var det ett hobbyprojekt. Men nu kan besökarna lägga till sina egna texttips. Detta kommer att tvinga Riffusion att generera ett spektrogram. Senare kan besökare använda det som ett ljudklipp och spela upp det på sajten.

Resultaten i detta skede kanske inte är av särskilt hög kvalitet. Men det är definitivt inte så illa som man kan tro.

Riffusion kan också försöka spela låtar som inkluderar rap i stil med Eminem och K-Pop. Men funktionen att generera texter är inte så bra. Istället för text kommer du att höra melodiskt mänskligt skratt. Men det mest intressanta är att det här skrattret fortfarande matchar tonen i låten.

Den här tekniken är ännu inte redo att ersätta mänskligt skapad musik. Men projektet visade oss att AI-bildbehandlingsalgoritmer fortfarande har stor potential. Snart kan det bli en assistent för musikförfattare. Kanske för att få lite inspiration till att skriva en låt.

Du kan hjälpa Ukraina att slåss mot de ryska inkräktarna. Det bästa sättet att göra detta är att donera medel till Ukrainas väpnade styrkor genom Rädda liv eller via den officiella sidan NBU.

Dzherelogizchina
Bli Medlem
Meddela om
gäst

0 Kommentarer
Inbäddade recensioner
Visa alla kommentarer
Andra artiklar
Prenumerera för uppdateringar

Senaste kommentarerna

Populärt nu
0
Vi älskar dina tankar, kommentera gärna.x
()
x