Fredag ​​den 29. marts 2024

Desktop v4.2.1

Root NationНовиниIT nyhederEn AI-billedgenerator blev lært at skabe musik

En AI-billedgenerator blev lært at skabe musik

-

Musik genereret af kunstig intelligens (AI) er allerede blevet en realitet. AI-værktøjer kan nu skabe musik uden andet end en tekstprompt, og resultaterne overstiger alle forventninger.

Det betyder dog ikke, at AI-værktøjer direkte kan skabe musik. I stedet går musikken gennem AI-billedgeneratorer, der skaber spektrogrammer af musikken. Du kan derefter konvertere disse spektrogrammer til lydklip. Betyder det, at AI-genereret musik vil erstatte menneskeskabt musik i fremtiden?

rifusion

Billedbaseret AI lærer computeralgoritmer at genkende billeder af steder og objekter. Derefter bruges algoritmer til at gengive lignende, men unikke billeder. DALL-E og Stable Diffusion er gode eksempler. Indtil videre kan du få disse programmer til at gengive alt, hvad du vil. Helt igennem tekst!

Så AI-værktøjet, der kan skabe spektrogrammer, kaldes Riffusion. Dette er det seneste AI-projekt, og i sin essens er det en generator af billeder fra tekst baseret på stabil diffusion (Stable Diffusion). Men hvordan blev han i stand til at skabe musik?

rifusion

Bag Riffusion står robotikeren Heik Martiros og softwareudvikleren Seth Forsgren. De ville teste, om moderne kunstig intelligens-programmer kunne fungere inden for lydområdet. Således begyndte Riffusions musikskabende rejse. Forsgren fortæller om teknologien sådan her: ”Hake og jeg spiller i et lille band sammen, og vi startede projektet, bare fordi vi elsker musik. Efter at have set de fantastiske resultater af Stable Diffusion til billedgenerering, spurgte vi os selv, hvordan ville det se ud at bruge en diffusionstilgang til at skabe musik?

For at finde ud af det trænede et hold på to open-source Stable Diffusion på spektrogrambilleder. De blev kombineret med teksten. Derefter var programmet i stand til at lave spektrogrammer af musik baseret på visse spor.

Først vidste de ikke, om den stabile diffusionsmodelarkitektur kunne skabe et spektrogrambillede med tilstrækkelig nøjagtighed til at konvertere til lyd, men det viste sig, at den kunne gøre det og mere. Martiros og Forsgren offentliggjorde deres resultater på den officielle Riffusion-hjemmeside. Først var det et hobbyprojekt. Men nu kan besøgende tilføje deres egne teksttip. Dette vil tvinge Riffusion til at generere et spektrogram. Senere kan besøgende bruge det som et lydklip og afspille det på siden.

Resultaterne på dette stadium er muligvis ikke af særlig høj kvalitet. Men det er bestemt ikke så slemt, som du måske tror.

Riffusion kan også forsøge at afspille sange, der inkluderer rap i stil med Eminem og K-Pop. Men funktionen til at generere tekster er ikke så god. I stedet for tekst vil du høre melodisk menneskelig tale. Men det mest interessante er, at dette volapyk stadig passer til tonen i sangen.

Denne teknologi er endnu ikke klar til at erstatte menneskeskabt musik. Men projektet viste os, at AI-billedbehandlingsalgoritmer stadig har et stort potentiale. Snart kan det blive en assistent for musikforfattere. Måske for at få lidt inspiration til at skrive en sang.

Du kan hjælpe Ukraine med at kæmpe mod de russiske angribere. Den bedste måde at gøre dette på er at donere midler til Ukraines væbnede styrker gennem Red livet eller via den officielle side NBU.

Dzherelogizchina
Tilmelde
Giv besked om
gæst

0 Kommentarer
Indlejrede anmeldelser
Se alle kommentarer
Andre artikler
Abonner for opdateringer

Seneste kommentarer

Populær nu
0
Vi elsker dine tanker, kommenter venligst.x
()
x