Muziek gegenereerd door kunstmatige intelligentie (AI) is al realiteit geworden. AI-tools kunnen nu muziek maken met niets anders dan een tekstprompt en de resultaten overtreffen alle verwachtingen.
Dit betekent echter niet dat AI-tools direct muziek kunnen maken. In plaats daarvan gaat de muziek door AI-beeldgeneratoren die spectrogrammen van de muziek maken. U kunt deze spectrogrammen vervolgens omzetten in audioclips. Betekent dit dat door AI gegenereerde muziek in de toekomst door mensen gemaakte muziek zal vervangen?
Op afbeeldingen gebaseerde AI leert computeralgoritmen om afbeeldingen van plaatsen en objecten te herkennen. Daarna worden algoritmen gebruikt om vergelijkbare maar unieke afbeeldingen te reproduceren. DALL-E en Stable Diffusion zijn goede voorbeelden. Voorlopig kunt u deze programma's alles laten renderen wat u maar wilt. Alles via tekst!
De AI-tool die spectrogrammen kan maken, heet dus Riffusion. Dit is het nieuwste AI-project en in wezen is het een generator van afbeeldingen uit tekst op basis van stabiele diffusie (Stable Diffusion). Maar hoe kwam hij in staat om muziek te genereren?
Achter Riffusion staan roboticus Heik Martiros en softwareontwikkelaar Seth Forsgren. Ze wilden testen of moderne AI-programma's op audiogebied zouden kunnen werken. Zo begon de muzikale reis van Riffusion. Forsgren praat als volgt over de technologie: “Hake en ik spelen samen in een kleine band en we zijn het project begonnen omdat we van muziek houden. Nadat we de verbluffende resultaten van Stable Diffusion voor beeldgeneratie hadden gezien, vroegen we ons af hoe het zou zijn om een diffusiebenadering te gebruiken om muziek te maken.
Om daar achter te komen, trainde een team van twee de open-source Stable Diffusion op spectrogrambeelden. Ze werden gecombineerd met de tekst. Daarna kon het programma spectrogrammen van muziek maken op basis van bepaalde aanwijzingen.
Aanvankelijk wisten ze niet of de architectuur van het Stable Diffusion-model een spectrogrambeeld kon creëren met voldoende nauwkeurigheid om naar audio te converteren, maar het bleek dat het dat kon en meer. Martiros en Forsgren publiceerden hun resultaten op de officiële Riffusion-website. In eerste instantie was het een hobbyproject. Maar nu kunnen bezoekers hun eigen teksttips toevoegen. Dit zal Riffusion dwingen een spectrogram te genereren. Later kunnen bezoekers het als audiofragment gebruiken en afspelen op de site.
De resultaten in dit stadium zijn mogelijk niet van zeer hoge kwaliteit. Maar het is zeker niet zo erg als je zou denken.
Riffusion kan ook proberen om nummers af te spelen die bevatten rap in de stijl van Eminem en K-Pop. Maar de functie van het genereren van songteksten is niet zo goed. In plaats van tekst hoor je melodieus menselijk gebrabbel. Maar het meest interessante is dat dit gebrabbel nog steeds overeenkomt met de toon van het nummer.
Deze technologie is nog niet klaar om door mensen gemaakte muziek te vervangen. Maar het project heeft ons laten zien dat AI-algoritmen voor beeldverwerking nog steeds een groot potentieel hebben. Binnenkort kan het een assistent worden voor muziekauteurs. Misschien om wat inspiratie op te doen om een liedje te schrijven.
U kunt Oekraïne helpen vechten tegen de Russische indringers. De beste manier om dit te doen is door geld te doneren aan de strijdkrachten van Oekraïne via Red het leven of via de officiële pagina NBU.
Ook interessant: