Tekoälyn (AI) luomasta musiikista on jo tullut todellisuutta. Tekoälytyökalut voivat nyt luoda musiikkia vain tekstikehotteen avulla, ja tulokset ylittävät kaikki odotukset.
Tämä ei kuitenkaan tarkoita, että tekoälytyökalut voisivat luoda musiikkia suoraan. Sen sijaan musiikki kulkee tekoälykuvageneraattoreiden kautta, jotka luovat spektrogrammeja musiikista. Voit sitten muuntaa nämä spektrogrammit äänileikeiksi. Tarkoittaako tämä sitä, että tekoälyn luoma musiikki korvaa ihmisen tekemän musiikin tulevaisuudessa?
Kuvapohjainen tekoäly opettaa tietokonealgoritmeja tunnistamaan kuvia paikoista ja esineistä. Tämän jälkeen algoritmeja käytetään toistamaan samanlaisia mutta ainutlaatuisia kuvia. DALL-E ja Stable Diffusion ovat hyviä esimerkkejä. Toistaiseksi voit saada nämä ohjelmat näyttämään mitä tahansa haluat. Kaikki tekstin kautta!
Joten AI-työkalua, joka voi luoda spektrogrammeja, kutsutaan Riffusioniksi. Tämä on uusin tekoälyprojekti, ja pohjimmiltaan se on kuvien generaattori tekstistä, joka perustuu vakaaseen diffuusioon (Stable Diffusion). Mutta miten hänestä tuli kyky luoda musiikkia?
Riffusionin takana ovat robotti Heik Martiros ja ohjelmistokehittäjä Seth Forsgren. He halusivat testata, voisivatko nykyaikaiset tekoälyohjelmat toimia äänikentällä. Näin alkoi Riffusionin musiikintekomatka. Forsgren puhuu tekniikasta näin: "Hake ja minä soitamme pienessä bändissä yhdessä, ja aloitimme projektin vain siksi, että rakastamme musiikkia. Nähtyämme Stable Diffusionin upeat tulokset kuvan luomiseen, kysyimme itseltämme, miltä näyttäisi käyttää diffuusiolähestymistapaa musiikin luomiseen?
Selvittääkseen tämän kahden hengen ryhmä koulutti avoimen lähdekoodin Stable Diffusionia spektrogrammikuviin. Ne yhdistettiin tekstiin. Sen jälkeen ohjelma pystyi luomaan spektrogrammeja musiikista tiettyjen vihjeiden perusteella.
Aluksi he eivät tienneet, pystyikö Stable Diffusion -malliarkkitehtuuri luomaan spektrogrammikuvan riittävän tarkasti muuntaakseen sen ääneksi, mutta kävi ilmi, että se pystyi tekemään sen ja enemmän. Martiros ja Forsgren julkaisivat tulokset virallisella Riffusion-verkkosivustolla. Aluksi se oli harrastusprojekti. Mutta nyt vierailijat voivat lisätä omia tekstivinkkejä. Tämä pakottaa Riffusionin luomaan spektrogrammin. Myöhemmin kävijät voivat käyttää sitä äänileikkeenä ja toistaa sen sivustolla.
Tässä vaiheessa tulokset eivät välttämättä ole kovin korkealaatuisia. Mutta se ei todellakaan ole niin paha kuin luulisi.
Riffusion voi myös yrittää soittaa kappaleita, jotka sisältävät rap Eminemin tyyliin ja K-Pop. Mutta sanoitusten luontitoiminto ei ole niin hyvä. Tekstin sijasta kuulet melodista ihmisen höpötystä. Mutta mielenkiintoisinta on, että tämä hölynpöly sopii edelleen kappaleen sävyyn.
Tämä tekniikka ei ole vielä valmis korvaamaan ihmisen tekemää musiikkia. Mutta projekti osoitti meille, että tekoälyn kuvankäsittelyalgoritmeilla on edelleen paljon potentiaalia. Pian siitä voi tulla musiikintekijöiden avustaja. Ehkä saada inspiraatiota laulun kirjoittamiseen.
Voit auttaa Ukrainaa taistelemaan venäläisiä hyökkääjiä vastaan. Paras tapa tehdä tämä on lahjoittaa varoja Ukrainan asevoimille Pelasta elämä tai virallisen sivun kautta NBU.
Mielenkiintoista myös: