La musique générée par l'intelligence artificielle (IA) est déjà devenue une réalité. Les outils d'intelligence artificielle peuvent désormais créer de la musique avec rien d'autre qu'une invite de texte et les résultats dépassent toutes les attentes.
Cependant, cela ne signifie pas que les outils d'IA peuvent directement créer de la musique. Au lieu de cela, la musique passe par des générateurs d'images AI qui créent des spectrogrammes de la musique. Vous pouvez ensuite convertir ces spectrogrammes en clips audio. Cela signifie-t-il que la musique générée par l'IA remplacera la musique créée par l'homme à l'avenir ?
L'IA basée sur l'image apprend aux algorithmes informatiques à reconnaître les images de lieux et d'objets. Après cela, des algorithmes sont utilisés pour reproduire des images similaires mais uniques. DALL-E et Stable Diffusion en sont de bons exemples. Pour l'instant, vous pouvez faire en sorte que ces programmes rendent tout ce que vous voulez. Tout au long du texte !
Ainsi, l'outil d'IA qui peut créer des spectrogrammes s'appelle Riffusion. Il s'agit du dernier projet d'IA et, dans son essence, il s'agit d'un générateur d'images à partir de texte basé sur une diffusion stable (Stable Diffusion). Mais comment est-il devenu capable de générer de la musique ?
Derrière Riffusion se trouvent le roboticien Heik Martiros et le développeur de logiciels Seth Forsgren. Ils voulaient tester si les programmes d'IA modernes pouvaient fonctionner dans le domaine audio. Ainsi a commencé le voyage musical de Riffusion. Forsgren parle de la technologie comme ceci : « Hake et moi jouons ensemble dans un petit groupe, et nous avons lancé le projet simplement parce que nous aimons la musique. Après avoir vu les résultats étonnants de Stable Diffusion pour la génération d'images, nous nous sommes demandé à quoi cela ressemblerait d'utiliser une approche de diffusion pour créer de la musique ?
Pour le savoir, une équipe de deux personnes a formé l'open-source Stable Diffusion sur des images de spectrogramme. Ils ont été combinés avec le texte. Après cela, le programme a pu créer des spectrogrammes de musique basés sur certains indices.
Au début, ils ne savaient pas si l'architecture du modèle de diffusion stable pouvait créer une image de spectrogramme avec suffisamment de précision pour être convertie en audio, mais il s'est avéré qu'elle pouvait le faire et plus encore. Martiros et Forsgren ont publié leurs résultats sur le site officiel de Riffusion. Au début, c'était un projet de passe-temps. Mais maintenant, les visiteurs peuvent ajouter leurs propres conseils de texte. Cela forcera Riffusion à générer un spectrogramme. Plus tard, les visiteurs peuvent l'utiliser comme clip audio et le lire sur le site.
Les résultats à ce stade peuvent ne pas être de très haute qualité. Mais ce n'est certainement pas aussi mauvais que vous pourriez le penser.
Riffusion peut également essayer de jouer des chansons qui incluent rap dans le style d'Eminem et K-Pop. Mais la fonction de génération de paroles n'est pas si bonne. Au lieu de texte, vous entendrez un charabia humain mélodieux. Mais le plus intéressant est que ce charabia correspond toujours au ton de la chanson.
Cette technologie n'est pas encore prête à remplacer la musique créée par l'homme. Mais le projet nous a montré que les algorithmes de traitement d'images IA ont encore un grand potentiel. Bientôt, il peut devenir un assistant pour les auteurs de musique. Peut-être pour trouver l'inspiration pour écrire une chanson.
Vous pouvez aider l'Ukraine à lutter contre les envahisseurs russes. La meilleure façon de le faire est de faire don de fonds aux forces armées ukrainiennes par le biais de Sauver la vie ou via la page officielle NBU.
Intéressant aussi :