Les générateurs de texte en image d'intelligence artificielle (IA) ont fait la une des journaux ces derniers mois, mais les chercheurs ont déjà franchi la prochaine frontière : les générateurs de texte en vidéo alimentés par l'IA. Les méta-chercheurs ont présenté publiquement un tel nouveau générateur, rapporte The Verge.
L'équipe d'ingénierie d'apprentissage automatique de Meta présenté un nouveau système appelé Make-A-Video. Ce modèle d'IA permet aux utilisateurs de saisir une description approximative de la scène et génère une courte vidéo qui correspond à leur texte. Les vidéos sont clairement artificielles, avec des objets flous et des animations déformées, mais restent une réalisation importante dans le domaine de la génération de contenu par intelligence artificielle.
Dans son billet sur Facebook Le PDG de Meta, Mark Zuckerberg, a décrit le travail comme une "avancée incroyable", ajoutant : "La vidéo est beaucoup plus difficile à créer que les photos, car en plus de générer correctement chaque pixel, le système doit également prédire comment ils vont changer avec le temps".
Les clips ne durent pas plus de cinq secondes et ne contiennent aucun son, mais couvrent une vaste gamme d'indices. S'il est clair que la vidéo est générée par ordinateur, la qualité de ces modèles d'IA s'améliorera rapidement dans un proche avenir. En quelques années seulement, les générateurs d'images IA sont passés de la création d'images presque incompréhensibles à un contenu photoréaliste. Et bien que les progrès de la vidéo puissent être plus lents compte tenu de la complexité presque illimitée du domaine, le prix de la génération vidéo transparente motivera de nombreuses organisations et entreprises à investir des ressources importantes dans le projet.
La société a déclaré qu'elle prévoyait de publier une version de démonstration du système, mais n'a pas précisé quand ni comment elle sera mise en œuvre. Dans un article décrivant le modèle, les chercheurs de Meta notent que Make-A-Video est formé sur des paires image-légende ainsi que sur des séquences vidéo non étiquetées.
Le contenu de la formation est dérivé de deux ensembles de données, WebVid-10M et HD-VILA-100M, qui contiennent ensemble des millions de vidéos et couvrent des centaines de milliers d'heures de séquences vidéo. Soit dit en passant, cela inclut des images d'archives.
Les chercheurs notent que le modèle présente de nombreuses limitations techniques, en plus des images floues et des animations dispersées. Make-A-Video produit 16 images vidéo à une résolution de 64 × 64 pixels, qui sont ensuite redimensionnées à l'aide d'un modèle AI distinct à 768 × 768 pixels.
Vous pouvez aider l'Ukraine à lutter contre les envahisseurs russes. La meilleure façon de le faire est de faire don de fonds aux forces armées ukrainiennes par le biais de Sauver la vie ou via la page officielle NBU.
Intéressant aussi :
- L'intelligence artificielle aide à trouver de nouvelles anomalies cosmiques
- L'ancien patron de Google a comparé l'intelligence artificielle aux armes nucléaires