adobe werkt eraan om generatieve AI-tools van derden, zoals Sora van OpenAI, te laten werken in de veelgebruikte videobewerkingssoftware. Dit werd bekendgemaakt door vertegenwoordigers van de Amerikaanse softwareontwikkelaar.
Integratie met modellen van derden Runway, Pika Labs en Sora van OpenAI, evenals de mogelijkheden van Firefly's eigen model, zullen Premiere Pro-gebruikers in staat stellen video's te maken, objecten toe te voegen of te verwijderen met behulp van tekstprompts (vergelijkbaar met de Generative Fill-functie van Photoshop) en de duur van videoclips te verlengen. De nieuwe functies zullen waarschijnlijk populair zijn, omdat het opruimen van ongewenste objecten uit video's een vrij algemene taak is.
De eerste functie, Genative Extend, lost een probleem op waar editors bij vrijwel elke bewerking mee te maken krijgen: te korte clips. "Voeg frames toe om clips langer te maken, waardoor het gemakkelijker wordt om bewerkingen nauwkeurig te timen en vloeiende overgangen toe te voegen", zo beschrijft Adobe de mogelijkheden van deze functie. De software maakt gebruik van kunstmatige intelligentie om frames te creëren, en deze zullen helpen een spectaculaire transitie te creëren.
Een ander veel voorkomend probleem zijn onnodige objecten in het frame die moeilijk te verwijderen zijn, of omgekeerd, de noodzaak om bepaalde objecten toe te voegen. Het toevoegen en verwijderen van objecten in Premiere Pro lost dit probleem op, opnieuw met behulp van een generatieve benadering AI Glimworm. “Selecteer en volg eenvoudig objecten en vervang ze vervolgens. Verwijder onnodige voorwerpen, verander de garderobe van een acteur of voeg snel decors toe, zoals een schilderij of fotorealistische bloemen op een tafel", zegt Adobe.
Adobe laat een paar voorbeelden zien: het toevoegen van een stel diamanten aan een koffertje met een tekstprompt (gegenereerd door Firefly), het verwijderen van een doos uit een bijkeuken, het veranderen van een wijzerplaat en het toevoegen van een stropdas aan een pak.
Het bedrijf demonstreerde hoe aangepaste AI-modellen konden worden geïmporteerd. Pika is verantwoordelijk voor de werking van de Genative Extend-functie en Sora kan extra videoframes genereren. Deze laatste optie is controversieel omdat het potentieel duizenden mensen werkloos zou kunnen maken, maar volgens Adobe bevindt deze zich nog in de beginfase van onderzoek. Het bedrijf merkt op dat het speciale informatie aan dergelijke frames zal toevoegen, zodat u precies kunt zien wat het heeft gegenereerd AI, inclusief het bedrijf erachter.
Een soortgelijke functie is ook beschikbaar in “Text to Video”, waarmee u rechtstreeks in de applicatie volledig nieuwe frames kunt maken. “Voer gewoon de tekst in de prompt in of upload een testafbeelding. Deze clips kunnen worden gebruikt om storyboards te maken of om frames te maken als aanvulling op de video in realtime”, aldus Adobe.
Deze features komen later dit jaar aan, maar Adobe zal in mei ook een update uitrollen voor alle gebruikers. Deze omvatten interactieve knoppen voor eenvoudige overgangen, een Essential Sound-pictogram met tags voor audiocategorieën ("AI tagt audiofragmenten automatisch als dialoog, muziek, geluidseffecten of ambient en voegt een nieuw pictogram toe zodat editors direct toegang hebben tot de bedieningselementen waarmee ze moeten werken in één klik"), effectpictogrammen en opnieuw ontworpen tijdlijngolfvormen.
Lees ook: