Adobe працює над тим, щоб дозволити стороннім інструментам генеративного ШІ на кшталт Sora від OpenAI працювати у своєму широко використовуваному програмному забезпеченні для редагування відео. Про це повідомили представники американського розробника ПЗ.
Інтеграція зі сторонніми моделями Runway, Pika Labs і Sora від OpenAI, а також можливості власної моделі Firefly дозволять користувачам Premiere Pro створювати відео, додавати або видаляти об’єкти за допомогою текстових підказок (подібно до функції Generative Fill у Photoshop) і збільшувати тривалість відеокліпів. Нові функції, ймовірно, будуть популярними, оскільки прибирання непотрібних об’єктів з відео є досить поширеним завданням.
Перша функція, Generative Extend, розв’язує проблему, з якою редактори стикаються майже під час кожного редагування: занадто короткі кліпи. “Додавайте кадри, щоб зробити кліпи довшими, щоб було легше точно розрахувати час редагування і додати плавні переходи”, – так в Adobe описують можливості цієї функції. Для створення кадрів ПЗ використовує штучний інтелект, і вони допоможуть створити ефектний перехід.
Ще однією поширеною проблемою є непотрібні об’єкти в кадрі, які важко видалити, або навпаки, необхідність додати якісь об’єкти. Функція додавання та видалення об’єктів у Premiere Pro розв’язує цю проблему, знову ж таки за допомогою генеративного ШІ Firefly. “Просто виберіть і відстежуйте об’єкти, а потім замініть їх. Видаліть непотрібні предмети, змініть гардероб актора або швидко додайте декорації, такі як картина або фотореалістичні квіти на столі”, – говорять в Adobe.
Adobe показує кілька прикладів, додаючи купу діамантів до портфеля за допомогою текстової підказки (згенерованої Firefly), прибирає коробку з підсобного приміщення, змінює циферблат годинника і додає краватку до костюма.
Компанія продемонструвала спосіб імпорту кастомних моделей ШІ. Pika відповідає за роботу функції Generative Extend, а Sora може генерувати додаткові відеокадри. Останній варіант може викликати суперечки, оскільки потенційно може залишити тисячі людей без роботи, але він все ще “перебуває на стадії ранніх досліджень”, як говорять в Adobe. Компанія зазначає, що додасть до таких кадрів спеціальну інформацію, щоб можна було побачити, що саме згенерував ШІ, в тому числі компанію, яка за цим стоїть.
Подібна функція також доступна в “Text to Video”, що дозволяє створювати абсолютно нові кадри безпосередньо в застосунку. “Просто введіть текст у підказку або завантажте контрольне зображення. Ці кліпи можна використовувати для створення розкадровок або для створення кадрів для доповнення відео в реальному часі”, – заявляють в Adobe.
Ці функції з’являться пізніше цього року, але в травні Adobe також представить оновлення для всіх користувачів. Серед них – інтерактивні ручки для полегшення переходів, значок Essential Sound з тегами аудіокатегорій (“ШІ автоматично позначає аудіокліпи як діалоги, музику, звукові ефекти або оточення і додає нову іконку, щоб редактори отримували миттєвий доступ до потрібних елементів керування для роботи в один клік”), значки ефектів і перероблені форми хвиль на часовій шкалі.
Читайте також: