Компанія Stability AI, відома за ШІ-генератором зображень Stable Diffusion, повідомила, що згенеровані картинки можуть бути не лише статичними, а й анімованими. Усе завдяки новому продукту Stable Video Diffusion.
Компанія Stability AI, відома за ШІ-генератором зображень Stable Diffusion, повідомила, що згенеровані картинки можуть бути не лише статичними, а й анімованими. Усе завдяки новому продукту Stable Video Diffusion.
Компанія повідомила, що випустила Stable Video Diffusion у дослідницьку версію, що дозволяє користувачам створювати відео з одного зображення. «Ця найсучасніша генеративна відеомодель зі штучним інтелектом є значним кроком на нашому шляху до створення моделей для кожного типу», — стверджує Stability AI.
Новий інструмент був випущений у вигляді двох моделей перетворення зображення у відео, кожна з яких здатна генерувати від 14 до 25 кадрів зі швидкістю від 3 до 30 кадрів на секунду з роздільною здатністю 576 × 1024. Вона здатна синтезувати кілька видів з одного кадру з точним налаштуванням на наборах даних з кількох видів.
«На момент випуску у своїй базовій формі ми виявили, що ці моделі перевершують провідні закриті моделі у дослідженнях користувацьких уподобань», — зазначає компанія, порівнюючи Stable Video Diffusion з іншими платформами перетворення тексту у відео, такими як Runway та Pika Labs.
Наразі Stable Video Diffusion доступний лише для дослідницьких цілей, а не для реального чи комерційного застосування. Потенційні користувачі можуть зареєструватися, щоб потрапити в список очікування для доступу до «майбутнього вебдосвіду з інтерфейсом [перетворення] тексту у відео», пише Stability AI. Інструмент продемонструє потенційні можливості застосування в таких галузях, як реклама, освіта, розваги тощо.
Зразки, показані у відео вище, виглядають відносно якісними й не поступаються іншим генеративним системам. Однак Stable Video Diffusion має деякі обмеження: генерує відносно коротке відео (менше ніж 4 секунди), йому бракує фотореалізму, він не може робити рух камери, окрім повільних панорам, не має контролю над текстом, не може генерувати розбірливий текст і не може генерувати людей і обличчя належним чином.
Інструмент навчався на мільйонах відео, а потім допрацьовувався на меншому наборі даних, причому Stability AI заявляє, що використовувала лише відео, які було загальнодоступними для дослідницьких цілей. Це важливо, враховуючи, що нещодавно компанія Getty Images подала на Stability AI до суду за вилучення її архівів зображень.
Відео є ключовою метою для генеративного ШІ через його потенціал для спрощення створення контенту. Однак це також інструмент із найбільшим потенціалом для зловживань через діпфейки, порушення авторських прав тощо.
ЗМІ стверджують, що на відміну від OpenAI з її ChatGPT, Stability не досягла успіху в комерціалізації свого продукту Stable Diffusion і швидко втратила гроші. Минулого тижня віцепрезидент Stability AI з питань аудіо Ед Ньютон-Рекс подав у відставку через використання захищеного авторським правом контенту для навчання генеративних моделей ШІ.
