Нова нейронка Sora від OpenAI крім відео також може генерувати відеоігри
Нова відеогенеруюча модель Sora, яку днями запустила компанія OpenAI, може також «моделювати цифрові світи».
Нова відеогенеруюча модель Sora, яку днями запустила компанія OpenAI, може також «моделювати цифрові світи».
Sora може генерувати відео з довільною роздільною здатністю та співвідношенням сторін (до 1080p). Згідно зі статтею від OpenAI, Sora може виконувати ряд завдань із редагування зображень і відео, від створення циклічних відео до подовження відео вперед або назад у часі до зміни фону в існуючому відео.
Співавтори OpenAI, як пише TechCrunch, вважають, що Sora може «моделювати цифрові світи». Під час експерименту OpenAI надсилав Sora підказки, що містили слово «Minecraft», і він переконливо відображав HUD і гру, схожу на Minecraft, і динаміку гри, включаючи фізику, одночасно керуючи персонажем гравця.
OpenAI Sora can simulate Minecraft I guess. Maybe next generation game console will be «Sora box» and games are distributed as 2-3 paragraphs of text. pic.twitter.com/9BZUIoruOV
— Andrew White (@andrewwhite01) February 16, 2024
«Здається, OpenAI Sora може симулювати Minecraft. Можливо, ігрова приставка наступного покоління буде „Sora box“ і ігри розподілятимуться у вигляді 2-3 абзаців тексту», — написав Ендрю Уайт у X (Twitter).
Як зауважив старший дослідник Nvidia Джим Фан (через Quartz), Sora більше нагадує «фізичний двигун, керований даними», ніж творчий механізм. Це не просто створення окремого фото чи відео, а визначення фізики кожного об’єкта в навколишньому середовищі — і відтворення фото чи відео (або інтерактивного 3D-світу, залежно від випадку) на основі цих обчислень.
«Ці можливості свідчать про те, що продовження масштабування відеомоделей є багатообіцяючим шляхом до розробки потужних симуляторів фізичного та цифрового світу, а також об’єктів, тварин і людей, які в них живуть», — пишуть співавтори OpenAI.
Тепер у домені відеоігор застосовуються звичайні обмеження Sora. Модель не може точно наблизити фізику основних взаємодій, таких як розбиття скла. І навіть завдяки взаємодії, які він може моделювати, Sora часто непослідовна — наприклад, зображення людини, яка їсть гамбургер, але не відтворення слідів укусів.
А ось, що думають з приводу нового ШІ-інструменту креативники та представники IT-спільноти.
Читайте головні IT-новини країни в нашому Telegram
Читайте головні IT-новини країни в нашому Telegram
«Такі технології — це стероїди для генерації діпфейків». Що думають українські й світові креативники та IT-спільнота про нову нейронку Sora
«Такі технології — це стероїди для генерації діпфейків». Що думають українські й світові креативники та IT-спільнота про нову нейронку Sora
OpenAI представила Sora — ШІ-модель, що перетворює текст у відео
OpenAI представила Sora — ШІ-модель, що перетворює текст у відео
