Новая нейронка Sora от OpenAI помимо видео также может генерировать видеоигры.
Новая видеогенерирующая модель Sora, которую на днях запустила компания OpenAI, может также «моделировать цифровые миры».
Новая видеогенерирующая модель Sora, которую на днях запустила компания OpenAI, может также «моделировать цифровые миры».
Sora может генерировать видео с произвольным разрешением и соотношением сторон (до 1080p). Согласно статье OpenAI, Sora может выполнять ряд задач по редактированию изображений и видео, от создания циклических видео до удлинения видео вперед или назад во времени до изменения фона в существующем видео.
Соавторы OpenAI, как пишет TechCrunch, считают, что Sora может «моделировать цифровые миры». В ходе эксперимента OpenAI посылал Sora подсказки, содержащие слово «Minecraft», и он убедительно отображал HUD и игру, похожую на Minecraft, и динамику игры, включая физику, одновременно управляя персонажем игрока.
OpenAI Sora может simulate Minecraft I guess. Maybe next generation game console будет «Sora box» и игры распространяются как 2-3 пункты текста. pic.twitter.com/9BZUIoruOV
— Andrew White (@andrewwhite01) February 16, 2024
«Похоже, OpenAI Sora может симулировать Minecraft. Возможно, игровая приставка следующего поколения будет „Sora box“ и игры будут распределяться в виде 2-3 абзацев текста», — написал Эндрю Уайт в X (Twitter).
Как заметил старший исследователь Nvidia Джим Фан (через Quartz), Sora больше напоминает «физический двигатель, управляемый данными», чем творческий механизм. Это не просто создание отдельного фото или видео, а определение физики каждого объекта в окружающей среде и воспроизведение фото или видео (или интерактивного 3D-мира, в зависимости от случая) на основе этих вычислений.
«Эти возможности свидетельствуют о том, что продолжение масштабирования видеомоделей является многообещающим путем разработки мощных симуляторов физического и цифрового мира, а также объектов, животных и людей, живущих в них», — пишут соавторы OpenAI.
Сейчас в домене видеоигр используются обыденные ограничения Sora. Модель не может точно приблизить физику основных взаимодействий, таких как разбиение стекла. И даже благодаря взаимодействию, которое он может моделировать, Sora часто непоследовательна — например, изображение человека, который ест гамбургер, но не воспроизведение следов укусов.
А вот что думают по поводу нового ИИ-инструмента креативщики и представители IT-сообщества.
Читайте главные IT-новости страны в нашем Telegram
Читайте главные IT-новости страны в нашем Telegram
«Такие технологии — это стероиды для генерации дипфейков». Что думают украинские и мировые креативщики и IT-сообщество о новой нейронке Sora
«Такие технологии — это стероиды для генерации дипфейков». Что думают украинские и мировые креативщики и IT-сообщество о новой нейронке Sora
OpenAI представила Sora — ШИ-модель, превращающая текст в видео
OpenAI представила Sora — ШИ-модель, превращающая текст в видео
