Исследователи из Google Research разработали новую систему искусственного интеллекта VLOGGER, которая может создавать реалистичные видео людей, говорящих, жестикулирующих и двигающихся — только по одной фотографии.
Исследователи из Google Research разработали новую систему искусственного интеллекта VLOGGER, которая может создавать реалистичные видео людей, говорящих, жестикулирующих и двигающихся — только по одной фотографии.
Согласно исследовательской работе под названием «VLOGGER: мультимодальная диффузия для синтеза воплощенного аватара», для создания видео достаточно одной фотографии и аудиозаписи, из которых ИИ сделает аватара, говорящего соответственно аудио, делает соответствующие выражения лица, движения головой и жесты руками. VentureBeat.
Исследователи использовали диффузионные модели, недавно показавшие превосходную производительность в создании очень реалистичных изображений из текстовых описаний. Расширив их в область видео и научившись на огромном новом наборе данных, команда смогла создать систему искусственного интеллекта, которая может оживлять фотографии очень убедительным способом.
«В отличие от предыдущей работы, наш метод не требует обучения каждого человека, не полагается на распознавание лица и кадрирование, генерирует полное изображение (а не только лица или губы) и учитывает широкий спектр сценариев (например, видимые торсы или различные субъектные идентичности), которые имеют решающее значение для правильного синтеза общающихся людей», — пишут авторы.
Ключевым фактором стала подготовка огромного нового набора данных под названием MENTOR, содержащая более 800 000 разнообразных идентификаторов и 2200 часов видео — на порядок больше, чем было доступно ранее. Это позволило VLOGGER научиться создавать видео людей разной этнической принадлежности, возраста, одежды, поз и свиты без предвзятости.
Технология может автоматически дублировать видео на других языках, просто заменяя аудиодорожку, легко редактировать и заполнять недостающие кадры в видео, а также создавать полноценные видеоролики о человеке из одного кадра.
Эту технологию можно использовать для создания фотореалистичных аватаров для виртуальной реальности и игр, виртуальных помощников и чат-ботов, которые будут более привлекательными и выразительными.
Google считает, что VLOGGER поможет создавать «разговорных агентов», которые могут взаимодействовать с людьми естественным путём посредством языка, жестов и зрительного контакта. «VLOGGER можно использовать как самостоятельное решение для презентаций, обучения, рассказа, общения в интернете с низкой пропускной способностью, а также как интерфейс для текстового взаимодействия человека с компьютером», — пишут авторы статьи.
Однако эта технология также имеет потенциал для злоупотребления, например для создания дипфейков. Поскольку созданные искусственным интеллектом видео становятся более реалистичными и их легко сделать, это может усугубить проблемы, связанные с дезинформацией и цифровыми подделками.
VLOGGER все же имеет ограничение. Сгенерированные видеоролики относительно короткие и имеют статический фон. Люди не передвигаются в 3D-среде.
