Специалисты из Университета Корнелла разработали собственную нейросеть NeuMan, которая способна создавать реалистичные 3D-модели людей. Для этого ей достаточно всего лишь видео со смартфона. Проект разработчики выложили на GitHub.
Специалисты из Университета Корнелла разработали собственную нейросеть NeuMan, которая способна создавать реалистичные 3D-модели людей. Для этого ей достаточно всего лишь видео со смартфона. Проект разработчики выложили на GitHub.
Создание реалистичных 3D-моделей — дело долгое и кропотливое. И если получится его упростить, то разработка фильмов, сериалов и видеоигр может существенно ускориться. Именно с такой целью придумали NeuMan.
В NeuMan скрыто две модели. Одна отвечает за геометрию человека, вторая — за окружение. Оценка грубой геометрии позволяет системе не перегружать себя данными и грамотно анализировать силуэты. И все это можно провернуть на основе абсолютно любого видео.
На основе полученных моделей авторы сделали небольшие ролики с трюками, в которых можно оценить работу нейросети. И пускай местами 3D-модели несколько замыленные, а на окружении заметна тень реального человека, в целом результат получился достойный.
Нейросеть сделали с открытым исходным кодом, так что каждый может попробовать ее как-нибудь улучшить.
