Стань Железным человеком или Белоснежкой. Украинские стартаперы разработали сервис, превращающий людей в аватары

dev.ua  рассказывает историю стартапера о том, что буквально каждый  сможет создавать 3D-контент высокого качества — как фильмы «Матрица» или «Аватар», а также абсолютно по-новому взаимодействовать в виртуальной и дополненной реальности.

Как появилась MANNA, и как это работает

В 3D индустрию Олег пришел с другом, старшим научным сотрудником и специалистом в радиоэлектронике университета ХНУРЭ, Геннадием Жугой, В 2018 году они с партнерами создали в Израиле стартап по разработке  продуктов для IoT (Интернета вещей) и для профессиональных анимационных студий. «Возник запрос на то, чтобы сделать инструмент для 3D анимации для обычных людей, создающих сторис в Instagram, TikTok, Snapchat и ищущих новые инструменты для социальных интерактивов», — рассказывает основатель.

Идея команде понравилось, тем более что целевой рынок растет просто экспоненциально: сейчас каждый второй контент-криэйтор, геймер, VR-энтузиаст, пользователь соцсетей, певец, музыкант или начинающий киношник.

По его словам, на рынке среди конкурентов доминируют компании, которые предлагают пользователям купить VR шлем и играть в ограниченное количество игр, кое-где смотреть виртуальные концерты, либо собираться на конференции. Также они позволяют подключение в web-браузерах и приложениях, где погружение в VR очень условное, ну, а передачи эмоций и движений тел аватарам не предусмотрено. Играй в то, что есть: управляй деревянными аватарами, а свой креатив направить, собственно, и некуда. Такой подход к запуску VR очень ограничен по умолчанию, говорит Олег. Предложений инструментов студийного уровня для создания AR/VR контента для простого пользователя и вовсе нет. 

Украинские стартаперы нашли более эффективный подход к вовлечению аудитории, сделав ставку на пользовательский контент и желание людей полноценно взаимодействовать в виртуальной и дополненной реальности, и делая доступными технологии профессионального виртуального продакшена. 

«Зачем покупать все еще плохо работающий и дорогой шлем на голову, если можно видеть виртуальный мир перед собой, просто вращая вокруг смартфон, которых в мире более 3,5 миллиарда у людей в карманах? Зачем смотреть на безжизненных аватаров, если они могут выражать наши эмоции и движения, да и ходить в виртуальных мирах можно своими ногами, а не нажатием кнопок контроллера», — объясняет свой подход Олег.

Работает его приложение следующим образом. Фронтальная камера считывает эмоции и передает их на смартфон, а на тело крепятся сенсоры, которые передают реальные движения на аватара. Позиция, при которой держишь смартфон в руке, подходит для большинства режимов записи контента, навигации в пространстве, использования его как виртуальной камеры для выбора лучшего ракурса и для взаимодействий с другими аватарами. Но также, по примеру того как это делают студии, смартфон можно закрепить напротив лица на легкой гарнитуре, освободив обе руки для различных действий. 

Создатели контента в MANNA могут использовать любые образы и передавать им свои эмоции и движения тела, что выглядит максимально реалистично. То есть, даже непрофессиональный аниматор сможет создавать 3D-контент высокого качества, при этом объединяться с другими пользователями для коллаборации над проектами.

На вопрос о том, почему у приложения такое название — MANNA, Олег отвечает: «Ну как же, и послал Господь страждущему народу…»

От сложнейшей концепции до MVP за один год

Сейчас, по словам Олега, основная команда состоит из 11 человек. Среди них — украинцы, американцы и израильтяне; инженерный костяк вместе уже 15 лет, фаундеры — 5 лет. У стартапа два офиса — в Киеве и Харькове. В команду сейчас активно набирают новых людей. СТО проекта — Геннадий. Он отвечает за разработку технологий и ПО. Часть команды, по словам Дрыжака, работает на перспективу опционального вознаграждения и долгосрочного развития в компании. 

За год работы над стартапом фаундеры вложили порядка  $60 000. $25 000 ребята получили от Украинского фонда стартапов на развитие, а еще $10 000 на участие в программе акселерации.

Сколько стоит MANNA для пользователей, разработчики пока не разглашают.  «Ведутся просчеты ценообразования на подписки и % сборов с оборота 3D маркетплейса. Кстати, MANNA еще и открывает разработчикам 3D активов (аватары, сцены, любые объекты) прямой доступ к их продаже пользователям через маркетплейс. Это им позволит зарабатывать во много раз больше, нежели создавая 3D активы для игры или фильма студии-работодателя. Продажа нательных сенсоров планируется в разных комплектациях, но является больше стратегией объединения пользователей на своей платформе, нежели источником дохода. Предварительный анонс стоимости разработчики планируют сделать в декабре.»

Олег говорит, что сейчас проект в стадии переговоров с потенциальными инвесторами, телеканалами, продюсерами певцов, блоггеров и с лидерами целевых сообществ. На октябрь–ноябрь планируется привлечения средств в стартап. В качестве инвесторов основатели видят бизнес-ангелов и венчурные фонды, также есть интерес со стороны представителей криптоиндустрии.

Опыт в R&D как преимущество

Олег признается, что, для проекта MANNA пригодились многолетние разработки группы инженеров под кураторством Геннадия, и подходы, выработанные во время развития Израильской компании. Речь идет о стеке технологий трекинга и позиционирования, которые позволяют связывать физический и виртуальный миры, считывать движения лица и тела и без задержек передавать их на аватары, обеспечивать взаимодействие с предметами и другими участниками виртуального мира. Кроме того, в платформу внедрены собственные алгоритмы быстродействия, которые позволяют разгонять смартфон и обеспечивать процессинг тяжелой графики в режиме реального времени, при этом сложная графика киношного качества на смартфоне работает без задержек.

Это еще называют архитектурой эдж-компьютинга, который позволяет распределить нагрузку между серверными мощностями для удаленной работы с данными, нейронными сетями и картинкой на самом смартфоне. Эта функция позволяет разделить потоки данных и обеспечить быстродействие работы системы и бесперебойность видео контента.

Проект использует интеграции с Unreal Engine, говорит Олег. «Это игровой движок, который на текущий момент является ключевым системообразующим аппаратом для создания современных видео игр и кино», объясняет он.

На собственном ПО MANNA обрабатывает и данные с миниатюрных сенсоров, которые размещаются на теле. «Сенсоры находятся в удобном для ношения в кармане футляре, который служит и заряжающей станцией, и нулевой точкой для связки физического и виртуального мира, чтобы виртуальный мир был статичен, а аватар двигался внутри так, как двигается сам человек», — рассказывает Дрыжак.

Apple в приоритете

Приложение сначала выйдет на iOS, говорит Олег. «Это связано в первую очередь с тем, что iPhone уже хорошо настроен для распознавания лица и работы с Unreal Engine».

По его словам, для полного погружения, передачи всех своих действий в точности на аватар и взаимодействий с другими пользователями необходимо будет прикрепить до 12 сенсоров на тело с помощью браслетов — по паре сенсоров на каждую конечность и спину, также можно маркировать ими предметы для взаимодействия с ними в цифровой среде.

Разработчики планируют продавать свой продукт в разных комплектациях — от 5 до 12 датчиков, что, соответственно, отразится на цене комплекта и функционале аватара. Например, сидящему аватару достаточно меньшего количества сенсоров для передачи движений верхней части тела блогера.

Датчики собирают сами, закупая передовые процессоры и компоненты у международных производителей. «Собранный датчик обрабатывается собственной технологией Sensor-Fusion, программным пакетом модулей, направленным на управление содержимым, и добавляются алгоритмы, которые отфильтровывают большую часть погрешностей, имеющихся у любых видов сенсоров», — рассказывает Олег.

Большие планы

Стартаперы предвидят для своего продукта хорошие перспективы. Сейчас, по словам Дрыжака, ведутся переговоры с продюсерами и агентами певцов, блогеров, инфлюенсеров и медийных лиц, которые своим примером покажут подписчикам и фанатам возможности бета-версии продукта. 

В январе ребята повезут свою разработку на выставку CES в Лас Вегасе.

На выставке планируется расширить комьюнити, наладить предзаказы и вирусное подключение пользователей. 

«Выход в рынок намечен в первом квартале следующего года» — прогнозирует Дрыжак. До Вегаса стартаперы посетят ведущую конференцию по компьютерной графике и интерактивным технологиям Siggraph в Японии, где часто презентуются технологические новинки, и сам рынок весьма привлекателен для бизнеса. 

Олег уверен, что разработанный его командой инструмент поможет очень многим людям открыть миру свой творческий талант. «И лучший пример этого сегодня — реалити-шоу Альтер Эго, которое 22 сентября запустил телеканал Fox, где участники имеют возможность спеть в образе аватара в невообразимых ранее постановках со спецэффектами.

Это новая возможность для музыкантов, певцов, рекламодателей и продюсеров», — уверяет разработчик. MANNA перенесет певца прямо из квартиры в аватар на сцене студии канала Fox, Netflix, любой другой стриминговой платформы либо аудитории подписчиков певца внутри самой MANNA. Благодаря нам на Каннский либо любой другой кинофестиваль свои работы смогут подать тысячи новых режиссеров, которые раньше не имели бюджета и доступа к студиям. Да и нужен ли теперь форматный фестиваль, когда и признание, и карьерные перспективы определяются миллионами просмотров, восторженных откликов и деловых предложений внутри самой платформы MANNA? Симбиоз безграничного творчества и удобства в создании 3D контента и способах взаимодействий может сделать виртуальные концерты, вечеринки и показы мод наконец-то обычным явлением среди массового пользователя. А что уже говорить про игровые сценарии, которые могут придумать сами пользователи. 

До конца 2021 года разработчики MANNA планируют значительные инвестиций для доработки приложения, интеграций ряда технологий и маркетинг.

Айтишник из Днепра создает искусственный интеллект для помощи людям с ментальными расстройствами

По теме

Айтишник из Днепра создает искусственный интеллект для помощи людям с ментальными расстройствами

Зов сердца. Украинцы Белкины создали гаджет для сердечников Cardiomo. Как он работает, и зачем везут на СЕS-2021

По теме

Зов сердца. Украинцы Белкины создали гаджет для сердечников Cardiomo. Как он работает, и зачем везут на СЕS-2021

Одессит создал кофейню Tesla и запустил кофе-такси. Как работает стартап на миллионы с инвестором из Silicon Valley

По теме

Одессит создал кофейню Tesla и запустил кофе-такси. Как работает стартап на миллионы с инвестором из Silicon Valley