Стань Залізною людиною чи Білосніжкою. Українські стартапери розробили сервіс, що перетворює людей на аватари

dev.ua розповідає історію стартапера про те, що буквально кожен зможе створювати 3D-контент високої якості — як фільми «Матриця» або «Аватар», а також абсолютно по-новому взаємодіяти у віртуальній і доповненій реальності.

Як з’явилася MANNA, і як це працює

У 3D індустрію Олег прийшов з другом, старшим науковим співробітником і фахівцем з радіоелектроніки університету ХНУРЕ, Геннадієм Жугою, У 2018 році вони з партнерами створили в Ізраїлі стартап з розробки продуктів для IoT (Інтернету речей) і для професійних анімаційних студій. «Виник запит на те, щоб зробити інструмент для 3D анімації для звичайних людей, що створюють сторіс в Instagram, TikTok, Snapchat і шукають нові інструменти для соціальних інтерактивів», — розповідає засновник.

Ідея команді сподобалася, тим більше що цільовий ринок росте просто експоненціально: зараз кожен другий контент-кріейтор, геймер, VR-ентузіаст, користувач соцмереж, співак, музикант або початківець-кіношник.

За його словами, на ринку серед конкурентів домінують компанії, які пропонують користувачам купити VR шолом і грати в обмежену кількість ігор, подекуди дивитися віртуальні концерти, або збиратися на конференції. Також вони дозволяють підключення у web-браузерах і додатках, де занурення в VR дуже умовне, а передачі емоцій і рухів тіл аватарам не передбачено. Грай у те, що є: керуй дерев’яними аватарами, а свій креатив направити, власне, й нема куди. Такий підхід до запуску VR дуже обмежений за замовчуванням, каже Олег. Пропозицій інструментів студійного рівня для створення AR/VR контенту для простого користувача й зовсім немає.

Українські  стартапери знайшли більш ефективний підхід до залучення аудиторії, зробивши ставку на призначений для користувача контент і бажання людей повноцінно взаємодіяти у віртуальній та доповненій реальності, причому технології професійного віртуального продакшена стають доступнішими.

«Навіщо купувати все ще погано працюючий та дорогий шолом на голову, якщо можна бачити віртуальний світ перед собою, просто обертаючи навколо смартфони, яких  у світі понад 3,5 мільярда у людей в кишенях? Навіщо дивитися на неживих аватарів, якщо вони можуть передавати наші емоції та рухи, ще й ходити у віртуальних світах своїми ногами, а не натисканням кнопок контролера», — пояснює свій підхід Олег.

Працює його додаток наступним чином. Фронтальна камера зчитує емоції й передає їх на смартфон, а на тіло кріпляться сенсори, які передають реальні рухи на аватар. Треба тримати смартфон в руці —  це підходить для більшості режимів запису контенту, навігації в просторі, використанні його як віртуальної камери для вибору кращого ракурсу і для взаємодії з іншими аватарами. Також, за прикладом того, як це роблять студії, смартфон можна закріпити на легкій гарнітурі, звільнивши обидві руки для різних дій.

Творці контенту в MANNA можуть використовувати будь-які образи й передавати їм свої емоції та рухи тіла, що виглядає максимально реалістично. Тобто, навіть непрофесійний аніматор зможе створювати 3D-контент високої якості, при цьому об'єднуватися з іншими користувачами для колаборації над проєктами.

На запитання про те, чому додаток має так назву — MANNA, Олег відповідає: «Ну як же, і послав Господь стражденному народу…»

Від складної концепції до MVP за один рік

Зараз, за ​​словами Олега, основна команда складається з 11 осіб. Серед них — українці, американці й ізраїльтяни; інженерний кістяк разом вже 15 років, фаундери — 5 років. У стартапу два офіси — у Києві та Харкові. В команду зараз активно набирають нових людей. СТО проєкту — Геннадій. Він відповідає за розробку технологій і програмного забезпечення. Частина команди, за словами Дрижака, працює на перспективу опціональної винагороди й довгострокового розвитку компанії.

За рік роботи над стартапом фаундери вклали близько $60 000. $25 000 хлопці отримали від Українського фонду стартапів на розвиток, а ще $10 000 — на участь у програмі акселерації.

Скільки коштує MANNA для користувачів, розробники поки не розголошують. «Ведуться розрахунки ціноутворення на підписки та відсоток зборів з обороту 3D маркетплейса. До речі, MANNA ще й відкриває розробникам 3D активів (аватари, сцени, будь-які об'єкти) прямий доступ до їх продажу користувачам через маркетплейс. Це їм дозволить заробляти значно більше, ніж створюючи 3D активи для гри або фільму студії-роботодавця.

Продаж натільних сенсорів планується в різних комплектаціях, але є більше стратегією об'єднання користувачів на своїй платформі, ніж джерелом доходу. Анонс вартості розробники планують зробити в грудні.

Олег каже, що зараз проєкт перебуває у стадії переговорів з потенційними інвесторами, телеканалами, продюсерами співаків, блогерів і з лідерами цільових спільнот. На жовтень-листопад планується залучення коштів в стартап. В якості інвесторів засновники бачать бізнес-ангелів і венчурні фонди, також є інтерес з боку представників криптоіндустрії.

Досвід в R&D як перевага

Олег зізнається, що для проєкту MANNA знадобилися багаторічні розробки групи інженерів під кураторством Геннадія, і підходи, вироблені під час розвитку ізраїльської компанії. Йдеться про стек технологій трекінгу і позиціювання, які дозволяють пов’язувати фізичний і віртуальний світи, зчитувати рухи особи й тіла і без затримок передавати їх на аватари, забезпечувати взаємодію з предметами та іншими учасниками віртуального світу. Крім того, в платформу впроваджені власні алгоритми швидкодії, які дозволяють розганяти смартфон і забезпечувати процесинг важкої графіки в режимі реального часу. При цьому складна графіка кінематографічної якості на смартфоні працює без затримок.

Це ще називають архітектурою едж-комп’ютингу, який дозволяє розподілити навантаження між серверними потужностями для віддаленої роботи з даними, нейронними мережами та картинкою на самому смартфоні. Ця функція дозволяє розділити потоки даних і забезпечити швидку дію роботи системи й безперебійність відео контенту.

Проєкт використовує інтеграції з Unreal Engine, каже Олег. «Це ігровий движок, який на поточний момент є ключовим системоутворюючим апаратом для сучасних відеоігор і кіно», — пояснює він.

На власному ПЗ MANNA обробляє і дані з мініатюрних сенсорів, які розміщуються на тілі. «Сенсори знаходяться в зручному для носіння у кишені футлярі, який служить і заряджає станцію, і нульовою точкою для зв’язки фізичного і віртуального світу, щоб віртуальний світ був статичним, а аватар рухався всередині так, як рухається сама людина», — розповідає Дрижак.

Apple в пріоритеті

Додаток спочатку вийде на iOS, каже Олег: «Це пов’язано у першу чергу з тим, що iPhone вже добре налаштований для розпізнавання особи й роботи з Unreal Engine».

За його словами, для повного занурення, передачі всіх своїх дій в точності на аватар і взаємодій з іншими користувачами необхідно буде прикріпити до 12 сенсорів на тіло за допомогою браслетів — по парі сенсорів на кожну кінцівку і спину, також можна маркувати ними предмети для взаємодії з ними в цифровому середовищі.

Розробники планують продавати свій продукт в різних комплектаціях — від 5 до 12 датчиків, що, відповідно, позначиться на ціні комплекту і функціоналу аватара. Наприклад, аватару, який сидить, потрібна менша кількість сенсорів для передачі рухів верхньої частини тіла блогера.

Датчики збирають самі, закуповуючи передові процесори та компоненти у міжнародних виробників. «Зібраний датчик обробляється власною технологією Sensor-Fusion, програмним пакетом модулів, спрямованим на управління вмістом, і додаються алгоритми, які фільтрують більшу частину похибок, наявних у будь-яких видів сенсорів», — розповідає Олег.

Великі плани

Стартапери передбачають для свого продукту хороші перспективи. Зараз, за ​​словами Дрижака, ведуться переговори з продюсерами та агентами співаків, блогерів, інфлюенсерів і медійних осіб, які своїм прикладом покажуть підписникам і фанатам можливості бета-версії продукту.

У січні хлопці повезуть свою розробку на виставку CES у Лас-Вегасі.

На виставці планується розширити ком’юніті, налагодити попередні замовлення і вірусне підключення користувачів.

«Вихід в ринок намічений в першому кварталі наступного року», — прогнозує Дрижак. До Вегаса стартапери відвідають провідну конференцію з комп’ютерної графіки та інтерактивних технологій Siggraph в Японії, де часто презентуються технологічні новинки, і сам ринок є досить привабливим для бізнесу.

Олег впевнений, що розроблений його командою інструмент допоможе дуже багатьом людям відкрити світові свій творчий талант. «І кращий приклад цього сьогодні — реаліті-шоу Альтер Его, яку 22 вересня запустив телеканал Fox, де учасники мають можливість заспівати в образі аватара в неймовірних раніше постановках зі спецефектами.

Це нова можливість для музикантів, співаків, рекламодавців і продюсерів», — запевняє розробник. MANNA перенесе співака прямо з квартири в аватар на сцену студії каналу Fox, Netflix, будь-яку іншу стрімінгову платформу або аудиторію підписників співака всередині самої MANNA.

Завдяки нам на Каннський або будь-який інший кінофестиваль свої роботи зможуть подати тисячі нових режисерів, які раніше не мали бюджету і доступу до студій. Та й чи потрібен тепер форматний фестиваль, коли і визнання, і кар'єрні перспективи визначаються мільйонами переглядів, захоплених відгуків і ділових пропозицій всередині самої платформи MANNA?

Симбіоз безмежної творчості та зручності в створенні 3D контенту і способах взаємодії зможе, нарешті, зробити віртуальні концерти, вечірки та покази мод звичайним явищем для  масового користувача. А що вже говорити про ігрові сценарії, які можуть придумати самі користувачі.

До кінця 2021 року розробники MANNA планують значні інвестиції для доопрацювання додатка, інтеграцій ряду технологій та маркетинг.