3D-аватары: как это работает

3D-аватары: как это работает

Разбираем на примере блогера CodeMiko.

О чём речь

Даже если вы не знаете английский, просто посмотрите этот ролик:

Справа — настоящая девушка, слева — её виртуальный аватар Мико. Мико повторяет все движения и мимику девушки в реальном времени. Если девушка встанет и будет ходить по комнате — аватар сделает то же самое. 

Как это работает

Чтобы создать такого персонажа, понадобилось четыре составляющих: 

  • специальный костюм, чтобы отслеживать положение тела;
  • камера для лица, чтобы передавать мимику;
  • софт, который обрабатывает полученные данные и рисует картинку;
  • артистизм и непосредственность автора (она называет себя «оператор», или technician).

Всё это используется, чтобы проводить развлекательные стримы в «Твиче». Персонаж сидит перед экраном, общается с гостями, треплется о жизни, показывает спецэффекты и принимает донаты. 

Что за костюм

На Мико специальный костюм Xsens с датчиками, каждый из которых отвечает за свою часть тела:

3D-аватары: как это работает

Такие же костюмы используют в кино, чтобы создать реалистичных персонажей, которые двигаются так же, как люди. Например, так сделали енота из Стражей галактики:

3D-аватары: как это работает

Эмоции на лице

Чтобы оживить лицо аватара, Мико прикрепила телефон напротив лица и использовала приложение Live Link Face. Приложение обрабатывает мимику, следит за положением глаз и даёт на выходе трёхмерную мультяшную картинку.

3D-аватары: как это работает

Как всё это превращается в 3D-графику

Данные с телефона, камер и костюма отправляются в виртуальную среду на движке Unreal Engine. Внутри происходит всяческое колдунство: 

  • Меняются камеры и углы обзора, чтобы показывать то Мико, то её гостя.
  • Меняются фоны, добавляются спецэффекты.
  • По сцене начинают ходить дополнительные персонажи (вероятно, с именами тех, кто задонатил много денег).
  • Меняются скины самой Мико.
  • Накладывается чат и призывы задонатить.
  • Всевозможное безумие.

Всё это рендерится на движке в реальном времени и отдаётся в стриминговый сервис «Твич», где трансляцию смотрят люди ради увеселения. 

По сути, это полноценная виртуальная видеостудия, собранная на базе движка Unreal Engine. Вот до чего техника дошла:

3D-аватары: как это работает

Зачем это нужно?

Люди это смотрят для развлечения. 

С прагматической точки зрения это нужно вот зачем: 

  • У людей есть потребность в социальном контакте, развлечении и в удовлетворении своих сексуальных фантазий.
  • Производить контент под эту задачу на живых людях может быть долго и трудозатратно: нужны хорошие актёры, студия, свет, операторская бригада, грим, декорации. 
  • Производить такой развлекательный контент в виртуальной среде намного технологичнее и дешевле. 
  • Если большие китайские или американские (или чешские?) производители контента освоят эту технологию, они смогут производить контент и проводить трансляции с гораздо большей степенью свободы. Если клиент хочет, чтобы ему прочитала сказку на ночь полуодетая Дейенерис с лицом Джессики Честейн на фоне Колизея и чтобы рядом Вин Дизель и Джейсон Стетхем исполняли гачимучи — довольно скоро это станет реальностью и будет стоить недорого. 

В чём сила?

Может показаться, что сила в технологиях: мол, очень крутое техническое решение, вот бы нам тоже построить виртуальную студию. Но на самом деле сила в артистизме «оператора» — девушки, которая стоит за Мико. Она классно отыгрывает своего персонажа и вкладывает много сил в то, чтобы людям было интересно смотреть. 

Дело не в технологиях — дело в том, кто ими пользуется. 

Что будет дальше?

Скорее всего, мы увидим такое развитие:

  • Виртуальный стриминг станет мейнстримом.
  • Появится новая профессия «Оператор виртуального аватара».
  • Появятся сравнительно недорогие костюмы и шлемы для точного захвата движений и мимики.
  • Благодаря развитию 3D-дипфейков зрители смогут получить фотореалистичную картинку с наложением любого лица.
  • Зрители смогут заказывать приватные шоу и управлять их содержимым.
  • Постепенно на смену живым операторам придут свёрточные нейронки, которые научатся и двигаться, и говорить неотличимо от людей.
  • Наши внуки будут залипать в это через шлемы VR, теребя свой поп-ит из будущего. 
  • А потом будет отключение воды, и все будут мыться из ковшика. 

Расскажите ещё

Вот ролик, в котором собрано почти всё, что известно об этом проекте. Любопытно, что этот ролик выпустил тоже виртуальный блогер (у него, правда, техническое исполнение намного проще):

Текст:

Михаил Полянин

Редактор:

Максим Ильяхов

Художник:

Даня Берковский

Корректор:

Ирина Михеева

Вёрстка:

Никита Кучеров

Соцсети:

Олег Вешкурцев

Веб-разработка — это новый черный
А мы знаем толк в моде и поможем освоить новую специальность за полгода.
Посмотреть
Фронтенд — это новый черный
Еще по теме
prev
next
Векторы: третий уровень сложности
Векторы: третий уровень сложности

Знакомимся с коллинеарностью.

Вам мало языка C? Попробуйте C++
Вам мало языка C? Попробуйте C++

Шустрый, мощный, весь обвешан классами.

Зачем вам jQuery
Зачем вам jQuery

Каждый год говорят о том, что jQuery уже не тот, но продолжают его использовать. Почему? Вот почему.

Можно ли отключить интернет?
Можно ли отключить интернет?

Разговор с техническим директором компании Qrator Артёмом Гавриченковым.

Растровая и векторная графика: это как?
Растровая и векторная графика: это как?

Как-нибудь так…

Лучшие языки программирования для старта в 2021 году
Лучшие языки программирования для старта в 2021 году

Выбери сейчас, чтобы не опоздать.

Все опять заговорили про VPN. Что это такое, объясни мне!

Мы не можем вам сказать. Но можем показать.

Что такое jupyter-ноутбук и зачем он нужен
Что такое jupyter-ноутбук и зачем он нужен

Рассказываем о необычной среде разработки

Начинающим программистам: что такое фреймворки и библиотеки
Как устроен Практикум

И зачем там столько тренажёров.

Кто такая Unity и почему она всем нравится

Бесплатный движок с классной графикой, реалистичной физикой и понятным интерфейсом.

Решение матричных уравнений
Решение матричных уравнений

Финальная глава саги.

Декомпозиция задач: что это и зачем нужно
Декомпозиция задач: что это и зачем нужно

И как сделать так, чтобы всё шло по плану.

easy