Придумали, как создавать видеоаватары с помощью акустики

👤 Что случилось: разработали технологию акустического восприятия EarIO, чтобы отслеживать мимику лица и создавать цифровой аватар с помощью наушников.

🤔 Как работает? Наушники излучают из динамиков акустические сигналы, которые отражаются от лица. Микрофон улавливает эхосигналы, которые меняются при движениях пользователя. В зависимости от выражения лица мышцы, ткани и кожа вокруг уха деформируются по-разному, что создаёт уникальные профили эха в отражённых сигналах.

Система с помощью алгоритма глубокого обучения воссоздаёт копию лица по эху. Данные передаются на мобильное устройство в режиме реального времени.

🤨 И что? Хотя польза и смысл видеоаватаров являются предметом споров, многие используют эти динамические изображения. Если отслеживать движения лица с помощью видеокамеры, тратится много энергии устройства и собирается много личной информации. С технологией EarIO сохраняется конфиденциальность данных пользователя.

👥 Кто: исследователи Корнеллского университета, США.

Источники: engadget.com и dl.acm.org