👤 Что случилось: разработали технологию акустического восприятия EarIO, чтобы отслеживать мимику лица и создавать цифровой аватар с помощью наушников.
🤔 Как работает? Наушники излучают из динамиков акустические сигналы, которые отражаются от лица. Микрофон улавливает эхосигналы, которые меняются при движениях пользователя. В зависимости от выражения лица мышцы, ткани и кожа вокруг уха деформируются по-разному, что создаёт уникальные профили эха в отражённых сигналах.
Система с помощью алгоритма глубокого обучения воссоздаёт копию лица по эху. Данные передаются на мобильное устройство в режиме реального времени.
🤨 И что? Хотя польза и смысл видеоаватаров являются предметом споров, многие используют эти динамические изображения. Если отслеживать движения лица с помощью видеокамеры, тратится много энергии устройства и собирается много личной информации. С технологией EarIO сохраняется конфиденциальность данных пользователя.
👥 Кто: исследователи Корнеллского университета, США.
Источники: engadget.com и dl.acm.org
