Изобрели очки с искусственным интеллектом, которые распознают бесшумные команды при помощи сонара

😢 Проблема: большинство технологий распознавания речи требуют, чтобы пользователь смотрел в камеру или носил её. Обработка изображения или видео требует много ресурсов, поэтому происходит на сервере, куда устройство отправляет данные. Это создаёт большие проблемы с конфиденциальностью — как для пользователя, так и для людей, которые попадают в кадр. А сами устройства часто получаются громоздкими, чтобы обеспечить работу сложного видеооборудования.

😎 Решение: очки, которые распознают речь при помощи сонара, то есть акустического восприятия.

🤔 Как работает: на очках есть пара микрофонов и динамиков размером меньше, чем ластик на карандаше. Это делает очки буквально носимой гидролокационной системой, которая воспринимает движения рта и улавливает звуковые волны на лице, собирая что-то вроде эхопрофиля. Алгоритм глубокого обучения в режиме реального времени анализирует эти данные и распознаёт их с точностью до 95%.

Пока что очки умеют распознавать всего 31 бесшумную команду по движениям губ и рта, но систему можно совершенствовать. Чтобы пользоваться очками, достаточно несколько минут обучения.

Поскольку аудиоданные намного меньше, чем изображения или видеоданные, они передаются по Bluetooth на смартфон и там обрабатываются локально, без отправки на сервер. Таким образом, конфиденциальная информация никуда не передаётся.

Очки могут работать от аккумулятора до 10 часов. С таким же аккумулятором устройства с камерой проработали бы не более получаса.

📺 Посмотреть:

🤨 И что? У таких очков есть много сфер применения. Их можно использовать вместо гарнитуры hands-free, чтобы отдавать голосовые команды другим устройствам в условиях, когда нужно соблюдать тишину или если вокруг слишком громко. Люди, у которых проблемы с голосом, смогут озвучивать свою речь с помощью таких очков, используя голосовой синтезатор. Можно также использовать очки в паре со стилусом и заменить ими клавиатуру и мышь. 

🧑‍💻 Кто: исследователи Корнельского университета, США.

Источник: news.cornell.edu