Создали систему, которая читает по губам без видеозаписи и даже через медицинскую маску

🦻 Проблема: проблемы со слухом есть у 5% населения — это более 400 миллионов человек. Если использовать слуховой аппарат, то устройство увеличит громкость всех звуков — в шумном месте такое решение бесполезно. Речь можно распознавать по движениям губ, но чтобы делать это автоматически, нужно записывать говорящего на видео. Такой способ нарушает чужую конфиденциальность и не работает в темноте или если у человека закрыто лицо, например медицинской маской.

😎 Решение: система, которая распознаёт речь по артикуляции с помощью радиочастот.

🤔 Как работает: устройство сканирует лицо говорящего с помощью радиоволновых сигналов от радио- или Wi-Fi-датчиков. Речь распознаётся по движениям губ и рта, которые характерны для разных гласных звуков. Сигналы проходят через медицинскую маску, поэтому артикуляцию можно определить даже под ней, хотя и с меньшей точностью. Если говорящий в маске, система правильно распознаёт речь в 80% случаев, без маски — в 95% случаев.

👥 Кто: исследователи Университета Глазго с коллегами, Великобритания.

Источники: techxplore.com и nature.com

Получите ИТ-профессию
В «Яндекс Практикуме» можно стать разработчиком, тестировщиком, аналитиком и менеджером цифровых продуктов. Первая часть обучения всегда бесплатная, чтобы попробовать и найти то, что вам по душе. Дальше — программы трудоустройства.
Начать карьеру в ИТ
Получите ИТ-профессию Получите ИТ-профессию Получите ИТ-профессию Получите ИТ-профессию
Еще по теме