😢 Проблема: голосовым помощником не всегда удобно пользоваться, например, в библиотеке или больнице, где нужно соблюдать тишину. А в шумной обстановке помощник может не разобрать команду. На помощь приходят бесшумные речевые интерфейсы, которые используют датчики, обнаруживающие движения рта, языка и горла, а затем преобразующие эти движения в слова или действия на устройстве.
Но чаще всего у бесшумных речевых интерфейсов небольшой и негибкий словарь слов, которые можно распознать. Это сильно ограничивает пользу таких интерфейсов.
😎 Решение: приложение с системой распознавания беззвучных команд, которая не ограничивается фиксированным словарём, а настраивается самим пользователем.
🤔 Как работает: при добавлении нужной команды камера смартфона захватывает изображение пользователя, чтобы проанализировать движения его губ. Затем система обучает исходную модель тому, как переводить конкретные движения. Приложение можно настроить так, чтобы система распознавала любые пользовательские команды или даже невербальные жесты губ, например складывание для воздушного поцелуя.
Чтобы проверить работоспособность системы в реальных условиях, её испытали на наборе видеоданных, снятых в разных местах, при различном освещении и нескольких способах удерживания смартфона. Точность распознавания беззвучных команд составила до 96%.
📺 Посмотреть:
🤨 И что? Сейчас авторы дорабатывают приложение по отзывам первых пользователей, чтобы сделать его интуитивно понятнее. Приложение пригодится в различных ситуациях, в том числе работникам правоохранительных органов и людям, которые не могут говорить, например, из-за паралича или другого заболевания.
🧑💻 Кто: исследователи Токийского университета, Япония.
Источники: hackster.io и dl.acm.org
