Российские учёные разработали систему, чтобы врачи могли общаться с глухими пациентами

😥 Проблема: в России более 2 миллионов глухих и слабослышащих людей. По некоторым данным, их число может доходить до 19 миллионов. Таким людям трудно общаться с другими без переводчика и получать социальные услуги, например в поликлинике, ЖЭК, МФЦ и других организациях. Каждый глухой или слабослышащий россиянин имеет право на 84 часа перевода в год, но этого мало. Да и переводчиков с русского жестового языка не хватает — их в России около 1 тысячи.

😎 Решение: система, которая распознаёт русский жестовый язык и переводит его в текст.

🤔 Как работает: видеокамера фиксирует жесты глухого или слабослышащего, а система преобразует их в письменный текст с точностью более 90%.

Систему обучили по видеозаписям с жестами, связанными с медициной и здоровьем. База содержит 85 жестовых высказываний, записанных 12 дикторами в 5 вариантах с разных ракурсов. Такое разнообразие нужно не только для более точного распознавания, но также потому что жестовые элементы могут различаться в зависимости от возраста и пола человека.

Сейчас работают над интерфейсом для системы.

📺 Посмотреть: 

🤨 И что? Хотя пока составили базу жестов только для общения с врачами, это отличное начало. Остальные жестовые элементы и выражения можно будет собрать таким же способом и расширить возможности системы. В будущем глухим и слабослышащим людям будет легче вести обычную жизнь.

🧑‍💻 Кто: исследователи Санкт-Петербургского Федерального исследовательского центра РАН, Россия.

Источники: ras.ru и ntv.ifmo.ru