😥 Проблема: в России более 2 миллионов глухих и слабослышащих людей. По некоторым данным, их число может доходить до 19 миллионов. Таким людям трудно общаться с другими без переводчика и получать социальные услуги, например в поликлинике, ЖЭК, МФЦ и других организациях. Каждый глухой или слабослышащий россиянин имеет право на 84 часа перевода в год, но этого мало. Да и переводчиков с русского жестового языка не хватает — их в России около 1 тысячи.
😎 Решение: система, которая распознаёт русский жестовый язык и переводит его в текст.
🤔 Как работает: видеокамера фиксирует жесты глухого или слабослышащего, а система преобразует их в письменный текст с точностью более 90%.
Систему обучили по видеозаписям с жестами, связанными с медициной и здоровьем. База содержит 85 жестовых высказываний, записанных 12 дикторами в 5 вариантах с разных ракурсов. Такое разнообразие нужно не только для более точного распознавания, но также потому что жестовые элементы могут различаться в зависимости от возраста и пола человека.
Сейчас работают над интерфейсом для системы.
📺 Посмотреть:
🤨 И что? Хотя пока составили базу жестов только для общения с врачами, это отличное начало. Остальные жестовые элементы и выражения можно будет собрать таким же способом и расширить возможности системы. В будущем глухим и слабослышащим людям будет легче вести обычную жизнь.
🧑💻 Кто: исследователи Санкт-Петербургского Федерального исследовательского центра РАН, Россия.
Источники: ras.ru и ntv.ifmo.ru
