😢 Проблема: даже те, кто хорошо знает английский как второй язык, сталкиваются с трудностями при чтении литературы. Всё из-за того, что какими бы ни были способы изучения иностранного языка, они не охватывают словарный запас полностью. В результате при чтении текстов люди спотыкаются о незнакомые слова, сбиваются и плохо понимают прочитанное. Можно держать под рукой словарь или онлайн-переводчик, но их использование превращает чтение в учёбу.
😎 Решение: система, которая наблюдает за тем, как пользователь читает текст, и подсказывает значение незнакомых слов.
🤔 Как работает: веб-камера следит за взглядом пользователя, когда он читает. Если взгляд фокусируется на каком-то слове дольше ожидаемого, система определяет его. Текст передаётся в языковую модель для понимания контекста написанного, эта информация объединяется с данными о взгляде, и классификатор нейронки поясняет слово, на которое смотрит пользователь.
Для оценки системы участников попросили прочитать слова из теста на определение уровня словарного запаса, и система определила незнакомые для них слова с точностью 98,09%. Общая эффективность системы зависела от контекстных данных, а также от качества веб-камеры.
📺 Посмотреть:
🤨 И что? С такой системой чтение художественной или другой литературы может стать намного проще и приятнее. Пока что система заточена только на английский язык, но авторы утверждают, что её можно настроить на любой другой. Осталось разобраться с приватностью данных, которые обрабатывает камера, когда следит за взглядом пользователя.
🧑💻 Кто: исследователи Университета Цинхуа, Китай, и Вашингтонского университета, США.
Источники: hackster.io и arxiv.org
