🙌 Проблема: многие процессы можно автоматизировать. Например, можно закупить роботов и поручить им разгрузку, сортировку и сбор товаров на складе. Но для этого недостаточно купить готовую систему — нужно обучить её работать с конкретными объектами. Для этого можно пригласить специалиста, но это дорого и подходит не всем. Некоторые системы могут обучать неопытные пользователи, но результаты могут содержать много ошибок. Например, если показывать системе нужные объекты со всех сторон, машинное зрение не всегда отделяет объект от фона.
😎 Решение: система LookHere, которая понимает жесты и положения рук и умеет отличать их и окружение от объекта.
🤔 Как работает? Пользователь показывает объект камере так же, как он делал бы для других людей, например в видео по распаковке. Система создаёт модель показываемого объекта, распознавая его и изолируя от других деталей на видео. Для процесса не нужна специальная камера, достаточно использовать камеру смартфона.
Сложность заключалась в том, что стандартного набора жестов не существует. Команда собрала набор данных HuTics из 2040 видеороликов, в которых 170 человек представляют объекты на камеру. Эти видео разметили так, чтобы объекты были зелёными, а руки синими. С помощью этих данных обучили систему LookHere.
🤨 И что? С помощью такого метода многие системы машинного обучения станут доступнее для применения простыми людьми.
👉 Посмотреть:
👥 Кто: исследователи Токийского университета, Япония.
Источник: techxplore.com и dl.acm.org
