😱 Что случилось: разработчик создал систему, которая преобразует позы тела в нажатия клавиш для управления действиями в играх.
🤔 А как: чтобы не распознавать каждую позу, разработчик использовал OpenCV для идентификации поз и MediaPipe для обнаружения ключевых точек на теле. В итоге с помощью простых вычислений можно определить, где расположены ключевые точки по отношению друг к другу и в каком положении находится тело.
Чтобы система поддерживала многопользовательский режим, видимая ею область была разделена на отдельные сегменты для каждого игрока. За счёт этого не пришлось усложнять аппаратную часть проекта.
Система работает на стареньком ноутбуке и определяет различные позы тела по файлу CSV. Позы можно сопоставить с любой кнопкой или клавишей, так что пользоваться системой можно практически с любой игрой. Правда, не все игры подходят для такого способа управления. Например, простая Flappy Bird работает достаточно хорошо, а чтобы поиграть таким образом в Super Mario Bros., надо постараться.
Разработчик даже создал новые игры для этого контроллера. В одной нужно повторить позу, показанную на экране, а во второй — взаимодействовать с котиками и собачками и получать за это очки. Для управления режимом сложности разработчик добавил монитор сердечного ритма, который делает игру легче или сложнее в зависимости от нагрузки игрока.
📺 Посмотреть:
⏬ GitHub: https://github.com/everythingishacked/Gamebody
🤨 И что? Сначала разработчик хотел сделать нейронную сеть, которая распознавала бы позы тела, поддерживала многопользовательский режим, работала с любой игрой и улучшала игровые навыки человека. Но оказалось, что создать нейронку сложнее, чем предполагалось, поэтому разработчик позаимствовал некоторые решения из предыдущего проекта, где с помощью движений тела можно было управлять клавиатурой. В результате получилась система, которая выполняет три задачи из четырёх, то есть не справляется только с тем, чтобы помогать пользователю улучшать игровые навыки.
👨🔧 Кто: разработчик Флетчер Хайслер aka EverythingIsHacked, США.
Источник: hackster.i
