Разработчик под ником @measure_plan запустил экспериментальный веб-проект Dumb Drum Revolution. Он превращает любые предметы перед веб-камерой — кружку, книгу или клавиатуру — в музыкальные инструменты.
Алгоритм распознаёт объекты и движение и сопоставляет их с параметрами синтезатора или ударных звуков. Фактически пользователь играет музыку, ударяя по предметам на столе.
Как это работает
Проект полностью работает в браузере и собирает пайплайн из нескольких фронтенд-технологий:
- Roboflow RF-DETR — модель детекции объектов;
- MediaPipe — трекинг рук;
- Web Audio API и Tone.js — генерация звука;
- Three.js — визуализация сцены.
Когда рука касается предмета, система фиксирует коллизию и запускает звук. Параметры синтезатора формируются из характеристик объекта: форма определяет тип инструмента, размер меняет высоту или громкость, движение управляет эффектами.
Что здесь интересно с технической стороны
Ещё несколько лет назад такой пайплайн — детекция объектов, трекинг, обработка видео, аудиосинтез и 3D-рендер одновременно — требовал нативного приложения с GPU-ускорением. Теперь это работает в одной вкладке браузера без бэкенда.
Хороший ориентир для тех, кто прикидывает, где сегодня проходит граница возможного на чистом фронтенде.
