Технодурка: голосовой помощник, который работает без интернета и API

😱 Что случилось: одного разработчика не устраивало, что голосовые помощники на базе больших языковых моделей работают только при наличии интернета. Тогда он сделал своего голосового помощника, который не требует сетевого подключения или внешнего API.

🤔 А как: выбирая железо для своего проекта, разработчик остановился на мини-ПК reComputer Jetson-20-1-H2 с 16-гигабитным модулем Jetson Xavier NX. Это небольшая, но мощная платформа, которая может выполнять до 21 триллиона операций в секунду. У reComputer Jetson-20-1-H2 48 тензорных ядер, 6 процессоров Carmel ARM и два движка NVIDIA Deep Learning Accelerator. На такой платформе может быть даже несколько больших языковых моделей, но на всякий случай разработчик разогнал частоту центрального и графического процессоров.

Чтобы устройство могло слышать и издавать звуки, разработчик добавил массив USB-микрофонов Seeed Studio Respeaker и Bluetooth-динамик.

Услышав пробуждающее слово, устройство запускает систему для захвата речи пользователя. Аудиозапись преобразуется в текст с помощью автоматического распознавания речи и передаётся в большую языковую модель. Она создаёт текстовый ответ, который преобразуется в речь и воспроизводится на динамике.

📺 Посмотреть:

🤨 И что? Теперь у разработчика всегда есть собеседник. Этот проект можно повторить по подробной инструкции, но придётся повозиться как с аппаратной, так и с программной частью. Впрочем, ради независимости от интернета оно того стоит.

👨‍🔧 Кто: разработчик Шахизат Нургалиев, Казахстан.

Источник: hackster.io

Получите ИТ-профессию
В «Яндекс Практикуме» можно стать разработчиком, тестировщиком, аналитиком и менеджером цифровых продуктов. Первая часть обучения всегда бесплатная, чтобы попробовать и найти то, что вам по душе. Дальше — программы трудоустройства.
Начать карьеру в ИТ
Получите ИТ-профессию Получите ИТ-профессию Получите ИТ-профессию Получите ИТ-профессию
Еще по теме