DeepSeek опубликовала DeepInfer — движок для запуска языковых моделей, который использовался в ее производственных сервисах.
Проект доступен под лицензией Apache 2.0 и пока поддерживает только DeepSeek-V4.1-Flash-1017.
Движок оптимизирует обработку запросов, управляет параллельными вычислениями и распределяет задачи между ускорителями.
Он также поддерживает детерминированную генерацию и выдачу результатов в заданном формате.
Читают прямо сейчас:
11 топовых китайских нейросетей: дешевле ChatGPT и Claude в 20 раз — как DeepSeek конкурирует с западными флагманами и почему открытая лицензия MIT меняет правила игры
Локальные нейросети для ПК: топ-10 для установки оффлайн — как запустить DeepSeek V4.1-Flash локально через FP8-квантование и что нужно для работы с моделью на 48 файлов
Почему короткий промпт может стоить дороже длинного — как сжатие KV-кэша делает контекст на миллион токенов практически возможным и зачем это нужно агентным сессиям
Какие возможности есть у DeepInfer
DeepInfer включает оптимизированные вычислительные ядра, планировщик задач и инструменты для параллельной обработки запросов.
Среди поддерживаемых функций — балансировка нагрузки между вычислительными группами и повторная обработка ограниченного контекста.
Проект рассчитан на запуск моделей на собственном оборудовании. Это позволяет разработчикам изучать работу движка и адаптировать его под свою инфраструктуру, не обращаясь к облачному сервису DeepSeek.
Какое оборудование поддерживается
DeepInfer работает с ускорителями NVIDIA архитектуры SM100 и нейропроцессорами HUAWEI Ascend 950. Для сборки нужны Linux, Python 3.12, GCC 13 или новее и CUDA 13 для NVIDIA либо CANN 9.2 для HUAWEI.
При первом запуске веса DeepSeek-V4.1-Flash-1017 скачиваются из Hugging Face. Если модель уже загружена, можно указать путь к локальной копии.
Что потребуется для полноценного сервиса
Опубликованная версия DeepInfer не включает все компоненты, необходимые для развертывания полноценной инфраструктуры. Пользователям придется самостоятельно организовать систему KV-кэша, разделение этапов обработки запросов и генерации токенов, а также балансировку нагрузки между копиями модели.
В основе проекта лежит vLLM; при разработке команда также использовала идеи из SGLang и TensorRT-LLM.
Скидка на все курсы Практикума
Раз вы дочитали эту новость до конца, с технологиями у вас всё в порядке. А если давно присматривались к разработке, аналитике, нейросетям, тестированию или кибербезопасности, сейчас туда можно зайти дешевле.
Промокод KOD (можно просто нажать) даст скидку на любой платный курс! А если пока не готовы покупать курс, у Практикума есть бесплатные вводные части.
