Разработчик проекта llama-modchip нашел способ запускать гигантскую нейросеть DeepSeek-V4-Flash на компьютере всего с 64 ГБ оперативной памяти. И без видеокарты.
Модель содержит 284 млрд параметров, но благодаря сильному сжатию и оптимизации работает даже на обычном процессоре AMD Ryzen.
Читают прямо сейчас:
Локальные нейросети для ПК: топ-10 для установки оффлайн — подборка моделей для запуска без облака и мощной видеокарты.
Открытые веса: какие модели запустить бесплатно — разбираем требования к памяти, железу и локальному запуску.
20 AI GitHub-репозиториев для разработчика в 2026 году — разбираем llama.cpp, квантизацию и инструменты запуска локальных моделей.
Как удалось уместить 284 млрд параметров
Главный секрет — специальный формат сжатия Fractal-64. Он уменьшил размер DeepSeek-V4-Flash с 82,5 до 60,7 ГБ.
В результате модель вместе с рабочими данными занимает менее 64 ГБ оперативной памяти. Переносить часть данных на SSD не требуется.
Кроме того, DeepSeek использует архитектуру Mixture-of-Experts (MoE). Хотя всего у модели 284 млрд параметров, при обработке каждого токена задействуется лишь около 13,17 млрд. Это заметно снижает вычислительную нагрузку.
Какая скорость без видеокарты
Разработчик протестировал модель на ноутбучном процессоре AMD Ryzen 9 9955HX с 16 ядрами и 64 ГБ DDR5.
Результаты получились следующими:
- До 44,4 токена в секунду при обработке входного текста.
- 9–10 токенов в секунду при обычной генерации ответа.
- До 14,7 токена в секунду с дополнительным ускорением генерации.
Это не скорость облачных ИИ-сервисов, но для модели такого размера без GPU результат впечатляющий.
По данным автора, сжатие почти не повлияло на качество: оптимизированная версия набрала 98,5 балла из 100 во внутренних тестах проекта.
Работает и с другими моделями
Вместе с поддержкой DeepSeek вышла версия llama-modchip 2.4.0. Она также ускоряет запуск NVIDIA Nemotron-3.5-30B и моделей семейства Qwen.
Например, Nemotron на 30 млрд параметров удалось уменьшить до 15,4 ГБ. На процессоре Ryzen 9 9955HX она генерирует до 60 токенов в секунду, а на мощном Threadripper — более 100.
Проект основан на доработанном llama.cpp и доступен на GitHub под лицензией Apache 2.0.
Скидка на все курсы Практикума
Раз вы дочитали эту новость до конца, с технологиями у вас всё в порядке. А если давно присматривались к разработке, аналитике, нейросетям, тестированию или кибербезопасности, сейчас туда можно зайти дешевле.
Промокод KOD (можно просто нажать) даст скидку на любой платный курс! А если пока не готовы покупать курс, у Практикума есть бесплатные вводные части.
