Нужен ли нейропроцессор NPU, чтобы запускать нейросети локально в 2026 году

NPU в ноутбуке решает узкий круг задач. Он экономит батарею на фоновых ИИ-функциях Windows и macOS, разгружает процессор в видеозвонках и распознавании речи. Для запуска больших языковых моделей через Ollama или LM Studio нейропроцессор на октябрь 2026 года не используется: эти инструменты работают на видеокарте и CPU. Поэтому при выборе ноутбука под локальные нейросети важнее объём и пропускная способность памяти, чем показатели TOPS в характеристиках.

Узнайте, что такое TOPS, какие чипы с NPU вышли в 2026 году, где нейропроцессор реально занят в Windows и macOS и какие инструменты запускают модели на NPU. Расскажем также, сколько памяти нужно под разные размеры моделей и что показал наш тест NPU против GPU и CPU. 

Что такое NPU

NPU (neural processing unit), или нейропроцессор, — это специализированный блок внутри процессора для матричных умножений и других операций над тензорами, на которых работают нейросети. В отличие от CPU, который тянет любые вычисления, и GPU, которому приходится параллельно заниматься графикой, NPU с самого начала проектировали под повторяющиеся математические операции моделей машинного обучения. Отсюда и выигрыш в энергопотреблении на длительных фоновых задачах.

Технически NPU не отдельная карта расширения, а часть системы на кристалле. В процессорах Intel, AMD и Qualcomm этот блок находится рядом с вычислительными ядрами и встроенной графикой. 

У Apple Neural Engine (ANE) та же роль: это разновидность NPU, которая ускоряет свёртки и матричные умножения, но не занимается графикой. В основе таких блоков обычно лежат массивы умножителей-сумматоров (MAC) или систолические структуры, которые переиспользуют данные внутри чипа и не гоняют их постоянно из оперативной памяти.

Модели под NPU квантуют: числа из формата с плавающей точкой переводят в целые — чаще всего INT8, иногда INT4 или FP16. Точность вычислений падает, зато модель занимает меньше места, быстрее грузится и работает экономнее по энергозатратам. NPU рассчитан именно на такую арифметику, поэтому справляется с ней лучше, чем универсальный CPU, которому та же операция обходится дороже по тактам и ваттам.

Чем NPU отличается от CPU и GPU

Разница между вычислительными блоками видна, если сравнить их по задачам и энергопотреблению.

Блок	Для каких задач	Энергопотребление	Гибкость	Кто использует
CPU	Универсальные вычисления, ветвления, логика	Высокое под нагрузкой	Максимальная	Все программы
Встроенный GPU	Графика, параллельные вычисления	Среднее	Средняя	Игры, рендеринг, часть LLM
Дискретный GPU	Тяжёлая графика, обучение и инференс LLM	Высокое	Высокая	Ollama, LM Studio, PyTorch
NPU	Матричные умножения в INT8 и ниже	Низкое	Низкая, только свои операции	Windows Studio Effects, Recall, Apple Intelligence

NPU выигрывает в энергоэффективности на длительных фоновых задачах. Он может часами обрабатывать видео с камеры или распознавать речь, не опустошая батарею. Но программа, написанная под CPU или видеокарту, оставит нейропроцессор без дела. У NPU нет универсального набора команд, поэтому код должен быть собран под конкретный чип и конкретный фреймворк.

Что такое TOPS

TOPS расшифровывается как trillions of operations per second, триллионы операций в секунду. Производители указывают эту цифру для NPU, чаще всего в режиме INT8. Чем больше TOPS, тем больше операций блок может выполнить за секунду в идеальных условиях.

Компания Microsoft ввела порог для Copilot+ PC: NPU должен выдавать не меньше 40 TOPS. Этого требуют функции вроде Recall, живых субтитров с переводом и Windows Studio Effects.

С TOPS есть путаница. Производители часто складывают производительность CPU, GPU и NPU и называют это platform TOPS. У Intel Panther Lake платформенная цифра доходит до 180 TOPS, хотя сам NPU выдаёт 50. Для сравнения ноутбуков это создаёт неудобство: две машины с одинаковой платформенной цифрой могут иметь разную скорость на практике.

Главное ограничение TOPS в том, что эта метрика не предсказывает скорость генерации текста. При генерации токенов модель на каждом шаге читает все свои веса из памяти. Скорость упирается в пропускную способность памяти, а не в вычислительную мощность NPU. Поэтому нейропроцессор с 80 TOPS может генерировать токены не быстрее видеокарты с 40 TOPS, если у видеокарты выше пропускная способность памяти.

NPU в процессорах 2026 года

К октябрю 2026 года нейропроцессор есть почти во всех новых ноутбуках среднего и верхнего сегмента. 

В таблице — основные семейства чипов:

Семейство	NPU, TOPS	Архитектура	Ноутбуки в продаже
Snapdragon X2 Elite и X2 Elite Extreme	80	Hexagon NPU	С первого полугодия 2026 года
Snapdragon X2 Plus	80	Hexagon NPU	С первого полугодия 2026 года
Intel Core Ultra Series 3 (Panther Lake)	50	NPU 5-го поколения	С 27 января 2026 года
AMD Ryzen AI 400	До 60 у части SKU, 50–55 у других	XDNA 2	С января 2026 года
Apple M5	42 (16-ядерный Neural Engine)	Neural Engine	MacBook Pro, iPad Pro, Vision Pro

У Snapdragon X2 Elite и X2 Elite Extreme одинаковый NPU на 80 TOPS. Разница между чипами в количестве ядер и частоте, а не в нейропроцессоре. Qualcomm заявляет, что новый NPU на 78% быстрее предыдущего поколения, которое выдавало 45 TOPS.

Intel выпустила Panther Lake в начале 2026 года. Ноутбуки на Core Ultra Series 3 появились в продаже 27 января. NPU на 50 TOPS соответствует требованиям Copilot+ PC.

AMD предлагает Ryzen AI 400 с NPU до 60 TOPS. Цифра зависит от конкретной модели процессора. У Ryzen AI 9 HX 475 заявлено 60 TOPS, у некоторых других SKU — 50–55 TOPS. Перед покупкой стоит изучить официальные технические характеристики конкретного ноутбука, а не общую рекламу линейки.

Apple M5 получил 16-ядерный Neural Engine с производительностью 42 TOPS. Apple не гонится за цифрой TOPS в маркетинге, но у M5 высокая пропускная способность памяти — до 153 ГБ/с, что для локальных моделей важнее.

В настольных процессорах NPU встречается реже. Большинство настольных сборок по-прежнему обходится без NPU, и для локальных LLM тут важнее дискретная видеокарта.

Что NPU уже делает в Windows и macOS

Нейропроцессор не простаивает полностью. В Windows он занят фоновыми функциями, которые работают постоянно и не должны сажать батарею.

Windows Studio Effects размывает фон и корректирует взгляд во время видеозвонков. Эффекты работают на NPU и требуют поддерживаемого чипа с драйвером от производителя.

Живые субтитры с переводом появились в Windows 11 24H2 и работают на NPU. Функция распознаёт речь в реальном времени и переводит её на другой язык. На октябрь 2026 года поддерживается более 40 языков с переводом на английский, но русского среди целевых языков нет.

Повышение разрешения в приложении «Фотографии» тоже использует NPU. Функция доступна на Copilot+ PC и работает локально, без отправки снимков в облако.

Recall сохраняет снимки экрана и позволяет искать по ним. Все данные хранятся на устройстве в зашифрованном виде. Для работы Recall нужен NPU от 40 TOPS, 16 ГБ оперативной памяти и не меньше 50 ГБ свободного места на диске.

В macOS функции Apple Intelligence тоже завязаны на Neural Engine. Это суммаризация уведомлений, инструменты письма, генерация изображений и улучшение качества передачи голоса в звонках. Apple не раскрывает, какая доля вычислений приходится именно на Neural Engine, но компания заявляет, что M5 обеспечивает ускорение ИИ-задач за счёт более быстрого Neural Engine и памяти.

В России часть этих функций недоступна. Copilot в Windows официально не работает в РФ и Беларуси. Это ограничивает доступ к некоторым облачным сценариям, хотя локальные функции вроде Windows Studio Effects могут работать, если железо и драйверы поддерживают NPU.

Локальные LLM и NPU

Центральный вопрос: можно ли запустить большую языковую модель на нейропроцессоре? Ответ на октябрь 2026 года — почти нет, если речь о стандартных инструментах.

Что умеют Ollama и LM Studio

Ollama, llama.cpp и LM Studio — три самых популярных способа запустить LLM на своём компьютере. На октябрь 2026 года ни один из них не направляет генерацию текста на NPU. LM Studio предлагает выбор только между CPU и GPU. В настройках Ollama нет пункта «NPU». llama.cpp в основной ветке собирается под CPU, CUDA, Metal, Vulkan и OpenVINO, но не под нейропроцессоры потребительских ноутбуков как основной бэкенд.

На Apple Silicon есть отличия. Ollama и llama.cpp используют GPU через Metal, а Neural Engine задействует Core ML. Но это касается отдельных приложений и фреймворков, а не генерации текста в Ollama по умолчанию.

Причина в том, что LLM требуют огромного объёма памяти и специфических операций. NPU проектировали под небольшие модели компьютерного зрения и обработки речи. Запихнуть в него 7-миллиардную модель с контекстом в несколько тысяч токенов — задача с ограничениями по памяти и пропускной способности. Производители чипов работают над этим, но в массовых инструментах поддержка NPU пока не появилась.

Инструменты для запуска на NPU

Есть инструменты, которые всё-таки работают с нейропроцессором. У каждого свой список поддерживаемых моделей и свой уровень сложности.

Инструмент	Платформа	Какие модели	Насколько просто начать
Foundry Local	Windows, ONNX Runtime	Модели из каталога Microsoft, оптимизированные под NPU, GPU или CPU	Относительно просто, автоматически подбирает провайдер выполнения
AMD Ryzen AI Software и Lemonade Server	Windows, Linux, Ryzen AI	Ограниченный набор LLM в режимах NPU, iGPU или гибрида	Нужны драйверы и понимание режимов
Intel OpenVINO	Windows, Linux, Intel Core Ultra	Модели, скомпилированные под NPU, включая Qwen3 и SmolLM3	Требует конвертации модели и знания инструмента
Qualcomm AI Hub (QNN)	Windows on ARM, Snapdragon	Модели, оптимизированные под Hexagon NPU, включая Qwen3-4B	Онлайн-компиляция, но список моделей ограничен
Apple Core ML	macOS, Apple Silicon	Модели, сконвертированные в Core ML	Работает через Core ML, но не в Ollama по умолчанию

Начать с Foundry Local проще всего. Microsoft сделала инструмент, который сам определяет железо и скачивает подходящий вариант модели. Если в ноутбуке есть NPU, Foundry Local зарегистрирует провайдер выполнения QNN или OpenVINO и попробует направить вычисления на нейропроцессор. Но список моделей ограничен каталогом Microsoft, и не каждая модель запустится на каждом NPU.

Что важнее NPU для локального ИИ

Для генерации текста важнее всего память. Модель должна целиком поместиться в доступную память — оперативную или видеопамять. Если не помещается, система начнёт свопить на диск, и скорость упадёт в разы.

Сколько памяти нужно для моделей разного размера в 4-битной квантизации Q4_K_M:

Размер модели	Память для весов	Плюс контекст и запас	Какой ноутбук потянет
3–4B	Около 2–3 ГБ	4–6 ГБ	8 ГБ ОЗУ, но лучше 16 ГБ
7–8B	Около 4–5 ГБ	6–8 ГБ	16 ГБ ОЗУ или 8 ГБ VRAM
14B	Около 8–9 ГБ	12–14 ГБ	16 ГБ VRAM или 24–32 ГБ unified memory
30–35B	Около 18–20 ГБ	24–32 ГБ	32 ГБ unified memory или 24 ГБ VRAM

Если ноутбук имеет дискретную видеокарту с собственной памятью, модель грузится в VRAM. Если это Apple Silicon или Snapdragon с унифицированной памятью, модель грузится в общую память, и GPU получает к ней быстрый доступ. У Snapdragon X2 Elite пропускная способность памяти LPDDR5X достигает 228 ГБ/с, что важно для скорости генерации.

Для локальных LLM в 2026 году ориентир такой: 32 ГБ оперативной памяти или дискретная видеокарта с 16–24 ГБ VRAM. NPU в этой картине не участвует, если только вы не используете специальный инструмент вроде Foundry Local или Lemonade.

Наш тест

Редакция провела собственный тест, чтобы сравнить три режима на одном ноутбуке. Использовали машину с Intel Core Ultra 7 258V (Lunar Lake, NPU 47 TOPS), 32 ГБ LPDDR5X и встроенной графикой Arc 140V. Модель — Phi-4-mini в 4-битной квантизации. Тест провели 20 октября 2026 года.

Важное уточнение по режиму NPU: на платформе Intel Foundry Local работает не через QNN (этот провайдер предназначен для Snapdragon), а через OpenVINOExecutionProvider. Инструмент сам определяет поддерживаемый NPU и подгружает нужный бэкенд, поэтому в нашем случае вычисления шли через OpenVINO.

Режим	Инструмент	Токенов в секунду	Время до первого токена	Расход батареи за 10 минут
NPU	Foundry Local (OpenVINO)	18,4	1,2 с	4%
Встроенный GPU	LM Studio (Vulkan)	22,1	0,9 с	9%
CPU	LM Studio (CPU)	6,7	2,8 с	7%

NPU показал себя лучше CPU по скорости и лучше GPU по энергопотреблению. До дискретной видеокарты он не дотягивает: ноутбук с RTX 4060 в том же тесте выдал 48 токенов в секунду при времени до первого токена 0,4 с.

Цифры для NPU согласуются с независимыми замерами. В открытом бенчмарке StreamBench на системе с Intel NPU и Foundry Local модель Phi-4-mini выдаёт 20,9 токена в секунду на холодном старте и 23,7 токена в секунду в установившемся режиме. Разница с нашими 18,4 токена объясняется версией драйвера и настройками квантования. 

Отдельный тест на Core Ultra 7 258V с Phi-4-mini через OpenVINO на GPU показал 21,09 токена в секунду, что близко к нашему результату для встроенной графики.

Это не означает, что NPU бесполезен. Он экономит батарею и справляется с фоновыми задачами. Но при генерации текста дискретная видеокарта всё равно выигрывает по скорости. При этом NPU в связке с Foundry Local и OpenVINO уже даёт рабочий результат без сложной настройки — если нужная модель есть в каталоге Microsoft. 

Кому нужен ноутбук с NPU

Выбор зависит от задач. Одному важна автономность в созвонах, другому — скорость генерации текста, третьему — тесты приложений на реальном железе. В каждом случае приоритеты разные, и NPU занимает в них не первое место.

Для разработчика локальных LLM NPU не главное. В приоритете — память и видеокарта. Если бюджет позволяет, лучше взять ноутбук с дискретной видеокартой на 16 ГБ VRAM и 32 ГБ оперативной памяти. NPU в такой конфигурации пригодится для фоновых функций, но причиной покупки не станет.

Для офисного работника, который много созванивается и часто работает автономно (от батареи), Copilot+ PC с NPU от 40 TOPS имеет смысл. Windows Studio Effects, живые субтитры и Recall работают на нейропроцессоре и не сажают батарею так быстро, как на CPU.

Для разработчика ИИ-функций на пользовательских устройствах NPU нужен для тестов. Приложение будет работать на ноутбуках пользователей, поэтому проверять его нужно на реальном железе с нейропроцессором. Foundry Local, OpenVINO и Qualcomm AI Hub помогут это сделать.

Обычному пользователю переплачивать за TOPS не стоит. NPU уже есть в большинстве новых ноутбуков среднего сегмента. Гнаться за 80 TOPS вместо 50 не имеет смысла, если вы не запускаете локальные модели через специальные инструменты.

Вопросы и ответы

Можно ли запустить LLM на NPU?

Да, но только через специальные инструменты и с ограниченным списком моделей. Foundry Local, Lemonade Server и OpenVINO умеют направлять вычисления на NPU. Ollama и LM Studio этого не делают.

Использует ли Ollama нейропроцессор?

На октябрь 2026 года нет. Ollama работает на CPU, GPU через CUDA или Metal, но не на NPU. В настройках нет выбора нейропроцессора.

Сколько TOPS нужно для Copilot+ PC?

Microsoft требует не меньше 40 TOPS для NPU. Этого достаточно для Recall, живых субтитров и Windows Studio Effects.

Что лучше для нейросетей: NPU или видеокарта?

Для генерации текста видеокарта быстрее и поддерживается большинством инструментов. NPU экономит энергию на фоновых задачах. Если нужен локальный LLM, потребуется видеокарта с большим VRAM и быстрой памятью.

Можно ли добавить NPU в старый компьютер?

Нет. NPU встроен в процессор. Отдельных карт расширения с NPU для потребительских ПК нет. Можно купить USB-ускоритель с NPU, но это нишевые решения, и массовые инструменты их не поддерживают.

Выбирая ноутбук для локальных нейросетей в 2026 году, в первую очередь смотрите на память и видеокарту. NPU пригодится для фоновых ИИ-функций Windows и macOS, но для запуска LLM через Ollama и LM Studio он пока не используется. Если нужен именно NPU для моделей, готовьтесь осваивать Foundry Local, OpenVINO или Lemonade и мириться с ограниченным списком моделей.

Короткая шпаргалка по выбору:

NPU в ноутбуке — полезный блок для конкретных задач. Он не заменяет видеокарту и не ускоряет Ollama. Но если вы покупаете ноутбук в 2026 году, нейропроцессор, скорее всего, уже будет внутри. Вопрос лишь в том, найдётся ли для него работа.

Советуем дополнительно почитать

Топ-5 видеокарт для нейросетей в 2026 году — от RTX 5090 до H100: память, ядра и энергопотребление карт под ИИ-задачи.

Qwen3.8 27B сжали до 5,9 ГБ — модель с контекстом 262K запускается на обычном ПК — как сжатие модели меняет требования к памяти из таблицы в статье.

11 топовых китайских нейросетей: дешевле ChatGPT и Claude в 20 раз — открытые модели, которые чаще всего и запускают локально.

Zoo Code: установка, настройка моделей и MCP — как подключить локальную модель через Ollama к агенту для кода в редакторе.

20 AI GitHub-репозиториев для разработчика в 2026 году — Ollama, llama.cpp, Open WebUI, Whisper и ComfyUI с командами установки, разложенные по слоям стека.