Какая видеокарта нужна для локального ИИ в 2026: от RTX 3060 до 5090

Сколько видеопамяти нужно моделям от 8B до 70B

Какая видеокарта нужна для локального ИИ в 2026: от RTX 3060 до 5090

Языковые модели работают медленно, когда им не хватает видеопамяти, и обновление железа выглядит логичным решением. Проблема в том, что видеокарты для локальных нейросетей в 2026 году стоят дороже, чем когда-либо. RTX 5090 с рекомендованной ценой 1999 $ в розничных магазинах США стоит от 3300 $, а в пиковые месяцы её продавали и за 5000 $. Выбирать приходится без права на ошибку — рассказываем, сколько видеопамяти нужно для запуска локальной нейросети и на какие карточки RTX обратить внимание.

ВАМ ПРИШЛО ПРИГЛАШЕНИЕ 💌
Приходите к нам в соцсети поделиться своим мнением и почитать, что пишут другие. А ещё там выходит дополнительный контент, которого нет на сайте — шпаргалки, опросы и разная дурка. В общем, вот тележка, вот ВК — велком!

Сколько VRAM нужно для локальной нейросети?

Нейросеть хранит знания в весах — миллиардах чисел, подобранных при обучении. Быстрее всего модель работает, когда все веса помещаются в видеопамять. Если не помещаются, часть слоёв приходится держать в оперативной памяти, и скорость генерации падает в разы.

Размер модели записывают числом с буквой B. Например, 8B означает 8 миллиардов параметров. В исходном виде такая модель занимает около 16 ГБ. За счёт квантования объём сильно сокращается. Самый распространённый вариант называется Q4 и хранит каждое число в 4 битах, так что модель 8B занимает около 5-6 ГБ. Кроме весов, память расходует контекст. Чем длиннее диалог, тем больше ресурсов расходует нейросеть.

VRAMТекст и кодКартинкиВидео
8 ГБ7-8B (Q4)SDXLWan 1.3B
12 ГБ14B (Q4)Flux (Q4)Wan 2.2 5B
16 ГБ14-16B (Q5)Flux (FP8)Wan 14B (Q4)
24 ГБ32B (Q4)Flux (FP8)Wan 14B (FP8)
32 ГБ32B (Q6)Flux (FP16)Wan 14B (FP8)
48 ГБ+70B (Q4)Flux (FP16)Wan 14B (FP8)

Примерно 20% видеопамяти уходит на хранение контекста, промежуточные расчёты и нужды системы, поэтому выбирать видеокарту нужно с запасом по мощности.

Как квантование снижает требования к видеокарте?

В исходном виде каждое число занимает 16 бит. Квантование записывает те же числа в 8, 6, 5 или 4 битах. Числа при этом округляются, как если бы 3,14159 превратилось в 3,14. Уровень сжатия обозначают буквой Q и числом бит. Например, Q8 уменьшает размер примерно в 2 раза и по качеству почти не отличается от оригинала. Q4 сжимает примерно в 3–4 раза — это популярный выбор для домашнего запуска. Он сильно экономит память, и в обычных задачах качество остаётся близким к оригиналу.

Размер файла — это не вся память, которая понадобится. Ещё 1-3 ГБ уходит на контекст и служебные данные. Чем длиннее диалог, тем больше места он занимает. Поэтому модель в Q4 на 4 ГБ не запустится на видеокарте с 4 ГБ.

Агрессивное квантование модели негативно влияет на код и математику. Если ставите локальную сеть для разработки, берите Q5, Q6, Q8. В бытовом чате, где нужно пересказать текст или подсказать идею, разница между уровнями почти незаметна, хватит Q4.

Что дают карты от RTX 3060 до RTX 5090?

Локально запустить нейросеть проще на чипах NVIDIA. Ollama, LM Studio и ComfyUI работают через CUDA, поэтому на RTX всё запускается сразу после установки драйвера. Ollama поддерживает и видеокарты AMD через ROCm, но список поддерживаемых карт короче, а настройка под Windows сложнее. Модели при этом те же самые. К тому же большинство инструкций и готовых сборок написано под CUDA, так что с AMD настройка займёт больше времени.

RTX 3060 на 12 ГБ

У RTX 3060 12 ГБ памяти GDDR6 и пропускная способность 360 ГБ/с. На ней с запасом под длинный диалог 7B и 8B со скоростью около 50 токенов в секунду. Модели 14B в Q4 занимают около 9 ГБ и тоже помещаются целиком. Урезанная RTX 3060 на 8 ГБ для нейросетей не подходит, ищите версию на 12 ГБ.

RTX 4060 Ti на 16 ГБ

RTX 4060 Ti получила 16 ГБ GDDR6. Память подключена через узкую шину в 128 бит, из-за этого пропускная способность составляет 288 ГБ/с — это меньше, чем у RTX 3060. Зато на карту помещаются модели 14B с длинным контекстом. Gpt-oss 20B занимает около 13 ГБ и выдаёт около 63 токенов в секунду. С картинками дела хуже: в тестах одно изображение в Flux Dev генерировалась 92 секунды, тогда как RTX 4090 справлялась за 18 секунд.

RTX 4090 на 24 ГБ

До выхода RTX 5090 карта RTX 4090 считалась лучшим вариантом для домашнего ИИ. У неё 24 ГБ GDDR6X и 1008 ГБ/с. Память работает в 3,5 раза быстрее, чем у RTX 4060 Ti. На ней можно запускать модели 32B в Q4. Flux тоже работает, но в формате FP8: без сжатия модели не хватает 24 ГБ. А вот 70B уже не помещаются, плюс 32B с очень длинным контекстом упирается в 24 ГБ.

RTX 5060 Ti на 16 ГБ

RTX 5060 Ti тоже работает с шиной в 128 бит, но на ней стоит более быстрая память GDDR7. Отсюда пропускная способность 448 ГБ/с, примерно в 1,5 раза выше, чем у RTX 4060 Ti. Модели на ней работают те же, что и на RTX 4060 Ti — 14B с запасом, gpt-oss 20B даже с длинным контекстом, 24B — с коротким, по замерам около 51 токена в секунду против 34 токенов. Модели 32B не помещаются.

RTX 5070 Ti и RTX 5080 на 16 ГБ

У обеих карт 16 ГБ GDDR7 на шине 256 бит. Пропускная способность составляет 896 ГБ/с у RTX 5070 Ti и 960 ГБ/с у RTX 5080 (разница 7%). Примерно настолько же отличается скорость ответа языковых моделей. С таким железом можно попробовать 24B в Q4, если устраивает короткий контекст. У RTX 5080 больше вычислительных блоков (10 752 ядра CUDA против 8 960), и это заметно при генерации картинок. По сравнению с RTX 5060 Ti обе карты отвечают вдвое быстрее.

RTX 5090 на 32 ГБ

У RTX 5090 32 ГБ GDDR7 на шине 512 бит и пропускная способность 1792 ГБ/с. Модель 32B в Q4 занимает около 20 ГБ, так что остаётся 12 ГБ под контекст длиной в десятки тысяч токенов. Ни одна другая домашняя карта такого не позволяет. На ней же запустятся модели поменьше в более точном квантовании Q8 или генерировать картинки и видео без сжатия. Модель 70B в Q4 весит 40 ГБ, для таких нейросетей будет недостаточно даже RTX 5090.

Сводная таблица

КартаVRAMПропускная способностьМакс. модель в Q4Скорость на 8BКартинкиВидео
RTX 306012 ГБ GDDR6360 ГБ/с14B~50 ток/сSDXL, Flux (Q4)Короткие клипы (Wan 2.2 5B)
RTX 4060 Ti16 ГБ GDDR6288 ГБ/с24B, короткий контекст~40 ток/сSDXL, FluxТолько короткие клипы в сжатом виде
RTX 5060 Ti16 ГБ GDDR7448 ГБ/с24B, короткий контекст~60 ток/сSDXL, FluxТолько короткие клипы в сжатом виде
RTX 5070 Ti16 ГБ GDDR7896 ГБ/с24B, короткий контекст~115 ток/сSDXL, Flux, быстроТолько короткие клипы в сжатом виде
RTX 508016 ГБ GDDR7960 ГБ/с24B, короткий контекст~125 ток/сSDXL, Flux, очень быстроТолько короткие клипы в сжатом виде
RTX 409024 ГБ GDDR6X1008 ГБ/с32B, короткий контекст~125 ток/сSDXL, Flux (FP8)Короткие клипы
RTX 509032 ГБ GDDR71792 ГБ/с32B, длинный контекст~200 ток/сSDXL, Flux без сжатия, очень быстроДа, полноценно

Почему одна видеокарта лучше двух

Когда модели не хватает памяти, первым делом хочется докупить вторую карту и сложить объёмы. На практике две видеокарты для нейросетей дают меньше, чем хотелось бы.

Начнём с материнской платы. Видеокарта связана с процессором через разъём PCIe, и скорость этой связи зависит от числа линий передачи данных: x16 означает полную скорость, x8 вдвое меньшую. На большинстве потребительских плат все шестнадцать линий получает только верхний слот, второй же работает в режиме x4 или x8. Пока модель целиком помещается в одну карту, разницы не видно. Когда модель поделена между картами, они на каждом шаге обмениваются промежуточными результатами. Данных немного, но узкий канал добавляет задержку и заметно замедляет загрузку модели. Вторая карта к тому же примерно удваивает энергопотребление и нагрев. Понадобится блок питания с запасом мощности, просторный корпус с хорошей вентиляцией.

Есть и сложности с настройкой. Ollama делит модель между картами автоматически, а в llama.cpp распределение слоёв можно подобрать вручную, чтобы выжать больше скорости. На каждом шаге генерации карты передают друг другу промежуточные результаты, и эти накладные расходы отнимают часть скорости.

Пара слов про деньги. При равном бюджете одна карта с большим объёмом памяти почти всегда работает быстрее двух дешёвых. Скажем, пара RTX 3060 по 12 ГБ в сумме даёт 24 ГБ, но подержанная RTX 3090 с тем же объёмом окажется заметно быстрее.

Есть исключение: сервер, к которому обращаются сразу несколько пользователей. В такой схеме каждая карта держит свою копию модели и обрабатывает отдельные запросы, поэтому обмена данными между картами нет и вторая карта действительно добавляет производительности. Одному человеку, который общается с чат-ботом, такая конфигурация ничего не даст.

Полезный блок со скидкой

Видеокарта выбрана. Осталось решить, что на ней будет крутиться, кроме чат-бота.

Если хочется строить на языковых моделях собственные сервисы с RAG и агентами, посмотрите курс «ИИ-инженер». Если тянет к картинкам и видео, подойдёт «Компьютерное зрение — CV». А если Python пока не родной, начните с бесплатного курса «Основы Python-разработки».

По промокоду: KOD (можно просто нажать) — вы получите скидку на все курсы Практикума.

Что произошло с ценами на видеокарты в 2026 году?

Дефицит видеокарт возник из-за памяти. Samsung, SK Hynix и Micron загружены заказами на чипы для дата-центров, где обучают и запускают нейросети, поэтому производителям не хватает GDDR7. Так называется быстрая видеопамять, которую ставят на карты серии RTX 50. Вдобавок, по данным инсайдеров, NVIDIA сократила отгрузки графических процессоров партнёрам примерно на 15–20%. Официально компания это не подтверждала. Карт в продаже стало меньше, и магазины подняли цены. Скорого снижения никто не обещает: по тем же данным, новых игровых карт NVIDIA до 2027 года не выпустит. Заметных новинок для домашних ПК ждут не раньше 2027 года.

На вторичном рынке, где продают подержанные карты, модели с большим объёмом видеопамяти перепродают с наценкой 30-50%. Впрочем, искать карту там всё равно имеет смысл. Локальной нейросети объём памяти важнее нового поколения, так что RTX 3060 на 12 ГБ с рук обходится выгоднее новой карты на 8 ГБ, потому что в 12 ГБ модель покрупнее помещается целиком.

Какую видеокарту брать под конкретную задачу?

ЗадачаМинимум видеопамятиКартыЧто перестанет работать при экономии
Чат и ассистент для личных задач12 ГБRTX 3060,
RTX 5060 Ti
Модели 14В частично уйдут в оперативную память, и ответы замедлятся
Генерация и разбор кода16 ГБRTX 5060 Ti,
RTX 5070 Ti
На 12 ГБ потолком станут модели на 14В параметров, модели на 24В не поместятся
Генерация изображений16 ГБRTX 5060 Ti,
RTX 5070 Ti,
RTX 4090
На 12 ГБ Flux пойдёт только в сжатом виде (Q4), без сжатия он требует 32 ГБ
Дообучение и LoRA24 ГБRTX 4090,
RTX 5090
На 16 ГБ донастроить получится только небольшие модели
Модель на несколько пользователей32 ГБRTX 5090Каждый пользователь занимает память под свой диалог, и на 24 ГБ модель на 32В параметров обслужит меньше людей

Апгрейд на поколение вперёд без прибавки памяти окупается редко. Допустим, вы меняете RTX 4060 Ti на RTX 5060 Ti. Ответы ускорятся примерно с 40 до 60 токенов в секунду, но набор моделей, которые помещаются на карту, останется тем же. Если нужен запас на пару лет, деньги можно вложить в следующую ступень по объёму, например в RTX 4090 на 24 ГБ или в RTX 5090 на 32 ГБ.

Частые вопросы про видеокарты для локальных нейросетей

Хватит ли 8 ГБ видеопамяти для локальной нейросети?

8 ГБ хватит на сжатые модели размером до 8 млрд параметров, например Llama 3.1 8B или Qwen3 8B.

Что лучше для ИИ — новая карта на 8 ГБ или старая на 12 ГБ?

Почти всегда лучше старая карта на 12 ГБ. От объёма памяти зависит, какая модель вообще запустится. Быстрый чип новой карты мало помогает, если модель не поместилась в память целиком.

Можно ли обойтись без видеокарты и считать на процессоре?

Обойтись без видеокарты можно, потому что Ollama сама переключается на процессор, если видеокарты нет. Модель на 8B выдаёт на современном процессоре 5-10 токенов в секунду.

Подходят ли видеокарты AMD для локальных нейросетей?

Большая часть программ для ИИ изначально пишется под CUDA Nvidia, инструкций под неё в разы больше. AMD имеет смысл, если нужно много памяти за меньшие деньги, как у RX 7900 XTX на 24 ГБ.

Сколько нужно оперативной памяти помимо видеопамяти?

Оперативной памяти лучше брать не меньше, чем видеопамяти. Модель сначала загружается в оперативную память и только потом переходит на видеокарту. С картой на 12 ГБ хватит 32 ГБ, а к RTX 5090 на 32 ГБ можно поставить 64 ГБ. Запас пригодится, когда модель не помещается в видеопамять.

Когда выбираете видеокарты для локальных нейросетей, решение зависит от двух факторов: сколько видеопамяти стоит на плате и какую модель вы держите запущенной каждый день. Скорость чипа и новое поколение значат меньше, если модель целиком не помещается в память.

Перед покупкой сделайте простой расчёт. Найдите размер модели, которой уже пользуетесь в облаке, в той версии квантования, которая вам подходит. Прибавьте к этой цифре пятую часть на контекст. Получившееся число и будет минимальным объёмом видеопамяти, с него и начинайте подбор карты.

Советуем дополнительно почитать

11 топовых китайских нейросетей: дешевле ChatGPT и Claude в 20 раз — открытые модели, которые чаще всего и запускают на домашних видеокартах.

20 AI GitHub-репозиториев для разработчика — Ollama, llama.cpp, Open WebUI, Whisper и ComfyUI с командами установки.

Zoo Code: установка, настройка моделей и MCP — как подключить локальную модель через Ollama к агенту для кода в редакторе.

Как за 10 минут запустить нейронки локально на компьютере Apple — альтернатива видеокарте: Mac с общей памятью и Ollama.

Выбираем компьютер для программиста — процессор, оперативка, SSD и видеокарта под разные задачи и бюджеты.

Бонус для читателей

Подобрать видеокарту — это одно. Научиться выжимать из неё максимум — подобрать квантование, развернуть модель, собрать на ней свой сервис — совсем другое, и тут никакая таблица с гигабайтами не поможет без практики.

У Практикума есть платные курсы по Python, аналитике и ИИ-разработке. Промокод KOD даст скидку при покупке — можно нажать на него и посмотреть, что там сейчас есть под вашу задачу.

Если пока не готовы платить (видеокарта и так съела бюджет), у Практикума есть бесплатные вводные курсы по всем направлениям. Начать можно в любой момент, карту привязывать не нужно.

Вам может быть интересно
easy
[anycomment]
Exit mobile version