Видеокарты с увеличенной памятью для локальных нейросетей: полный гид по выбору

Для локальных нейросетей объём видеопамяти определяет, какого размера модель вы вообще сможете запустить, а не только насколько быстро она будет работать. RTX 2080 Ti 22 ГБ, RTX 3080 20 ГБ, RTX 4080 32 ГБ и RTX 4090 48 ГБ закрывают диапазон от небольших моделей в квантизации до крупных 70B — каждая в своём сегменте.

Сколько VRAM нужно под размер модели

Память требуется не только для весов модели: нужен запас под контекст, KV-кэш, интерфейс и служебные операции. Поэтому таблица ниже — ориентир, а не причина выбирать карту впритык.

Какая карта закрывает какую задачу

Простой выбор: если вы запускаете 7B–13B, достаточно 20–24 ГБ. Для 34B нужен запас от 32 ГБ. Для 70B в INT4 комфортнее всего 48 ГБ либо несколько карт.

Скорость: память — не единственный параметр

Две карты с одинаковым объёмом VRAM могут генерировать текст с разной скоростью. На неё влияют архитектура GPU, пропускная способность памяти, вычислительные блоки и конкретный движок. Большой VRAM открывает модель, но не отменяет важность скорости её работы.

Инференс и обучение — разные требования

Для инференса обычно достаточно памяти под веса модели и контекст. Для обучения и LoRA/QLoRA требуются дополнительные тензоры, градиенты и состояния оптимизатора, поэтому одна и та же модель может поместиться для запуска, но не поместиться для дообучения.

Одна карта или несколько GPU

Если модель не помещается на одной карте, её можно распределить между несколькими GPU по PCIe. NVLink ускоряет обмен в части сценариев, но не обязателен для большинства локальных LLM. Практические ограничения и совместимость мостов подробно разобраны в статье «NVLink и видеокарты с увеличенной памятью».

Почему RTX 3090 остаётся отдельным вариантом

RTX 3090 имеет заводские 24 ГБ и аппаратный NVLink. Это не перепайка, а зрелый вариант для тех, кому нужен предсказуемый объём памяти и возможность собрать пару карт. Подробнее — в статье «RTX 3090 24GB для локальных нейросетей».

Новое или б/у оборудование

Для локального инференса подходят и новые, и проверенные б/у карты. В обоих случаях важнее тестирование под полной нагрузкой, состояние системы охлаждения и честно указанный объём памяти.

Итог: что брать под свою задачу

Начинайте не с самой дорогой карты, а с модели, которую нужно запускать, требуемой длины контекста и сценария — инференс либо обучение. Фильтр увеличенной памяти в каталоге помогает быстро оставить только подходящие варианты.

Подбор видеокарты от G.Race

Подберём одну карту или готовую многокарточную конфигурацию под конкретную модель, проверим питание и охлаждение. Готовые решения доступны в разделе серверов для AI.