NVLink и видеокарты с увеличенной памятью: как объединить память нескольких карт под большие LLM

NVLink — высокоскоростной канал связи между двумя видеокартами. Он передаёт данные быстрее обычного PCIe, но сам по себе не превращает две карты по 24 ГБ в одну карту на 48 ГБ для любой программы. В линейке карт с увеличенной памятью аппаратный разъём NVLink есть только у RTX 2080 Ti и RTX 3090: у RTX 3080, RTX 4080, RTX 4090 и RTX 5090 его нет.

Что NVLink делает на самом деле

NVLink — физический разъём и протокол для прямого обмена данными между GPU в обход процессора и оперативной памяти. Пара RTX 2080 Ti с фирменным мостом обменивается данными примерно на 100 ГБ/с, тогда как обмен через PCIe 3.0 x16 заметно медленнее.

Наличие NVLink не объединяет память автоматически. Чтобы две карты действительно работали как единый пул, программа должна явно поддерживать распределённые вычисления на нескольких GPU и работу с NVLink через CUDA. Для нейросетей это зависит от конкретного фреймворка инференса или обучения.

У каких карт в линейке есть NVLink, а у каких нет

NVIDIA убрала разъём NVLink у потребительских карт начиная с Ada Lovelace. У RTX 4090, RTX 4090D и RTX 5090 его нет независимо от объёма памяти и статуса перепайки. У RTX 3090 24 ГБ — заводской объём, а не доработка: подробнее в статье «RTX 3090 24GB: почему эта карта остаётся топ-выбором».

Что NVLink реально даёт для локальных LLM

Для инференса готовой модели разница между NVLink и PCIe часто небольшая: llama.cpp, vLLM и exllamav2 распределяют слои и передают между картами относительно немного данных на каждом шаге. NVLink заметнее при дообучении с тензорным параллелизмом, когда GPU интенсивно обмениваются промежуточными результатами на каждой итерации.

Как объединяют карты без NVLink

Отсутствие NVLink не означает, что многокарточная сборка невозможна. Модель распределяют между несколькими GPU по PCIe: каждая карта считает свою часть, а между ними передаются активации на границах слоёв. Объём VRAM для таких конфигураций разобран в статье «Видеокарты с увеличенной памятью для локальных нейросетей».

Настоящий NVLink для датацентрового класса: Tesla V100 SXM2

Если задача действительно требует объединения карт через NVLink на уровне, для которого технология создавалась, стоит смотреть на серверные ускорители SXM2, а не потребительские GeForce. В каталоге NVLink и периферии для Tesla V100 SXM2 собраны NVLink-комплекты, PCIe-адаптеры, платы и переходники для этой платформы. Там же можно подобрать комплект под две или четыре карты.

Готовые серверы на Tesla V100 с несколькими GPU и NVLink доступны в разделе готовых сборок серверов для AI. Мост для пары RTX 2080 Ti или RTX 3090 подбирается индивидуально: должны совпасть тип разъёма и расстояние между слотами.

Физическая совместимость моста: слоты между картами

Даже если у обеих карт есть NVLink, мост выбирают не «любой», а под конкретный зазор. Мосты рассчитаны на фиксированное расстояние — обычно два, три или четыре слота. У трёхслотовых карт зазор часто не совпадает с короткими мостами для игровых сборок, поэтому его нужно замерить до покупки.

Как проверить, что NVLink реально используется

После установки проверьте наличие моста через nvidia-smi и диагностические утилиты CUDA. Но главный тест — практический: фреймворк должен видеть обе карты, правильно распределять модель и показывать ожидаемую загрузку GPU. Сам факт установленного моста не гарантирует ускорение для конкретной программы.

Итог

NVLink полезен там, где программный стек умеет им пользоваться и обмен между GPU действительно становится узким местом. Для большинства локальных LLM несколько карт по PCIe уже работают хорошо; для специализированных серверных задач разумнее сразу выбирать SXM2-платформу и совместимую периферию.