Tesla V100 vs A100 vs RTX 4090: что выбрать для инференса

Для инференса нейросетей на первом месте не количество ядер и не голые TFLOPS, а пропускная способность видеопамяти: генерация токенов происходит последовательно и упирается именно в скорость чтения весов модели из VRAM. По этому параметру NVIDIA A100 обходит и Tesla V100, и RTX 4090, но для локального инференса некрупных моделей разница на практике часто нивелируется. Дальше разберём, где каждая карта показывает себя лучше всего.

Характеристики трёх карт в сравнении

Tesla V100: точка входа в серверные GPU

Volta вышла в 2017 году, поэтому Tesla V100 уже не самая новая архитектура, но это по-прежнему полноценная серверная карта с ECC-памятью и поддержкой NVLink на версии SXM2. Для инференса 7B-13B моделей в FP16 или INT8 её ресурса хватает с запасом, а версия на 32 ГБ позволяет комфортно работать и с более крупными моделями в квантизации.

Главное ограничение V100 не в производительности, а в поддержке новых форматов: тензорные ядра первого поколения умеют только FP16, без BF16 и без нативного INT8/INT4 на уровне железа, которые есть у более новых архитектур. Для большинства инференс-движков это не критично, но при работе с самыми свежими библиотеками стоит заранее проверить совместимость.

Если нужно объединить несколько карт SXM2 в одну систему с общей памятью, для этого существует отдельный NVLink-мост.

NVIDIA A100: когда стоит переплатить

A100 оправдывает разницу в цене там, где важна пропускная способность и объём памяти: инференс моделей от 70B параметров на одной карте, обслуживание множества параллельных запросов в продакшене, где важна суммарная скорость обработки, а не только время ответа одному пользователю.

Версия на 80 ГБ закрывает большинство современных LLM без разбиения по нескольким картам, а более высокая пропускная способность памяти напрямую превращается в больше токенов в секунду при batched-инференсе, когда сервер одновременно обрабатывает запросы нескольких пользователей. Для одиночного пользователя с редкими запросами эта разница ощущается заметно меньше, поскольку генерация токенов и так упирается в последовательную природу декодирования, а не в объём параллельных вычислительных ресурсов.

RTX 4090: игровая карта на серверной задаче

RTX 4090 не создавалась для дата-центров, но по чистой вычислительной мощности на инференсе она сопоставима с картами куда более высокого класса, а версия на 48 ГБ, которая есть в каталоге G.Race, снимает главное ограничение стоковой карты, объём видеопамяти в 24 ГБ.

Три момента, которые стоит учитывать при выборе RTX 4090 для сервера:

• NVLink не поддерживается вообще, объединить несколько карт в общий пул памяти не получится, каждая карта работает независимо;

• нет ECC-памяти, для большинства задач инференса это не критично, но при длительных нагрузках стоит закладывать более внимательный мониторинг стабильности;

• драйверы для GeForce обновляются в первую очередь под игровые сценарии, для продакшен-нагрузки это менее предсказуемо, чем выделенная линейка драйверов для Tesla и A100.

Для инференса моделей, которые помещаются в 24 или 48 ГБ VRAM без разбиения на несколько карт, RTX 4090 обычно даёт лучшее соотношение производительности к цене среди всех трёх вариантов.

Что выбрать под конкретную задачу

Что в итоге выбрать

Короткая логика выбора такая: считаете, сколько VRAM нужно под вашу модель и формат данных, смотрите, работает ли сервер с одним пользователем или обслуживает параллельные запросы, и после этого выбираете карту. Tesla V100 закрывает вход в серверные GPU при ограниченном бюджете, RTX 4090 даёт максимум производительности на рубль для моделей, которые помещаются в её память, а A100 оправдан там, где нужен запас VRAM под крупные модели или высокая параллельная нагрузка. Смешивать все три сценария не нужно: правильный выбор всегда завязан на конкретную модель и на то, сколько пользователей будет обращаться к серверу одновременно.

Подбор от G.Race

Если сравнивать характеристики и считать VRAM под конкретную модель самостоятельно нет времени или желания, этим занимаемся мы, компания G.Race: подбираем конфигурацию под задачу и бюджет, комплектуем железом, новым или б/у, видеокарты и комплектующие поставляются напрямую из Китая, тестируем перед отправкой и присылаем готовый к работе сервер. Доставка в РФ занимает 21-28 дней, гарантия предоставляется на любое оборудование независимо от статуса, сделка оформляется официально: договор, счёт, акт или накладная. Мы работаем и с физлицами, и с юрлицами, оборудование можно посмотреть вживую в шоуруме, а цены на 20-45% ниже среднерыночных по РФ за счёт прямых поставок.

Все три карты, Tesla V100, A100 и RTX 4090, есть в каталоге видеокарт, новые и б/у, статус указан в карточке товара. Если нужен не отдельный GPU, а готовый сервер под задачу, посмотрите готовые сборки на Tesla V100 с NVLink в разделе готовых серверов для ИИ.