GPU для ЦОД

NVIDIA H200 против H100: в чём разница и что выбрать

H200 — ускоритель NVIDIA на архитектуре Hopper, как и H100. Вычислительная часть у них одного поколения, главное отличие — память: 141 ГБ HBM3e вместо 80 ГБ и заметно более быстрая шина памяти. Для больших языковых моделей это означает больше модели в одном GPU и быстрее генерацию.

141 ГБHBM3e у H200

80 ГБHBM3 у H100

4,8 ТБ/спропускная способность памяти H200

до 1,9×быстрее инференс Llama 2 70B*

Содержание

Сравнение характеристик
Почему память важнее ядер для LLM
SXM или NVL (PCIe)
Что выбрать

Сравнение характеристик

Параметр	H100	H200
Архитектура	Hopper	Hopper
Память	80 ГБ HBM3	141 ГБ HBM3e
Пропускная способность памяти	3,35 ТБ/с	4,8 ТБ/с
NVLink (SXM)	900 ГБ/с	900 ГБ/с
Мощность (SXM)	до 700 Вт	до 700 Вт
PCIe-вариант	H100 NVL: 94 ГБ, мост NVLink 600 ГБ/с, 350–400 Вт	H200 NVL: 141 ГБ, мост NVLink на 2 или 4 карты, до 600 Вт

* по данным NVIDIA: H200 быстрее H100 в 1,9 раза на инференсе Llama 2 70B и в 1,6 раза на GPT-3 175B.

Почему память важнее ядер для LLM

При генерации текста ускоритель постоянно читает веса модели из памяти, поэтому скорость упирается в объём и пропускную способность памяти, а не в число вычислительных ядер. У H200 памяти почти вдвое больше и шина в 1,4 раза быстрее, чем у H100: модель на 70 млрд параметров в 8 битах помещается в одну карту с запасом под KV-кэш, а на восьми картах HGX H200 умещается 1,1 ТБ — модели в сотни миллиардов параметров.

Сколько видеопамяти нужно под модель

Грубая оценка: веса = параметры × байты на параметр, плюс запас на KV-кэш и активации. Точный расчёт зависит от длины контекста, числа одновременных пользователей и движка (vLLM, TensorRT-LLM, llama.cpp).

Параметров, млрдТочностьЗапас на KV-кэш

SXM или NVL (PCIe)

SXM — модули на плате HGX на 8 GPU с полной связностью NVLink: для обучения и больших моделей. NVL — PCIe-карты для обычных серверов, объединяются мостами NVLink по 2–4 штуки: для инференса и дообучения в стандартной стойке без HGX-платформы.

Что выбрать

H200 — новые проекты с LLM от 70 млрд параметров, длинный контекст, много пользователей.
H100 — если модель помещается в 80 ГБ и важен бюджет; проверенные б/у H100 заметно дешевле.
B200 — следующее поколение Blackwell для обучения и крупнейших моделей — см. разбор B200.

H200 и H100 в каталоге

Читайте дальше

B200 и DGX B200: почему 8 GPUПлата HGX, NVLink Switch и 1 440 ГБ памяти в одном узле.RTX PRO 6000 Blackwell96 ГБ GDDR7 в рабочей станции и сервере: три исполнения.Какой сервер нужен под LLMСчитаем видеопамяти под модель и пользователей.GPU-сервер дешевлеГде экономить без потери результата: б/у, квантизация, аренда против покупки.

Купить NVIDIA H200 Купить NVIDIA H100 GPU-серверы

Вопросы и ответы

Вопросы по теме

Сколько памяти у H200?

141 ГБ HBM3e с пропускной способностью 4,8 ТБ/с.

Какая память у H100?

80 ГБ HBM3 у варианта SXM; у PCIe-версии H100 NVL — 94 ГБ.

Можно ли поставить H200 в обычный сервер?

Да, вариант H200 NVL — PCIe-карта; SXM-модули ставятся только в HGX-платформы.

Стоит ли менять H100 на H200?

Если модели упираются в 80 ГБ или нужен длинный контекст — да; если нет, H100 остаётся хорошим выбором.

Источники: nvidia.com · nvidia.com · resources.nvidia.com