GPU для ЦОД

NVIDIA B200 и DGX B200: почему в сервере 8 GPU

B200 — ускоритель NVIDIA поколения Blackwell для обучения и инференса крупнейших моделей. Его почти не продают поштучно: B200 ставят в виде модулей на плату HGX по восемь штук, связанных NVLink Switch. Из такой платы собраны NVIDIA DGX B200 и серверы партнёров.

180 ГБHBM3e на один B200

8 GPUна плате HGX

1 440 ГБпамяти GPU в DGX B200

1,8 ТБ/сNVLink 5 на GPU

Содержание

Почему именно 8 GPU
Характеристики DGX B200
B200, B300, H200 и GB200 — как не запутаться
Что нужно для установки
HGX-серверы партнёров

Почему именно 8 GPU

Стандартная плата HGX несёт восемь модулей SXM. Их соединяют микросхемы NVLink Switch по схеме «каждый с каждым»: любая пара GPU обменивается данными на полной скорости NVLink — у B200 это 1,8 ТБ/с на GPU и 14,4 ТБ/с суммарно. Благодаря этому восемь ускорителей работают как один большой: модель делится между ними почти без потерь на связи.

Если нужно больше восьми GPU, узлы HGX объединяют сетью InfiniBand или Ethernet 400/800G. Следующий шаг — стойка GB200 NVL72: 72 GPU Blackwell и 36 процессоров Grace в одном NVLink-домене с жидкостным охлаждением.

Характеристики DGX B200

Параметр	DGX B200
GPU	8× NVIDIA B200, всего 1 440 ГБ памяти
Связь GPU	2× NVLink Switch 5-го поколения, 14,4 ТБ/с суммарно
Процессоры	2× Intel Xeon Platinum 8570, 112 ядер
Оперативная память	2 ТБ, расширяется до 4 ТБ
Сеть	8× ConnectX-7 до 400 Гбит/с через 4× OSFP, 2× BlueField-3 DPU
Накопители	ОС: 2× 1,9 ТБ NVMe M.2; данные: 8× 3,84 ТБ NVMe U.2
Питание	около 14,3 кВт максимум, 6× блоков по 3,3 кВт
Высота	10U

B200, B300, H200 и GB200 — как не запутаться

Платформа	Память на GPU	Узел / стойка
HGX / DGX H200	141 ГБ HBM3e	8 GPU, 1 128 ГБ в DGX H200
HGX / DGX B200	180 ГБ HBM3e	8 GPU, 1 440 ГБ
HGX / DGX B300 (Blackwell Ultra)	288 ГБ HBM3e	8 GPU, около 2,1 ТБ по странице DGX B300
GB200 NVL72	суперчип GB200: 2 GPU + Grace, 372 ГБ HBM3e на два GPU	стойка: 72 GPU + 36 Grace, 13,4 ТБ HBM3e

Что нужно для установки

Питание порядка 14 кВт на узел DGX B200 и соответствующие PDU и ИБП.
Охлаждение стойки под такую плотность; для GB200 NVL72 — жидкостное.
Сеть 400G на каждый GPU для многоузлового обучения (InfiniBand NDR или Ethernet с RoCE).
Быстрое хранилище NVMe для датасетов и чекпойнтов.

HGX-серверы партнёров

Та же плата HGX B200 ставится в серверы Supermicro, Dell, HPE, Lenovo, ASUS, Gigabyte: можно выбрать процессоры, накопители, сеть и тип охлаждения под свою инфраструктуру. Потребляемая мощность одного B200 в таких серверах, по данным Lenovo и Supermicro, — 1 000 Вт.