H200 NVL: 141 ГБ HBM3e под LLM на 70B+ параметров на одной карте
PNY NVIDIA H200 NVL — вычислительный ускоритель на архитектуре Hopper с 141 ГБ памяти HBM3e и пропускной способностью 4,8 ТБ/с. Такого объёма достаточно, чтобы держать крупную языковую модель целиком в памяти одной карты без шардинга: инференс и дообучение LLM на 70B+ параметров идут без выгрузки весов в системную RAM.
14 592 ядра CUDA и 456 тензорных ядер 4-го поколения с Transformer Engine и поддержкой FP8 выдают до 3 341 TFLOPS в FP8 (со sparsity) и 1 671 TFLOPS в BFLOAT16/FP16. Для масштабирования предусмотрен мост NVLink на 2 или 4 карты с пропускной способностью 900 ГБ/с на GPU. Это убирает узкое место межкарточного обмена в кластерах генеративного ИИ и HPC.
- Память: 141 ГБ HBM3e, шина 6016-bit, 4,8 ТБ/с, ECC
- Интерфейс: PCIe 5.0 x16, NVLink 900 ГБ/с (2/4-way)
- Форм-фактор: dual-slot FHFL ~267 мм, пассивное охлаждение для серверного корпуса
- Питание: конфигурируемый TGP до 600 Вт
- MIG: до 7 изолированных инстансов по ~16,5 ГБ
- В комплекте: 5-летняя подписка NVIDIA AI Enterprise
Карта рассчитана на NVIDIA-Certified серверы до 8 GPU, поддерживает Confidential Computing, имеет 7 декодеров NVDEC и 7 JPEG-движков. Это розничная поставка в фирменной упаковке PNY с полной гарантией от официального дистрибьютора. Расчёт multi-GPU конфигурации под вашу модель — по номеру 093 594 00 77.
Частые вопросы
Какой блок питания нужен под эту карту?
Дополнительное питание 1x16-pin. Если в системе будет две такие карты, считайте питание с запасом и проверяйте, выдержит ли линия.
Какую модель можно запустить на 141 ГБ памяти?
Ориентировочно 70B в 8-битной точности или 120B в 4-битной, с длинным контекстом. Точная цифра зависит от длины контекста: чем длиннее диалог, тем больше съедает кеш. Память карты 141 ГБ HBM3e.
Какой графический чип стоит на карте?
NVIDIA H200. Именно поколение чипа определяет, какие форматы вычислений поддерживаются аппаратно, а это влияет на скорость инференса сильнее, чем голый объём памяти.
Какая гарантия и что в комплекте?
Гарантия 36 мес. Поставляется в заводской упаковке производителя. Состав комплекта уточняйте перед заказом.
Не уверены, что карта подойдёт к вашей системе?
Проверим совместимость с платформой, посчитаем питание под конфигурацию и подскажем, хватит ли памяти под ваши модели.
Нужной модели нет в наличии? ETE есть в официальном перечне партнёров PNY, поэтому возим профессиональные карты NVIDIA под заказ с гарантией производителя.
Напишите в Telegram или оставьте заявку.
Читать обзор и замеры: NVIDIA H200 NVL: 141 ГБ HBM3e и 4,8 ТБ/с — обзор и замеры →
