H200 NVL: 141 ГБ HBM3e под LLM на 70B+ параметров на одной карте
PNY NVIDIA H200 NVL — вычислительный ускоритель на архитектуре Hopper с 141 ГБ памяти HBM3e и пропускной способностью 4,8 ТБ/с. Такого объёма достаточно, чтобы держать крупную языковую модель целиком в памяти одной карты без шардинга: инференс и дообучение LLM на 70B+ параметров идут без выгрузки весов в системную RAM.
14 592 ядра CUDA и 456 тензорных ядер 4-го поколения с Transformer Engine и поддержкой FP8 выдают до 3 341 TFLOPS в FP8 (со sparsity) и 1 671 TFLOPS в BFLOAT16/FP16. Для масштабирования предусмотрен мост NVLink на 2 или 4 карты с пропускной способностью 900 ГБ/с на GPU — это убирает узкое место межкарточного обмена в кластерах генеративного ИИ и HPC.
- Память: 141 ГБ HBM3e, шина 6016-bit, 4,8 ТБ/с, ECC
- Интерфейс: PCIe 5.0 x16, NVLink 900 ГБ/с (2/4-way)
- Форм-фактор: dual-slot FHFL ~267 мм, пассивное охлаждение для серверного корпуса
- Питание: конфигурируемый TGP до 600 Вт
- MIG: до 7 изолированных инстансов по ~16,5 ГБ
- В комплекте: 5-летняя подписка NVIDIA AI Enterprise
Карта рассчитана на NVIDIA-Certified серверы до 8 GPU, поддерживает Confidential Computing, имеет 7 декодеров NVDEC и 7 JPEG-движков. Это розничная поставка в фирменной упаковке PNY с полной гарантией от официального дистрибьютора. Расчёт multi-GPU конфигурации под вашу модель — по номеру 093 594 00 77.
