Вузол під навчання однієї великої моделі. Вісім NVIDIA H200 NVL дають 1128 ГБ HBM3E, зібраних двома четвірками з мостами NVLink: карти всередині четвірки обмінюються напряму, повз PCIe. Модель, яка не влазить в одну карту, лишається в межах машини і не йде в мережу.
Конфігурація
- Платформа: GIGABYTE G494-ZB4-AAP2, 4U для стійки, 8 GPU
- Процесори: 2× AMD EPYC 9655, по 96 ядер
- Пам'ять: 1.5 ТБ DDR5-5200 ECC Registered (24× 64 ГБ, один модуль на канал)
- Відеокарти: 8× NVIDIA H200 NVL 141 ГБ, дві четвірки з 4-way NVLink
- Диски: 12 відсіків 2.5" Gen5 NVMe, сумарний обсяг обирається нижче
- Мережа: NVIDIA ConnectX-7 400GbE / NDR
- Живлення: 4× 3000 Вт 80 PLUS Titanium із резервуванням
Куди зростати
48 слотів пам'яті тримають до 3 ТБ, але другий модуль на канал знижує частоту до 4400 або 4000 MT/s: за обсяг платимо швидкістю. Під вісім карт на 600 Вт ставиться комплект вентиляторів, він додає 120 мм глибини, тож у стійці треба закладати метр.
Як замовити
Обсяг пам'яті, диски й мережу підбираємо під навантаження. Ціну на конфігурацію і строк постачання називає менеджер. Залиште запит, і ми відповімо.
Обираєте між настільною станцією й кластером?
Розкажіть, які моделі плануєте запускати і скільки людей з ними працюватиме. Порахуємо, чи вистачить одного вузла, чи вигідніше зібрати сервер із GPU.
Постачаємо як офіційний партнер PNY, з гарантією виробника.
Напишіть у Telegram або залиште заявку.
Часті питання
Скільки місця в стійці займе машина?
Корпус 4U завглибшки 880 мм, але під вісім карт на 600 Вт ставиться комплект вентиляторів, і глибина стає 1000.5 мм. Тобто в стійці треба закладати метр, інакше двері не зачиняться. Вага 66.8 кг: у стійку ставлять удвох або підйомником.
Що дає 4-way NVLink проти звичайного PCIe?
Вісім карт зібрані двома четвірками, і всередині четвірки обмін іде мостом, а не через процесор. Для однієї великої моделі це означає, що шар, розкладений на чотири карти, не впирається в шину PCIe. Між четвірками обмін уже звичайний.
Чому пам'ять 1.5 ТБ, якщо слотів 48?
У базовій конфігурації стоять 24 модулі по 64 ГБ, по одному на канал, і пам'ять працює на 5200 MT/s. Заповнити всі 48 можна, це дасть до 3 ТБ, але другий модуль на канал знижує частоту до 4400 або 4000 MT/s. Обираємо під задачу: обсяг чи швидкість.
Чи можна поставити інші відеокарти?
Платформа валідована виробником під вісім H200 NVL і під вісім RTX PRO 6000 Server Edition, але тільки однією моделлю на машину: «The system is only validated with a uniform GPU model». Змішувати карти не можна, а збірку на RTX PRO ми ведемо окремою карткою.
Чим відрізняються варіанти дисків у вибору?
Відсіків дванадцять, різниця у ємності кожного диска: 1.92 ТБ на PCIe 5.0, 3.84 і 7.68 ТБ на PCIe 4.0. Звідси три сумарні обсяги: 23.04, 46.08 і 92.16 ТБ. Якщо потрібен інший набір, менеджер збере конфігурацію під задачу.
