Мости NVLink для H200 NVL та RTX

Навіщо зʼєднувати карти мостом

Дві карти в одному сервері за замовчуванням спілкуються через шину PCIe, і кожен обмін між ними йде через процесор. Міст NVLink кладе між картами пряму лінію, у якої пропускна здатність у рази вища за PCIe, а затримка помітно нижча.

Практичний наслідок один і головний: пам'ять карт перестає бути двома окремими калюжами. Дві карти по 141 ГБ під мостом дають 282 ГБ, у які модель поміщається цілком, замість того щоб різати її на частини й ганяти шматки туди-сюди.

Коли міст справді потрібен

• Модель не влазить в одну карту. Це головний випадок. Без моста доведеться розбивати модель, і швидкість впаде на обмінах.
• Навчання й донавчання. Градієнти зводяться між картами постійно, і саме тут різниця в пропускній здатності перетворюється на години.
• Одна задача на кілька карт. Якщо ж кожна карта рахує свій незалежний запит, міст майже нічого не додасть.

Що звірити перед покупкою

Міст підбирається під конкретну модель карти й під відстань між слотами: варіанти на два й на чотири слоти не взаємозамінні. Карти мають стояти поруч і бути однаковими. Материнська плата має розводити слоти так, щоб роз'єми NVLink опинились навпроти один одного.

Надішліть модель карт і материнської плати, і ми скажемо, який міст стане і чи дасть він виграш саме у вашій задачі.