Мосты NVLink для H200 NVL и RTX

Зачем соединять карты мостом

Две карты в одном сервере по умолчанию общаются через шину PCIe, и каждый обмен между ними идёт через процессор. Мост NVLink кладёт между картами прямую линию, у которой пропускная способность в разы выше PCIe, а задержка заметно ниже.

Практическое следствие одно и главное: память карт перестаёт быть двумя отдельными лужами. Две карты по 141 ГБ под мостом дают 282 ГБ, в которые модель помещается целиком, вместо того чтобы резать её на части и гонять куски туда-сюда.

Когда мост действительно нужен

• Модель не влезает в одну карту. Это главный случай. Без моста придётся разбивать модель, и скорость упадёт на обменах.
• Обучение и дообучение. Градиенты сводятся между картами постоянно, и именно здесь разница в пропускной способности превращается в часы.
• Одна задача на несколько карт. Если же каждая карта считает свой независимый запрос, мост почти ничего не добавит.

Что сверить перед покупкой

Мост подбирается под конкретную модель карты и под расстояние между слотами: варианты на два и на четыре слота не взаимозаменяемы. Карты должны стоять рядом и быть одинаковыми. Материнская плата должна разводить слоты так, чтобы разъёмы NVLink оказались напротив друг друга.

Пришлите модель карт и материнской платы, и мы скажем, какой мост встанет и даст ли он выигрыш именно в вашей задаче.