Сетевое оборудование NVIDIA

Почему кластеру нужна отдельная сеть

Пока сервер один, сеть это способ до него добраться. Как только серверов становится несколько и они считают общую задачу, сеть превращается в часть вычислителя. Узлы обмениваются промежуточными результатами постоянно, и задержка на этих обменах прямо добавляется ко времени обучения.

Отсюда и отдельная линейка оборудования. Адаптеры, которые пишут данные в память соседнего сервера без участия процессора, коммутаторы с задержками в доли микросекунды и кабели, рассчитанные на 400 и 800 гигабит.

Из чего состоит раздел

• Адаптеры и DPU. ConnectX-7 и ConnectX-8 для быстрой сети, BlueField-3 для случаев, когда хочется снять с процессора шифрование, хранение и политики.
• Коммутаторы. Quantum для InfiniBand, Spectrum для Ethernet с RoCE.
• Кабели и трансиверы. DAC для коротких расстояний в стойке, AOC и оптика с трансиверами для более длинных пролётов.
• Мосты NVLink. Прямой канал между картами внутри одного сервера.

InfiniBand или Ethernet

Короткий ответ такой. InfiniBand даёт меньшие задержки и операции сведения прямо в сети, но требует отдельных знаний в эксплуатации. Ethernet с RoCE проще, потому что это та же технология, что и в остальной инфраструктуре, и его обслуживает та же команда.

Сеть собирается комплектом: адаптер, кабель нужной длины и типа, порт коммутатора с той же скоростью. Ошибка в любом звене означает, что связь либо не поднимется, либо упадёт до меньшей скорости.

Напишите количество узлов и задачу, и мы составим перечень целиком, вместе с кабелями под ваши расстояния.