Сетевые адаптеры и DPU NVIDIA

Чем сетевая карта для расчётов отличается от обычной

Обычный Ethernet-адаптер отдаёт каждый пакет процессору. Когда трафик измеряется сотнями гигабит, процессор перестаёт считать задачу и начинает разбирать сеть. Адаптеры ConnectX работают иначе: RDMA позволяет записать данные прямо в память другого сервера, минуя процессор.

Именно поэтому в кластерах на несколько узлов сетевая карта влияет на время обучения модели не меньше самих ускорителей.

ConnectX или BlueField

• ConnectX-7 и ConnectX-8. Быстрые адаптеры на 200, 400 и 800 Гбит/с. Работают в режиме InfiniBand или Ethernet, выбор делается настройкой.
• BlueField-3. Это уже не карта, а отдельный компьютер в слоте: свои ядра Arm, своя память и операционная система. Забирает на себя шифрование, хранение и сетевые политики, освобождая процессор сервера полностью.

На что смотреть при выборе

Скорость порта должна соответствовать коммутатору и кабелю: адаптер на 400 Гбит/с в порту на 200 будет работать на 200. Количество портов определяет схему резервирования. Разъём OSFP или QSFP112 определяет, какие кабели подойдут, и перепутать их легко.

Отдельно проверяют слот в сервере. Карта на PCIe 5.0 x16 в слоте x8 отдаст половину полосы, и смысл покупки исчезает.

Напишите модель сервера и нужную скорость, и мы подберём адаптер вместе с кабелем и трансивером, которые к нему встанут.