Мережеве обладнання NVIDIA

Чому кластеру потрібна окрема мережа

Поки сервер один, мережа це спосіб дістатись до нього. Щойно серверів стає кілька й вони рахують спільну задачу, мережа перетворюється на частину обчислювача. Вузли обмінюються проміжними результатами постійно, і затримка на цих обмінах прямо додається до часу навчання.

Звідси й окрема лінійка обладнання. Адаптери, які пишуть дані в пам'ять сусіднього сервера без участі процесора, комутатори з затримками в частки мікросекунди й кабелі, розраховані на 400 і 800 гігабіт.

З чого складається розділ

• Адаптери та DPU. ConnectX-7 і ConnectX-8 для швидкої мережі, BlueField-3 для випадків, коли хочеться зняти з процесора шифрування, зберігання й політики.
• Комутатори. Quantum для InfiniBand, Spectrum для Ethernet з RoCE.
• Кабелі та трансивери. DAC для коротких відстаней у стійці, AOC і оптика з трансиверами для довших прольотів.
• Мости NVLink. Прямий канал між картами всередині одного сервера.

InfiniBand чи Ethernet

Коротка відповідь така. InfiniBand дає нижчі затримки й операції зведення прямо в мережі, але вимагає окремих знань в експлуатації. Ethernet з RoCE простіший, бо це та сама технологія, що й у решті інфраструктури, і його обслуговує та сама команда.

Мережа збирається комплектом: адаптер, кабель потрібної довжини й тип, порт комутатора з тією ж швидкістю. Помилка в будь-якій ланці означає, що зв'язок або не підніметься, або впаде до нижчої швидкості.

Напишіть кількість вузлів і задачу, і ми складемо перелік цілком, разом із кабелями під ваші відстані.