Рішення під задачу

Другий вузол подвоює пам'ять, але не додає швидкості відповіді: вона тримається на 273 ГБ/с кожної машини. Розбираємо, чим зшиваються два Spark, який саме кабель QSFP112 валідувала NVIDIA, чому паспортні 200 Гб/с у відкритих тестах перетворювались на 92 до 95, і де продуктова сторінка NVIDIA розходиться з інструкцією з експлуатації щодо кількості вузлів.

Кластер на два або чотири вузли впирається не у відеокарти, а в мережу між ними. Розбираємо цифри ConnectX-7 із даташита, різницю між MQM9700 із вбудованим subnet manager і MQM9790 без нього, що доводиться налаштувати для RoCE на комутаторах Spectrum, чому один порт OSFP несе два NDR і за яких сценаріїв Ethernet на 100 Гбіт/с закриває задачу повністю.

Не кожній команді потрібна стійка й серверна кімната. Станція на RTX PRO 6000 Blackwell 96 ГБ і Threadripper PRO 7975WX тримає моделі до 70 мільярдів параметрів, працює від звичайної розетки й стоїть у кабінеті. Пояснюємо, чому 96 ГБ на одній карті знімають цілий пласт інженерії, що дає пам'ять ECC і чому це логічний наступний крок після DGX Spark.

Коли на одній машині цілодобово живуть кілька моделей, рахують не пікову продуктивність, а ціну гігабайта відеопам'яті. Чотири RTX PRO 6000 Blackwell Server Edition дають 384 ГБ, а апаратний поділ MIG перетворює їх на дюжину логічних карт, щоб команди не стояли в черзі. Порівнюємо з машиною на H200 і пояснюємо, чому в стійку йде саме серверне виконання карти.

Дві карти H200 NVL по 141 ГБ, зв'язані мостом NVLink, дають 282 ГБ спільної пам'яті. Пояснюємо, чому саме 64 ядра, чому терабайт оперативної й навіщо чотири блоки живлення, скільки пам'яті з'їдає модель на 70 мільярдів параметрів і що зміниться при дотренуванні. Конфігурація зібрана за стандартом інтеграторів Exxact, BIZON і Thinkmate.