Кластер із двох DGX Spark: що реально дає і кому вистачить одного

Питання приходить приблизно так: «взяли один DGX Spark, уперлись, брати другий?». Відповідь залежить не від бажання масштабуватись, а від того, у що саме ви уперлись. Якщо в обсяг пам'яті, другий вузол допоможе. Якщо у швидкість генерації, він не допоможе ніяк. Нижче цифри з офіційних специфікацій, живі заміри з відкритих тестів і місце, де джерела NVIDIA суперечать одне одному.

Що вміє одна машина

DGX Spark побудований на суперчипі GB10 Grace Blackwell: графічна частина Blackwell із тензорними ядрами п'ятого покоління плюс 20 ядер Arm, десять Cortex-X925 і десять Cortex-A725. Пам'ять одна на всіх, 128 ГБ LPDDR5x, когерентна: процесор і графіка бачать той самий масив без копіювання туди й назад. Обчислювальна заявка 1 петафлопс у форматі FP4. Накопичувач 4 ТБ NVMe із самошифруванням. Усе це в коробці 150 на 150 на 50,5 мм вагою 1,2 кг, блок живлення на 240 Вт, а сам GB10 тримає 140 Вт.

Офіційна межа для однієї машини: тонке налаштування моделей до 70 мільярдів параметрів і інференс до 200 мільярдів. Це не маркетинг, а те, що фізично вміщується в 128 ГБ при агресивній квантизації.

Саме обсяг тут головна перевага. Модель, яка не влізе в 96 ГБ професійної карти, у Spark влізе, і для цього не потрібні ні стійка, ні три фази, ні окремий канал охолодження. Плата за це чесна й відома заздалегідь: LPDDR5x замість HBM, тобто обсяг куплений ціною пропускної здатності. Далі про те, як саме це відчувається в роботі.

Де воно впирається

У 273 ГБ/с. Це головне число, і воно пояснює всі відгуки виду «модель завантажилась, але відповідає повільно». Генерація токенів це послідовне читання ваг моделі з пам'яті на кожен токен. Скільки б не було обчислювальної потужності, швидше за пам'ять воно не піде.

Відкриті заміри на llama.cpp показують розрив дуже наочно. GPT-OSS 120B у форматі MXFP4: обробка запиту 1956 токенів за секунду, генерація відповіді 60,6 токена за секунду. На контексті 32 тисячі токенів обидва числа падають до 1027 і 40,6. Тобто прочитати ваш запит машина встигає миттєво, а друкує відповідь приблизно зі швидкістю людського читання вголос. Заміри команди LMSYS на стеку SGLang дають той самий порядок: близько 70 токенів за секунду на моделі 20B і близько 50 на 120B.

Чим зшиваються два вузли

У кожному Spark стоїть ConnectX-7 із двома портами QSFP по 200 Гб/с. Два вузли з'єднуються навпростець, кабель із порту в порт, комутатор не потрібен. Офіційний сценарій NVIDIA «Connect Two Sparks» описує рівно це: фізичне з'єднання, налаштування мережевих інтерфейсів через netplan, безпарольний SSH між вузлами. На весь маршрут закладено близько години.

Кабель потрібен конкретний: пасивний DAC QSFP112 довжиною 0,5 м. NVIDIA перелічує дві валідовані моделі, Amphenol NJAAKK-N911 і Luxshare LMTQF022-SD-R. Комплектний кабель PNY QSFP to QSFP 112G на 0,5 м зроблений під цю саму специфікацію, тому шукати щось довше чи активне не треба. Півметра це не помилка проєктувальника: два корпуси стоять поруч на столі.

Скільки насправді дає 200 Гб/с

Тут починається те, чого немає в рекламних матеріалах. У тестах ServeTheHome повні 185 до 190 Гб/с знімались лише після того, як інтерфейси прив'язали до правильних 100-гігабітних MAC на одній із клітин QSFP. Поки прив'язка була довільна, обидва лінки йшли через один канал PCIe Gen5 x4 і давали 92 до 95 Гб/с. Половина паспортної цифри, і ніякої помилки в конфігурації при цьому не видно: воно просто працює вдвічі повільніше.

Практичний висновок простий. Закладайте в план день на налаштування мережі й перевіряйте результат замірами RDMA, а не тим, що лінк піднявся.

Скільки вузлів можна зв'язати: джерела не збігаються

Продуктова сторінка NVIDIA каже: мережа дозволяє з'єднати до чотирьох систем DGX Spark і працювати з моделями до 700 мільярдів параметрів. Інструкція з експлуатації того самого продукту в розділі про об'єднання каже інше: до трьох систем напряму кабелями, чотири лише через комутатор. Обидва документи офіційні.

Окремо про цифру, яка гуляє оглядами: «два Spark тягнуть модель на 405 мільярдів параметрів». У документах NVIDIA цього твердження немає. Ні продуктова сторінка, ні інструкція, ні офіційний сценарій об'єднання двох машин таких моделей не називають. Якщо ця конфігурація критична для вашого проєкту, її треба перевіряти на живому залізі до покупки, а не приймати на віру.

Кому вистачить одного

Одного вистачить, якщо ваша модель уміщується в 128 ГБ і ви розробляєте, а не обслуговуєте потік користувачів. Прототип, тонке налаштування моделі до 70 мільярдів, локальний асистент для команди, робота з чутливими даними, які не можна віддавати в хмару: усе це закривається однією коробкою під столом, без стійки, без промислової розетки й без окремого кондиціонера.

Другий вузол має сенс у двох випадках. Перший: модель не влазить у 128 ГБ, і вам потрібна саме пам'ять. Другий: ви вчите розподілене навчання як інженерну практику, і вам потрібен справжній другий вузол зі справжнім NCCL, а не імітація. У решті випадків подвоєння вузлів дає подвоєння пам'яті й нуль приросту до швидкості відповіді, бо кожен вузол лишається зі своїми 273 ГБ/с.

Якщо впирається саме швидкість генерації, дивитись треба не в бік другого Spark, а в бік карт із пам'яттю HBM, де пропускна вимірюється тисячами гігабайт за секунду.