NVIDIA DGX Spark: що він реально тягне

Коробка розміром із товстий роутер, 128 ГБ пам'яті, ціна як у пристойного автомобіля на вторинці. NVIDIA продає DGX Spark як персональний суперкомп'ютер для роботи з великими моделями. Ми розібрались, що він тягне насправді, а де цифри з презентації розходяться з тим, що бачать люди на своїх столах.

Що всередині

В основі чип GB10 Grace Blackwell: двадцять ядер Arm (десять Cortex-X925 плюс десять Cortex-A725) і графічна частина Blackwell на 6144 CUDA-ядра з тензорними ядрами п'ятого покоління. Процесор і GPU з'єднані через NVLink-C2C і працюють зі спільною когерентною пам'яттю, тобто дані не треба копіювати між системною та відеопам'яттю.

Перше, з чим стикаються власники: замість 128 ГБ система показує близько 119 ГіБ, тобто 122 570 МБ. Це не відкушено операційкою, це різниця між гігабайтами виробника і гібібайтами, якими рахує Linux. NVIDIA винесла пояснення в окрему статтю бази знань, бо питання ставили постійно.

Головне обмеження, про яке не пишуть у презентаціях

Робота мовної моделі ділиться на дві фази. Спочатку вона читає ваш запит цілком (prefill), потім по одному генерує токени відповіді (decode). Перша фаза впирається в обчислювальну потужність, друга в швидкість пам'яті: щоб видати один токен, треба прочитати всі ваги моделі.

У Spark обчислювальна частина сильна, а пам'ять на 273 ГБ/с. Звідси майже всі скарги власників. Ось як це виглядає в цифрах на моделі gpt-oss 120B:

Читання запиту на швидкості 1725 токенів за секунду це справді швидко. Генерація на 55 токенів це приблизно швидкість читання людини вголос. Для чату нормально, для конвеєрної обробки документів замало.

Число, яке варто знати до покупки

Люди купують 128 ГБ передусім заради 70-мільярдних моделей: у звичайну відеокарту вони не влазять. Команда LMSYS поміряла Llama 3.1 70B у форматі FP8 на одному користувачі й отримала 2,7 токена за секунду. Це рівень, на якому відповідь із трьохсот слів друкується півтори хвилини.

Модель поміщається в пам'ять і працює, питання лише в тому, чи готові ви на неї дивитись. Для нічної пакетної обробки прийнятно, для інтерактиву ні.

Причина знову в пропускній здатності. Щільна модель на 70 мільярдів параметрів у FP8 займає близько 70 ГБ, і кожен токен вимагає прочитати ці 70 ГБ. При 273 ГБ/с теоретична стеля виходить менш ніж чотири токени, і реальні 2,7 укладаються рівно в цю арифметику.

А тепер те, що змінює картину

Наведені вище цифри стосуються одного користувача. Коли запитів багато, ваги моделі читаються один раз на цілу пачку, і пристрій розкривається зовсім інакше. Заміри Dendro Logic на vLLM:

Сто двадцятикратний приріст на Nemotron Super 49B це не помилка друку. Саме тут і живе справжнє призначення пристрою: він створений обслуговувати навантаження, а не сидіти в чаті з однією людиною. Якщо у вас відділ з п'ятнадцяти розробників, яким потрібен внутрішній асистент по коду, Spark справиться. Якщо ви один і хочете найбільшу модель для себе, гроші витрачені не туди.

Живлення: звідки взялись питання про «половину продуктивності»

На форумі NVIDIA є показова гілка з назвою «Отримую половину заявленої продуктивності й упираюсь у 100 Вт». Людина вирішила, що їй продали бракований пристрій.

Пояснення від NVIDIA просте: 240 Вт це рейтинг зовнішнього блока живлення на пік. Графічна частина за специфікацією бере максимум 120 Вт, решта йде на процесор, мережевий чип ConnectX-7 і периферію. Тобто 100 Вт на GPU під навантаженням це штатна поведінка, а не поломка. Заявлений петафлоп теж вимагає уточнення: це FP4 з урахуванням розрідженості, і Wendell з Level1Techs зазначає, що такі показники досягаються сплесками по пів секунди.

Окрема тема це споживання в простої. NVIDIA його не специфікує взагалі, хоча пристрій купують як завжди увімкнену робочу станцію. Головним споживачем у простої виявився мережевий чип, частину проблеми закрили оновленням прошивки.

Два вузли: що це дає і чого не дає

Два Spark з'єднуються напряму кабелем QSFP через ConnectX-7 і працюють як один ресурс на 256 ГБ. NVIDIA заявляє підтримку моделей до 405 мільярдів параметрів на такій зв'язці, документація додає, що прямими кабелями можна об'єднати до трьох систем, а через комутатор до чотирьох.

Чого чекати не варто: подвоєння швидкості. Заміри показують, що фаза читання запиту прискорюється від 6 до 25 відсотків залежно від моделі, а генерація не прискорюється взагалі або навіть просідає. Сенс зв'язки в тому, щоб помістити більшу модель, а не швидше отримати відповідь.

Кому підходить, а кому ні

Підходить, якщо ви розробляєте під CUDA і вам потрібне середовище, ідентичне продакшену, без рахунків за хмару щомісяця. Якщо дані не можна вивозити за периметр компанії. Якщо треба обслуговувати команду, а не одну людину. Якщо ви робите файнтюн моделей до 70 мільярдів параметрів методом QLoRA і готові чекати.

Не підходить, якщо потрібен швидкий інтерактивний чат із найбільшою моделлю, яку вдалось знайти. Якщо ви працюєте у Windows: система тільки Linux на архітектурі aarch64, і частина звичного софту під неї просто не зібрана. Якщо ви розраховуєте на ігри чи класичний рендер.

Що з цього є в нас

• Сервер PNY NVIDIA DGX Spark AI Server: версія Founders Edition із накопичувачем на 4 ТБ
• NVIDIA AI Enterprise для DGX Spark: підписка на рік, є також варіанти на три й п'ять років
• NVIDIA Mission Control: керування кластером, якщо вузлів більше одного
• Сервери Nutanix: коли прототип виріс і потрібна продакшн-платформа

Часті питання