GPU-сервер для агентів програмування на команду від 20 до 100 розробників, які працюють з відкритими моделями, будують на двох, чотирьох або восьми NVIDIA RTX PRO 6000 Blackwell Server Edition; кількість карт визначають одночасні агенти й довжина їхнього контексту. За нашою оцінкою, дві карти з Qwen3-Coder-Next тримають щонайбільше близько 35 сесій агента по 64K токенів при запланованих 50 токенах/с на кожну, чотири карти близько 70, вісім близько 140. Це верхня межа, яку має підтвердити пілот, а кеш у FP8 приблизно подвоює кожну цифру.

Вибір моделі й перший рівень заліза розібрано в статті про приватного асистента програмування, а під'єднання Claude Code, OpenCode, Codex чи Copilot CLI до сервера описано в статті про Claude Code з локальною моделлю. Тут ідеться про відділ, де одночасно працюють кілька десятків агентів.

Коротко

  • Сервер рахують за сесіями, що генерують одночасно, і за їхнім контекстом; верхня межа за нашим правилом: одна сесія на розробника в годину пік.
  • Дві RTX PRO 6000 Server Edition з Qwen3-Coder-Next у FP8 як одна пара TP=2 тримають у пам'яті 57 сесій по 64K, а на 50 токенах/с щонайбільше 35 (верхня межа за нашою оцінкою).
  • Чотири карти як дві пари дають щонайбільше 70 таких сесій, 136 із кешем FP8; вісім карт до 140 або Qwen3-Coder-480B-A35B у FP8 із 13 сесіями по 64K.
  • Вісім H200 NVL тримають Qwen3-Coder-480B-A35B із 34 сесіями по 64K і 16-бітним кешем, 69 із кешем FP8.
  • У MLPerf Inference v6.1 вісім RTX PRO 6000 Server Edition видали 14 581,7 токена/с на gpt-oss-120b у сценарії server (запис 6.1-0050).

Як агент навантажує сервер

Агент для програмування виконує задачу кроками: читає файли, запускає збірку чи тести, читає вивід і знову звертається до моделі з усім, що побачив. Після години роботи кожен виклик несе десятки тисяч токенів. Для кожного токена кожної відкритої сесії модель тримає KV-кеш, і кожен новий токен перечитує весь кеш своєї сесії.

Звідси дві цифри: скільки сесій уміщується поруч із моделлю в пам'яті GPU і скільки з них можуть генерувати одночасно, не сповільнюючись нижче корисної швидкості, бо кожна сесія додає байти свого кешу до кожного кроку. Кількість розробників визначає менша з двох.

Розробник і сесія не тотожні: багато хто користується агентами частину дня, а дехто запускає два паралельно. Наше правило рахує одну генеруючу сесію на розробника в годину пік, тобто верхню межу. Справжню частку покаже журнал шлюзу в пілоті.

Скільки пам'яті бере сесія на 64K і 128K

За документацією Ollama, агентам та інструментам програмування потрібно щонайменше 64 000 токенів контексту, а моделі Qwen3-Coder мають рідний контекст 262 144 токени. Ми рахуємо для 64K (65 536 токенів) і 128K (131 072), типових для агентів у великих репозиторіях, а 256K лишаємо для небагатьох сесій.

Кеш на токен дорівнює 2 × шари з повною увагою × голови key/value × розмірність голови × байти на значення, з числами з config.json кожної моделі на Hugging Face. Моделям із повною увагою лише в частині шарів кешу треба значно менше.

Модель Ваги Кеш на 64K Кеш на 128K
Qwen3-Coder-30B-A3B, FP8 31,2 ГБ 6 ГіБ 12 ГіБ
Qwen3-Coder-Next, FP8 80,4 ГБ 1,5 ГіБ 3 ГіБ
gpt-oss-120b, MXFP4 65,3 ГБ 2,25 ГіБ 4,5 ГіБ
Qwen3-Coder-480B-A35B, FP8 482 ГБ 15,5 ГіБ 31 ГіБ

Джерело: розміри репозиторіїв на Hugging Face, прочитано 24.10.2026 (gpt-oss-120b: 15 файлів safetensors у корені); кеш у BF16 за нашим розрахунком із config.json, кеш FP8 удвічі менший. Qwen3-Coder-Next додає до 80 МіБ стану лінійної уваги на сесію.

Qwen3-Coder-480B-A35B має 62 шари з 8 головами key/value розмірністю 128, тобто 248 КіБ на токен. Qwen3-Coder-Next (80B, 3B активних) тримає кеш лише в кожному четвертому з 48 шарів, із 2 головами розмірністю 256: 24 КіБ на токен. У gpt-oss-120b половина з 36 шарів працює з ковзним вікном на 128 токенів, модель має 8 голів key/value розмірністю 64, а контекст обмежено 131 072 токенами. Усі чотири моделі мають ліцензію Apache 2.0.

Пам'ять і швидкість: дві межі для сесій

Наше правило бере 90 % пам'яті, яку показує драйвер, мінус 3 ГіБ на карту і мінус ваги: 83,0 ГіБ корисних на RTX PRO 6000 і 123,4 ГіБ на H200 NVL. Дві карти дають 166,1 ГіБ, чотири 332,2 ГіБ, вісім 664,3 ГіБ. Місце поруч із вагами, поділене на кеш однієї сесії, дає кількість сесій у пам'яті.

Друга межа пов'язана зі швидкістю. Кожен крок декодування читає активні ваги й кеш кожної сесії в пакеті, тож пропускна здатність пам'яті карти, поділена на байти за крок, дає стелю на сесію. Ми рахуємо активні ваги одного токена, проте в пакеті моделі mixture-of-experts токени сесій ідуть до різних експертів і крок читає більше, тому кожна стеля й кожна кількість сесій на 50 токенах/с є верхньою межею за нашою оцінкою.

Стелю плануємо на 50 токенів/с, у 2,5 раза вище за 20 токенів/с (50 мс на токен, наша прикладова ціль для кроків агента), бо реальне декодування лишається помітно нижче за стелю. Пара з Qwen3-Coder-Next вмістила б 57 сесій по 64K, але при 57 стеля падає приблизно до 32 токенів/с, а при 35 тримається на 50.

Конфігурація Модель, схема 64K у пам'яті 64K на 50 ток/с 128K, план
2 × RTX PRO 6000 SE Coder-Next, одна пара 57 (110) 35 (68) 18 (35)
2 × RTX PRO 6000 SE gpt-oss-120b, одна пара 46 24 12
4 × RTX PRO 6000 SE Coder-Next, дві пари 114 (220) 70 (136) 36 (70)
8 × RTX PRO 6000 SE Coder-Next, чотири пари 228 (440) 140 (272) 72 (140)
8 × RTX PRO 6000 SE Coder-480B, TP=8 13 (27) 13 (26) 6 (13)
8 × H200 NVL Coder-480B, TP=8 34 (69) 34 (69) 17 (34)

Джерело: наш розрахунок за правилом пам'яті та стелею швидкості, кеш BF16 (кеш FP8 у дужках; gpt-oss-120b лише з BF16); «план» означає меншу з двох меж, і де меншою є пам'ять, стовпчик швидкості її повторює (на восьми H200 NVL стеля при 34 чи 69 сесіях по 64K ще близько 63 ток/с). Пропускна здатність 1 597 ГБ/с на RTX PRO 6000 Server Edition і 4,8 ТБ/с на H200 NVL (NVIDIA); активні ваги на крок: 3 ГБ у Coder-Next, близько 5 ГБ у gpt-oss-120b, 35 ГБ у Coder-480B. Усе це оцінки без вимірювань.

Стелі не враховують обміну all-reduce між картами і, що важливіше, prefill: кожен крок агента додає вивід інструмента чи збірки, який модель має обчислити до відповіді. Кешування префіксів, у vLLM увімкнене за замовчуванням, дає повторно використати ранішу частину сесії, поки її кеш у пам'яті, тож у пілоті насамперед міряють частку влучань у цей кеш.

Скільки розробників на кожну конфігурацію

З однією генеруючою сесією на розробника в годину пік таблиця перекладається в розміри команд, які ми пропонуємо до пілота.

Сервер Основна модель Розробників, 64K Розробників, 128K
2 × RTX PRO 6000 SE Qwen3-Coder-Next від 20 до 35, 68 з кешем FP8 близько 18, 35 з кешем FP8
4 × RTX PRO 6000 SE Qwen3-Coder-Next від 40 до 70, 136 з кешем FP8 близько 36, 70 з кешем FP8
8 × RTX PRO 6000 SE Qwen3-Coder-Next 100 і більше 72, 140 з кешем FP8
8 × RTX PRO 6000 SE Qwen3-Coder-480B 13, 26 з кешем FP8 6, 13 з кешем FP8
8 × H200 NVL Qwen3-Coder-480B 34, 69 з кешем FP8 17, 34 з кешем FP8

Джерело: наші оцінки з попередньої таблиці, одна генеруюча сесія на розробника в годину пік. Кеш FP8 вмикають у vLLM параметром --kv-cache-dtype fp8; перш ніж розраховувати на нього, перевірте якість відповідей на власних задачах.

Для команди від 20 до 35 розробників на Qwen3-Coder-Next стартують із двох карт. Від 35 до 100 людей потрібні чотири, і кеш FP8 доводить їх до 100, якщо ваша оцінка якості його приймає; для 100 розробників із контекстом 128K потрібні вісім. Модель 480B займає вісім карт лише вагами, тож підходить команді, якій її якість потрібна для частини задач, поруч із меншою моделлю для решти.

ETE постачає сервери з чотирма й вісьмома RTX PRO 6000 Server Edition або з вісьмома H200 NVL, а варіант на дві карти збирає під задачу; інженер рахує конфігурацію від кількості розробників, частки агентів і контексту.

Дві й чотири карти: пари Qwen3-Coder-Next

Типовий сервер на дві RTX PRO 6000 Server Edition має два процесори AMD EPYC 9135, 384 ГБ DDR5 ECC і два NVMe-накопичувачі. Qwen3-Coder-Next у FP8 працює на ньому як один екземпляр TP=2 з параметрами з картки моделі, --tensor-parallel-size 2 і --tool-call-parser qwen3_coder, а дві голови key/value діляться по одній на карту. Такий сервер, за нашою оцінкою, бере близько 1,8 кВт і працює від однієї лінії 230 В на 16 А.

Резервування дві карти не дають. Один екземпляр обслуговує всіх, і збій карти зупиняє всіх агентів. gpt-oss-120b уміщується на ту саму пару зі щонайбільше 24 сесіями на запланованій швидкості або працює як дві незалежні копії, кожна на своїй карті з 9 сесіями по 64K у пам'яті.

Чотири RTX PRO 6000 Server Edition із 768 ГБ DDR5 ECC і чотирма NVMe беруть, за нашою оцінкою, близько 3,4 кВт і потребують лінії на 32 А або трифазного підключення. Qwen3-Coder-Next на них краще запускати як дві пари за балансувальником із прив'язкою сесій, щоб кожен агент повертався до копії зі своїм кешем. Один екземпляр TP=4 дублював би кеш моделі з двома головами key/value, а vLLM за замовчуванням вимикає власний all-reduce для понад двох GPU без NVLink; опційний all-reduce FlashInfer PCIe IPC для таких систем з'явився у vLLM 0.30.0 (примітки до випуску від 22.09.2026, #53576).

Дві пари лишають відділу робочий сервер, поки одну оновлюють, або дають поставити поруч Qwen3-Coder-Next і gpt-oss-120b для порівняння на своїх репозиторіях. Окремим екземпляром поруч може працювати бот рецензування merge request, а автодоповнення краще винести на окремі невеликі карти.

Вісім карт: 100 розробників або Qwen3-Coder-480B

Вісім карт потрібні відділу приблизно на 100 людей, чиї агенти працюють увесь день, або для Qwen3-Coder-480B-A35B. Її контрольна точка FP8 (482 ГБ, тобто 449 ГіБ) лишає на восьми RTX PRO 6000 Server Edition 215 ГіБ під кеш: 13 сесій по 64K із 16-бітним кешем, 27 у FP8. TP=8 ставить по одній з 8 голів key/value на карту, тож нічого не дублюється. Посібник vLLM для Qwen3 вимагає --enable-expert-parallel із TP=8 для FP8-контрольних точок цих MoE-моделей, а картка моделі радить зменшити контекст, наприклад до 32 768, якщо серверу бракує пам'яті.

Вісім H200 NVL із містками NVLink тримають ту саму модель із 34 сесіями по 64K (69 із кешем FP8) і мають утричі більшу пропускну здатність на карту. Містки з'єднують по чотири карти, тож TP=8 однаково йде через PCIe між двома доменами NVLink.

Обидва восьмикарткові сервери з двома AMD EPYC 9555 беруть, за нашою оцінкою, близько 6,3 кВт, а специфікація Dell орієнтовно вказує близько 8 кВт на такий вузол. Тож трифазну лінію 400 В планують за цифрою виробника, а через відключення в Україні разом із ДБЖ і генератором (див. статтю про живлення станції з кількома GPU). Пам'ять хоста, за посібником NVIDIA для сертифікованих систем, удвічі більша за пам'ять GPU: 1 536 ГБ для восьми RTX PRO 6000 Server Edition.

Опублікований результат MLPerf для цих карт

MLPerf® Inference v6.1 містить gpt-oss-120b, одну з моделей нашої таблиці; сценарій server дотримується меж затримки для кожного запиту.

Система, 8 × RTX PRO 6000 Server Edition Offline, токенів/с Server, токенів/с
HPE ProLiant Compute DL380a Gen12 15 256 14 581,7
Cisco UCS C845A M8 15 508,4 у джерелі не наведено
Nebius 15 738,5 у джерелі не наведено

Джерело: MLPerf® Inference v6.1, data centre, closed division, gpt-oss-120b, сценарії offline і server, записи 6.1-0050, 6.1-0013 і 6.1-0082, отримано з mlcommons.org 24.10.2026, результати перевірені MLCommons Association. Назва й логотип MLPerf є зареєстрованими та незареєстрованими торговими марками MLCommons Association у США та інших країнах. Усі права захищено. Несанкціоноване використання суворо заборонено. Докладніше на www.mlcommons.org.

Наше ділення, яке не є метрикою MLPerf, дає близько 1 823 токенів/с на карту в сценарії server. Сесій агентів на вашій кодовій базі стандартний бенчмарк не відтворює, тож про кількість розробників ця цифра нічого не каже.

Що виміряти в пілоті перед замовленням

Пілот на записаних задачах агентів із ваших репозиторіїв замінює наші припущення вашими цифрами. Між двома, чотирма й вісьмома картами вибирають за такими показниками:

  1. Скільки сесій генерують одночасно в годину пік (за журналом шлюзу) порівняно з кількістю розробників.
  2. Довжина запиту на останньому кроці довгої задачі: від неї залежить, 64K чи 128K.
  3. Частка влучань у кеш префіксів: vllm:prefix_cache_hits, поділене на vllm:prefix_cache_queries.
  4. Час до першого токена й затримка між токенами на кроці в годину пік.
  5. Успішність задач на ваших репозиторіях із кешем FP8 проти 16-бітного і з Qwen3-Coder-Next проти моделі 480B.
  6. Витіснення в vllm:num_preemptions, які показують, що агенти втрачають свій кеш.

Часті питання

Який сервер потрібен для агентів програмування на 50 розробників?

Відправна точка: чотири RTX PRO 6000 Server Edition з Qwen3-Coder-Next у двох парах TP=2. Вони тримають 114 сесій по 64K у пам'яті й щонайбільше близько 70 на 50 токенах/с, чого вистачить 50 розробникам, якщо пілот підтвердить швидкість. Для 128K межа становить близько 36 сесій, або 70 із кешем FP8.

Скільки розробників витримує один GPU-сервер з агентами?

Залежить від кількості одночасних агентів і їхнього контексту. З Qwen3-Coder-Next дві RTX PRO 6000 Server Edition дають щонайбільше близько 35 сесій по 64K, чотири близько 70, вісім близько 140; кеш FP8 приблизно подвоює ці цифри. Це наша оцінка, яку уточнює пілот.

Скільки відеопам'яті потрібно Qwen3-Coder-480B?

Контрольна точка FP8 займає 482 ГБ, і кожна сесія на 64K додає 15,5 ГіБ 16-бітного кешу. Вісім RTX PRO 6000 Server Edition тримають модель із 13 такими сесіями, вісім H200 NVL із 34. На чотири RTX PRO 6000 Server Edition ваги не вміщуються.

Що краще для сервера агентів: Qwen3-Coder-Next чи gpt-oss-120b?

Qwen3-Coder-Next потрібно 1,5 ГіБ кешу на сесію в 64K, gpt-oss-120b 2,25 ГіБ, тож перша тримає більше сесій і має контекст до 262 144 токенів проти 131 072. Обидві під Apache 2.0, а якість на ваших задачах покаже пілот.

Скільки кВт споживає сервер для агентів програмування?

За нашою оцінкою, близько 1,8 кВт із двома картами й двома AMD EPYC 9135, 3,4 кВт із чотирма картами й двома EPYC 9355 і 6,3 кВт із вісьмома картами й двома EPYC 9555 (карти по 600 Вт плюс 15 % на решту сервера). Дві карти працюють від лінії 230 В на 16 А, чотирьом потрібні 32 А або три фази, восьми трифазна лінія 400 В.

Що з цього є в ETE

  • ETE AI Server RTX PRO: чотири RTX PRO 6000 Server Edition по 96 ГБ і 768 ГБ DDR5-6400 ECC у корпусі 4U, тобто дві пари Qwen3-Coder-Next до 70 сесій по 64K.
  • ETE AI XL43: вісім RTX PRO 6000 Server Edition для відділу на 100 розробників або для Qwen3-Coder-480B.
  • ETE AI G494: вісім H200 NVL для Qwen3-Coder-480B із 34 сесіями по 64K.
  • NVIDIA RTX PRO 6000 Server Edition 96 ГБ: пасивна карта для стійкових серверів безперервної роботи, зокрема для конфігурації на дві карти під замовлення.

Потрібен сервер для агентів вашого відділу?

Напишіть, скільки у вас розробників, яка частка з них працює з агентами і на який контекст ви розраховуєте. ETE порахує конфігурацію й кількість сесій, а за потреби інженери Vixen.UNO розгорнуть vLLM і Qwen3-Coder-Next.

Обговорити задачу

Автор: Інженер ETE