Сервер для приватного ChatGPT компанії рахують від піку одночасних запитів, а кількість працівників є лише вихідною точкою. Спершу оцінюють, скільки людей користуються асистентом у найзавантаженішу годину, потім переводять їхні запити в кількість тих, що обробляються одночасно, і перевіряють, чи вміщують GPU ваги моделі та KV-кеш для кожного запиту на піку. З gpt-oss-120b і заявленим контекстом 32K одна NVIDIA RTX PRO 6000 Blackwell на 96 ГБ будь-якої версії тримає, за нашою оцінкою, близько 19 розмов, а одна H200 NVL близько 55.
З умовними значеннями нижче на 100 працівників вистачає однієї копії моделі на одній карті, на 500 потрібні дві копії, а на 2 000 чотири RTX PRO 6000 із двома копіями, розділеними на пари карт, або дві копії на H200 NVL. Від 500 працівників серверів два, і кожен сам тримає весь пік. Цифри використання є прикладами, а цифри пам'яті нашими оцінками, не вимірюваннями. Порівняння власного сервера з підпискою за робоче місце є в статті про ChatGPT Enterprise і власний AI-сервер.
Коротко
- Розмір сервера задає пік одночасних запитів: активні в найзавантаженішу годину працівники × запити кожного за годину × час обробки запиту дають середнє, а піковий коефіцієнт піднімає його до піку.
- Опублікованого співвідношення між штатом і одночасними користувачами ми не знайшли, тож частки в статті є прикладами, які пілот замінює цифрами з журналу шлюзу.
- З gpt-oss-120b при контексті 32K і 16-бітному кеші RTX PRO 6000 тримає близько 19 розмов, H200 NVL близько 55; при 8K відповідно 79 і 222.
- На 2 000 працівників підходять два сервери з чотирма RTX PRO 6000 (близько 186 розмов на сервер у двох розділених копіях) або з двома H200 NVL; розділена копія працює через PCIe і потребує навантажувального тесту.
- RAG-асистенту потрібні ще модель ембедингів, ререйкер і векторний індекс; моделі Qwen3 на 0.6B вміщуються на невелику карту або в екземпляр MIG на 24 ГБ.
Від кількості працівників до одночасних запитів
Перший крок: частка працівників, які користуються асистентом у найзавантаженішу годину. Опублікованого співвідношення між штатом і одночасними користувачами ми не знайшли. Блог NVIDIA про вартість інференсу LLM (червень 2025) нагадує, що одночасні запити не дорівнюють одночасним користувачам, бо не всі мають активний запит водночас, і рахує від пікової кількості запитів за секунду та цільових затримок.
Другий крок перетворює користувачів на запити в обробці. За законом Літтла з теорії масового обслуговування середня кількість об'єктів у системі дорівнює інтенсивності надходження, помноженій на середній час перебування в ній. Для асистента це запити за секунду в найзавантаженішу годину, помножені на повний час відповіді, від надсилання до останнього токена.
Умовні значення статті (не ринкова статистика, пілот замінює кожне цифрою зі свого журналу):
- активні в найзавантаженішу годину: 40 % працівників;
- запитів на такого користувача: 6 за годину;
- час обробки: 30 секунд на запит, разом із токенами міркувань;
- піковий коефіцієнт: 2.
Для 500 працівників це 200 користувачів і 1 200 запитів на годину, тобто один кожні 3 секунди. По 30 секунд на кожен виходить у середньому 10 запитів в обробці, а на піку 20. Час обробки залежить від GPU, рушія й навантаження, тому міряйте його на тих картах, що підуть у промислову експлуатацію.
Скільки відеопам'яті займає одна розмова з gpt-oss-120b
Кожен запит в обробці тримає на GPU свій KV-кеш поруч із вагами. Наше правило «користувачі на карту»: 90 % пам'яті, яку показує драйвер, мінус близько 3 ГіБ на карту, мінус ваги моделі. Драйвер показує 95,6 ГіБ на RTX PRO 6000 з 96 ГБ і 140,4 ГіБ на H200 NVL з 141 ГБ. Як рахувати пам'ять під інші моделі, пояснено в статті про відеопам'ять під LLM.
У gpt-oss-120b 117 млрд параметрів, з яких активні 5,1 млрд; чекпойнт із вагами експертів у MXFP4 важить 65,3 ГБ, близько 60,8 ГіБ. За config.json модель має 36 шарів: 18 дивляться у вікно на 128 токенів, 18 на весь контекст, по 8 голів key/value розмірністю 64. Тож токен займає 36 КіБ 16-бітного кешу в шарах із повною увагою, а розмова на 32K займає 1,125 ГіБ.
| GPU і контекст | Лишається під кеш | На одну розмову | Розмов |
|---|---|---|---|
| RTX PRO 6000, 32K | 22,2 ГіБ | 1,125 ГіБ | 19 |
| H200 NVL, 32K | 62,5 ГіБ | 1,125 ГіБ | 55 |
| RTX PRO 6000, 8K | 22,2 ГіБ | 0,28 ГіБ | 79 |
| H200 NVL, 8K | 62,5 ГіБ | 0,28 ГіБ | 222 |
| RTX PRO 6000, 128K | 22,2 ГіБ | 4,5 ГіБ | 4 |
Джерело: наша оцінка для gpt-oss-120b з 16-бітним KV-кешем, одна копія на карту: 0,9 × пам'ять, яку показує драйвер, мінус 3 ГіБ, мінус 60,8 ГіБ ваг; шари й голови за config.json моделі на Hugging Face, прочитано 09.10.2026.
Це розмови, заповнені до заявленої довжини в один момент; коротші залишають місце для більшої кількості. Цифри обмежують лише пам'ять, а час відповіді під навантаженням перевіряють окремим тестом. Коли кеш закінчується, vLLM витісняє частину запитів і пізніше перераховує їх.
Скільки GPU потрібно на 100, 500 і 2 000 працівників
Модель уміщується на одну карту, тож найпростіша схема: одна копія й один екземпляр vLLM на карту за балансувальником навантаження. Копія, розділена тензорним паралелізмом на дві карти, тримає більше розмов, бо ваги зберігаються один раз: дві RTX PRO 6000 зі спільною копією мають 2 × 83,04 − 60,8 = 105,3 ГіБ кешу, тобто близько 93 розмов на 32K проти 38 у двох окремих копій. Проте розділена копія обмінюється даними на кожному шарі, а без NVLink у RTX PRO 6000 обмін іде через PCIe; для більш ніж двох GPU без NVLink vLLM вимикає власний all-reduce, тому пари вигідніші за поділ на чотири карти.
| Працівників | Активних у пікову годину | Пік запитів | Конфігурація | Розмов по 32K |
|---|---|---|---|---|
| 100 | 40 | 4 | один сервер, 2 × RTX PRO 6000 Server Edition: одна карта з gpt-oss-120b, друга в MIG для моделей RAG | 19 |
| 500 | 200 | 20 | два сервери, у кожному 2 × RTX PRO 6000 Server Edition і 1 × L4 | 76, або 38 без одного сервера |
| 2 000 | 800 | 80 | два сервери, у кожному 4 × RTX PRO 6000 Server Edition (дві розділені копії) і 1 × L4 або L40S; або в кожному 2 × H200 NVL і 1 × L4 або L40S | 372 або 220; 186 або 110 без одного сервера |
Джерело: користувачі й піки за умовними значеннями (40 %, 6 запитів на годину, 30 секунд, коефіцієнт 2); розмови за нашою оцінкою пам'яті для gpt-oss-120b на 32K; розділені копії за тим самим правилом, 2 × 83,04 − 60,8 ГіБ на пару.
100 працівників. Пік у 4 запити далеко нижчий за 19 розмов на одній карті, тож одна карта несе модель, а другу ділять на екземпляри MIG по 24 ГБ для ембедингів, ререйкера й службової моделі. Поки модель обирають, DGX Spark на 128 ГБ тримає gpt-oss-120b приблизно з 30 розмовами на 32K, якщо відвести під ваги й кеш 102 ГБ (близько 95 ГіБ), а з параметром пам'яті 0,7, який радять примітки NVIDIA до vLLM, близько 20. Пропускна здатність пам'яті в нього 273 ГБ/с, тож це машина для пілоту й розробки.
2 000 працівників. Вісімдесят запитів перевищують 76 розмов чотирьох копій по одній карті. Одна копія на двох RTX PRO 6000 тримає близько 93, а сервер із чотирма картами й двома такими копіями близько 186, тож кожен із двох серверів сам несе пік і має запас на вищий піковий коефіцієнт чи контекст 64K (близько 92). Два сервери по дві H200 NVL зберігають 110 розмов, якщо один вийде з ладу. Перед замовленням розділеної схеми перевірте час до першого токена й швидкість на користувача при 80 одночасних запитах. ETE збирає такі сервери на RTX PRO 6000 Server Edition або H200 NVL під вашу кількість працівників, а розгортання vLLM, моделі й чат-інтерфейсу за потреби беруть на себе інженери Vixen.UNO.
Українська мова в запитах і вибір моделі
Скільки токенів займає український текст, залежить від токенізатора моделі. Розробники Lapa LLM замінили 80 000 із 250 000 токенів словника Gemma 3 українськими, і українському тексту стало потрібно приблизно в 1,5 раза менше токенів. Від довжини в токенах залежать і кеш на розмову, і час обробки, тому беріть її з журналу пілоту з реальними українськими й російськими запитами до вашої моделі.
Про українську картка gpt-oss-120b нічого не каже. На експертному граматичному бенчмарку UNLP 2026 GPT-OSS-120B набирає близько 55 % українською, а навіть найсильніші моделі близько 60 %. Якщо грамотність українською важлива, додайте до оцінювального набору власні запитання й порівняйте кілька моделей ще до розрахунку заліза.
Ембединги, ререйкери й індекс для RAG
Асистент на документах компанії додає модель ембедингів, зазвичай ререйкер і векторний індекс. Серії Qwen3 Embedding і Reranker під Apache 2.0 мають розміри 0.6B, 4B і 8B з довжиною послідовності 32K; модель ембедингів на 0.6B видає вектори на 1 024 виміри, на 8B до 4 096. У BF16 ваги займають близько 1,2 ГБ для 0.6B і близько 16 ГБ для 8B, по два байти на параметр без активацій. На змаганні UNLP 2026 з українськими запитаннями найточнішою в команди КПІ виявилася зв'язка Qwen3-Embedding-8B і Qwen3-Reranker-8B.
Дві моделі на 0.6B вміщуються на невелику карту, від RTX PRO 2000 на 16 ГБ до RTX PRO 4000 SFF або L4 на 24 ГБ. Пара на 8B займає близько 32 ГБ ваг, тож їй підходить L40S на 48 ГБ або два екземпляри MIG по 24 ГБ на RTX PRO 6000. Карту може визначити й пропускна здатність: за одного пошуку на запит 2 000 працівників дають на піку близько 2,7 запиту до ререйкера за секунду, що для ререйкера на 1B параметрів і 40 уривків на запит, за нашими розрахунками, перевищує можливості однієї L4 і вкладається в одну L40S. За посібником NVIDIA з MIG (оновлено 04.11.2026) кожна версія RTX PRO 6000 ділиться щонайбільше на чотири екземпляри, H200 NVL на сім.
По чотири байти на значення мільйон фрагментів із векторами на 1 024 виміри займає близько 4,1 ГБ без структур індексу й тексту, а 4 096 вимірів учетверо більше. На NVMe закладайте місце під індекс, документи, збережені чекпойнти моделей і журнал запитів. Якщо документи лежать у SharePoint, Teams чи Confluence, розрахунок для платформи пошуку є в статті про Onyx на власному сервері.
Що змінює розмір сервера
| Чинник | Як впливає на сервер | Що вирішити |
|---|---|---|
| Заявлений контекст | кеш на розмову росте разом із ним: 19 при 32K, 79 при 8K, 4 при 128K на одній RTX PRO 6000 | контекст, потрібний вашим запитам |
| Рівень міркувань | довші відповіді збільшують час обробки й заповнюють контекст | рівень для кожного сценарію |
| Промпти RAG | знайдені уривки подовжують кожен промпт | кількість і розмір уривків на відповідь |
| Службові задачі інтерфейсу | назви, теги й автодоповнення додають запитів | окрема службова модель або вимкнути |
| Піки й запуск | день запуску чи навчання для всієї компанії піднімає піковий коефіцієнт | пік, який треба обслужити без черги |
| Відмовостійкість | одна карта чи один сервер є єдиною точкою відмови | копії й хости понад пік |
Джерело: контекст з таблиці вище; рівні міркувань за карткою gpt-oss-120b від OpenAI; службові задачі за статтею про приватну альтернативу ChatGPT.
На пам'ять найсильніше впливає заявлений контекст, на час рівень міркувань. Картка OpenAI описує рівні gpt-oss від низького, зі швидкими відповідями для звичайного діалогу, до високого, з глибоким аналізом. Токени міркувань генеруються як звичайна відповідь, тож високий рівень довше тримає запит в обробці й за тієї самої інтенсивності збільшує кількість одночасних запитів. Чому службові задачі інтерфейсу варто винести на окрему модель, пояснено в статті про приватну альтернативу ChatGPT.
Як перевірити оцінку на пілоті
Перед замовленням заліза замініть умовні значення своїми. Запустіть пілот з одним відділом, записуйте на шлюзі кожен запит із часом початку й завершення, візьміть інтенсивність у найзавантаженішу годину й розподіл довжин промптів і відповідей. Потім навантажте карту-кандидата на очікуваному піку промптами з пілоту й порівняйте час до першого токена й швидкість на користувача з цілями, визначеними до тесту. До повного штату масштабуйте інтенсивність запитів, а не одночасність, яку показав пілот.
Журнал шлюзу може містити персональні дані працівників, а їх обробляють за Законом № 2297-VI, зокрема на підставі трудових відносин. Працівників заздалегідь і під підпис знайомлять з умовами праці, включно з будь-яким моніторингом (ст. 29 КЗпП), а мету й порядок закріплюють у локальному акті. Для розрахунку сервера зазвичай вистачає часу й довжини запитів без їхнього змісту. Це не юридична консультація.
Часті питання
Скільки відеокарт потрібно LLM-серверу на 500 користувачів?
З умовними значеннями (40 % активних, по 6 запитів на годину, 30 секунд, коефіцієнт 2) 500 працівників дають близько 20 запитів в обробці. З gpt-oss-120b на 32K це дві копії на RTX PRO 6000 по 19 розмов, а два сервери по дві карти тримають 38 розмов навіть після відмови одного.
Як порахувати одночасних користувачів для локальної LLM?
Помножте запити за секунду в найзавантаженішу годину на середній час запиту до останнього токена: за законом Літтла це середня кількість запитів в обробці, до якої додають піковий коефіцієнт. Обидві величини беріть із журналу пілоту на тому типі GPU, що піде в роботу.
Скільки працівників обслужить одна RTX PRO 6000 з gpt-oss-120b?
За нашою оцінкою, після 60,8 ГіБ ваг лишається близько 22,2 ГіБ під кеш, тобто близько 19 розмов на 32K. З умовними значеннями, коли на 100 працівників припадає близько 4 запитів на піку, цього вистачає приблизно на 475 працівників.
Чи вистачить однієї GPU компанії на 100 працівників?
Для навантаження так: близько 4 запитів на піку проти 19 розмов gpt-oss-120b на одній RTX PRO 6000. Друга карта з MIG обслуговує моделі RAG, а для відмовостійкості потрібен другий сервер такої самої збірки.
Чи допомагає MIG у розрахунку LLM-сервера?
MIG ділить RTX PRO 6000 щонайбільше на чотири екземпляри по 24 ГБ, а H200 NVL на сім, кожен зі своєю пам'яттю й ізоляцією збоїв. Це зручно для ембедингів, ререйкерів і службових моделей, але gpt-oss-120b із 60,8 ГіБ ваг потребує всієї карти.
Що з цього є в ETE
- NVIDIA RTX PRO 6000 Server Edition 96 ГБ: одна копія gpt-oss-120b приблизно на 19 розмов по 32K, у парі близько 93.
- ETE AI Server RTX PRO: чотири RTX PRO 6000 по 96 ГБ у 4U, тобто дві розділені копії на сервер для рівня 2 000 працівників.
- ETE AI Server H200: дві H200 NVL по 141 ГБ, близько 110 розмов на сервер як альтернатива для 2 000 працівників.
- NVIDIA L40S 48 ГБ: пара Qwen3 на 8B для ембедингів і ререйкінгу поруч із мовною моделлю.
Рахуєте сервер під асистента для всієї компанії?
Напишіть, скільки у вас працівників, які моделі розглядаєте, чи потрібен RAG на документах і чи має сервіс пережити відмову одного сервера. ETE порахує конфігурацію, а за потреби інженери Vixen.UNO розгорнуть vLLM, модель і чат-інтерфейс.