GitLab Duo Self-Hosted дозволяє запускати Code Suggestions, Chat і Agent Platform у GitLab Self-Managed на моделях із власного GPU-сервера, а платформою для моделей GitLab документує vLLM. Потрібні тариф Premium або Ultimate з доповненням GitLab Duo Enterprise, власний AI Gateway на звичайних CPU-серверах і OpenAI-сумісна кінцева точка vLLM для кожної моделі. За нашим розрахунком, команді від 50 до 500 розробників вистачає сервера з двома, чотирма чи вісьмома NVIDIA RTX PRO 6000 Blackwell Server Edition.

Факти про GitLab узято з документації версії 19.6 станом на 25 жовтня 2026 року. Вона змінюється майже з кожним випуском, тож перед замовленням перевірте її ще раз. Загальний вибір моделей для коду описано в статті про приватний асистент для коду, а рецензування запитів на злиття без Duo Enterprise через відкритий PR-Agent у статті про AI-рецензування коду.

Коротко

  • GitLab Duo Self-Hosted працює в GitLab Self-Managed на тарифах Premium і Ultimate з доповненням GitLab Duo Enterprise; офлайн-ліцензія потребує ще GitLab Duo Agent Platform Self-Hosted.
  • AI Gateway обходиться без GPU: 2 vCPU і 8 ГБ пам'яті, за даними GitLab, обслуговують близько 40 одночасних запитів.
  • Повну оцінку GitLab мають Mistral Small 24B Instruct 2506 і gpt-oss-120b для підказок і чату, Qwen3.8-27B для Agent Platform, Mistral Medium 3.5 128B для всіх функцій.
  • За нашим правилом, одна RTX PRO 6000 Server Edition тримає Qwen3.8-27B у FP8 і 47 сесій агента по 32K токенів із кешем FP8; дві карти розраховані приблизно на 50 розробників, чотири на 150, вісім на 300 і більше.

Яка ліцензія потрібна для GitLab Duo Self-Hosted

Duo Self-Hosted доступний на тарифах Premium і Ultimate у GitLab Self-Managed і GitLab Dedicated for Government, а доповнення GitLab Duo Enterprise обов'язкове навіть для функцій, які Duo Core чи Duo Pro дають через хмарний шлюз GitLab.

Версія GitLab Що змінилося
17.9 самостійно розгорнуті моделі вийшли в загальний доступ
18.0 додано тариф Premium
18.8 Agent Platform у загальному доступі; офлайн-ліцензії потребують доповнення Agent Platform Self-Hosted
18.9 виконання потоків (flows) офлайн; гібридна схема в загальному доступі
19.1 сімейство моделей для ембедингів
19.2 налаштування тайм-ауту запиту до моделі чату

Джерело: документація GitLab «GitLab Duo Self-Hosted», «Configure GitLab Duo Self-Hosted», «Offline deployment» (версія 19.6), прочитано 25.10.2026.

У повністю самостійній конфігурації ви розгортаєте власний AI Gateway, використовуєте лише підтримувані LLM у своїй інфраструктурі й можете працювати в повністю ізольованій мережі. Гібридна схема відправляє вибрані функції на моделі під керуванням GitLab і потребує інтернету. З онлайн-ліцензією інстанс звертається до серверів ліцензування й білінгу GitLab через порт 443, але, за заявою GitLab, дані інференсу (код, промпти й відповіді моделі) мережу клієнта не залишають. Умови оплати для онлайн- і офлайн-ліцензій різні, їх підтверджує відділ продажів GitLab.

AI Gateway: CPU-сервер без відеокарти

AI Gateway стоїть між інстансом GitLab і вашими моделями. Сторінка встановлення прямо каже, що GPU шлюзу не потрібна. Шлюз запускають як Docker-образ або Helm chart на портах 5052 (HTTP) і 50052 (gRPC для Agent Platform), а тег образу має відповідати версії GitLab: для vX.Y.*-ee беруть останній тег self-hosted-vX.Y.*-ee.

Масштабування за цифрами GitLab:

  • 2 vCPU і 8 ГБ RAM: близько 40 одночасних запитів;
  • 8 vCPU і 32 ГБ: до 160 одночасних запитів, приблизно від 50 до 200 користувачів;
  • понад 200 користувачів: кілька таких екземплярів з автомасштабуванням;
  • для планування: 7 запитів на секунду на 1 000 активних користувачів.

Автодоповнення йде через інстанс GitLab, тож IDE розробників прямого доступу до шлюзу не потребують. Потоки Agent Platform виконуються як завдання на ваших GitLab runners з образом виконавця від GitLab.

Налаштування vLLM для GitLab Duo

GitLab вимагає vLLM версії 0.18.1 або новішої, а URL кінцевої точки має закінчуватися на /v1. В адмін-панелі кожне розгортання додають з назвою, адресою, сімейством моделі й ідентифікатором custom_openai/<model>. На практиці все вирішують три налаштування.

  1. Виклик інструментів. Потрібні --enable-auto-tool-choice і відповідний --tool-call-parser; без них запити з інструментами падають з помилкою, що вибір «auto» потребує обох прапорців.
  2. Довжина контексту. Agent Platform обрізає історію до вікна в 200 000 токенів, а потік Code Review надсилає до 1 МіБ контексту запиту на злиття. Задайте --max-model-len під потрібний контекст і розрахуйте під нього KV-кеш.
  3. Тайм-аути. AI Gateway типово обриває запит до моделі чату через 30 секунд (параметр AIGW_DUO_CHAT__MODEL_REQUEST_TIMEOUT), а загальний тайм-аут становить 120 секунд і налаштовується від 60 до 600. Замалий GPU-сервер видно передусім за тайм-аутами в чаті.

Задайте у vLLM --api-key і той самий ключ у GitLab. За посібником із безпеки vLLM 0.32.0, ключ захищає лише шляхи /v1, /v2, /inference і /cohere, тому рушій тримають у внутрішній мережі або за LLM-шлюзом із ключами й журналом. Кожна функція Duo отримує власну модель, тож підказки, чат і Agent Platform можуть працювати на різних моделях і картах.

Які відкриті моделі підтримує GitLab Duo

GitLab оцінює кожну модель для кожної функції: F означає повну функціональність, P часткову, L обмежену, яку GitLab вважає непридатною. Більшість списку становлять хмарні моделі, а на сервер із RTX PRO 6000 Server Edition вміщуються такі відкриті:

Модель Код / чат / агент Ваги Карт за нашим правилом
Mistral Small 24B 2506 F / F / L 44,7 ГіБ, BF16 1
gpt-oss-120b F / F / L 60,8 ГіБ, MXFP4 1
Qwen3.8-27B L / P / F 28,8 ГіБ, FP8 1
Mistral Medium 3.5 128B F / F / F 124,4 ГіБ, FP8 2 і більше

Джерело: оцінки F, P, L з документації GitLab «Supported models and hardware requirements» (версія 19.6; Mistral Small 24B 2506 означає Mistral Small 24B Instruct 2506; «код» охоплює автодоповнення й генерацію коду, оцінені однаково); ваги як сума файлів safetensors на Hugging Face, для Qwen3.8-27B-FP8 розмір репозиторію 30,9 ГБ; прочитано 25.10.2026.

Ліцензії різні. gpt-oss-120b і Qwen3.8-27B мають Apache 2.0 за файлами LICENSE; Mistral Small 3.2 позначена як Apache 2.0 на картці, але файлу LICENSE у репозиторії немає. Mistral Medium 3.5 поширюється за «Modified MIT License», розділ 2 якої скасовує всі права, якщо глобальний консолідований місячний дохід вашої компанії (або роботодавця) перевищує 20 млн доларів; тоді треба просити комерційну ліцензію, яку Mistral AI надає на власний розсуд. Ліцензія Codestral 22B обмежує використання в робочому середовищі.

Таблиця заліза в документації GitLab побудована на A100: від однієї карти на 40 ГБ для моделі 7B до двох по 80 ГБ для Codestral 22B. H100 і H200, за словами GitLab, мають працювати, але їх не перевіряли, а карт Blackwell у таблиці немає. Тому кількість карт нижче ми рахували самі.

Скільки сесій тримає одна RTX PRO 6000 Server Edition

Наше правило бере 90 % пам'яті, яку показує драйвер, мінус 3 ГіБ на карту: на одній RTX PRO 6000 Server Edition це 83,0 ГіБ. Те, що лишають ваги, йде на KV-кеш; кеш на токен узято з config.json кожної моделі.

Модель і розкладка 32K, кеш 16 біт 32K, кеш FP8 128K, кеш FP8
Qwen3.8-27B, 1 карта 25 47 13
Mistral Small 3.2, 1 карта 7 15 3
gpt-oss-120b, 1 карта 19 не рахували не рахували
Mistral Medium 3.5, 2 карти 3 7 1
Mistral Medium 3.5, 4 карти 18 37 9
Mistral Medium 3.5, 8 карт 49 98 24

Джерело: наша оцінка, арифметика пам'яті, не виміряна швидкодія; кеш на 32K токенів у 16 бітах: Qwen3.8-27B 2,0 ГіБ на 16 шарах повної уваги плюс до 0,14 ГіБ стану лінійної уваги; Mistral Small 3.2 5,0 ГіБ (40 шарів, 8 KV-голів по 128); Mistral Medium 3.5 11,0 ГіБ (88 шарів, 8 KV-голів по 128); gpt-oss-120b 1,125 ГіБ.

Qwen3.8-27B економна для агентів: повний KV-кеш тримають лише 16 із 64 шарів, і сесія 32K коштує близько 2,1 ГіБ. Окрім межі пам'яті є межа швидкості: щільна модель читає всі ваги на кожен токен. StorageReview 14 жовтня 2026 року виміряв її у форматі NVFP4 з vLLM: від 17 до 22 токенів/с на один запит, а на RTX PRO 6000 Workstation Edition 616 токенів/с сумарно на 32 запити (близько 19 на кожен) або 425 із промптами по 8K (близько 13). Ваги FP8 приблизно вдвічі більші за NVFP4, а Server Edition має 1 597 ГБ/с пропускної здатності пам'яті проти 1 792 ГБ/с у Workstation Edition, тож при багатьох сесіях ми плануємо від 10 до 15 токенів/с на кожну. Така швидкість краще пасує потокам, що йдуть як завдання на runners; для швидших інтерактивних агентів варто випробувати MoE-модель Qwen3.6-35B-A3B (близько 3 млрд активних параметрів із 35 млрд), яку GitLab вносить до сумісних без окремої підтримки.

Mistral Medium 3.5 єдина з відкритих має F для всіх функцій, але як щільна модель на 128 млрд параметрів з 88 повними шарами бере 11 ГіБ на сесію 32K у 16 бітах, і дві карти вміщують лише три сесії. На двох H200 NVL з NVLink (246,8 ГіБ корисних за нашим правилом) вона тримає 11 сесій 32K, з кешем FP8 22.

Підказки коду навантажують GPU мало. За метрикою GitLab 500 розробників дають 3,5 запиту на секунду, і кожна секунда обробки додає ще 3,5 одночасних запити. Mistral Small 3.2 на одній карті вміщує 30 запитів по 8K токенів із 16-бітним кешем, тож тягне автодоповнення 500 розробників, якщо середній запит завершується приблизно за 8 секунд. Реальний час відповіді покаже пілот.

Конфігурації для команд від 50 до 500 розробників

Сервер визначають сесії агентів. За правилом зі статті про сервер для агентів коду верхня межа становить одну сесію, що генерує, на розробника в пікову годину, а реальну частку покаже пілот.

Сервер Код і чат Сесій агентів, 32K Споживання з мережі
2 × RTX PRO 6000 SE 1 карта, Mistral Small 3.2 47 з кешем FP8, 25 з 16-бітним близько 1,8 кВт
4 × RTX PRO 6000 SE 1 карта, Mistral Small 3.2 141 з кешем FP8, 75 з 16-бітним близько 3,4 кВт
8 × RTX PRO 6000 SE 1 карта, Mistral Small 3.2 329 з кешем FP8, 175 з 16-бітним близько 6,3 кВт
8 × RTX PRO 6000 SE Mistral Medium 3.5, TP=8 98 з кешем FP8, 49 з 16-бітним близько 6,3 кВт

Джерело: наша оцінка, по одній копії Qwen3.8-27B на карту агентів (від 10 до 15 токенів/с на сесію, коли генерують усі); споживання з картами по 600 Вт, двома процесорами AMD EPYC і 15 % на решту; лінії живлення плануйте за цифрами виробника.

Близько 50 розробників: дві карти. Одна обслуговує Code Suggestions і чат на Mistral Small 3.2, друга запускає Qwen3.8-27B для Agent Platform на 47 сесій, майже по одній на розробника. З контекстом 128K карта агентів тримає 13 сесій, тож команді з довгими потоками рецензування друга карта агентів знадобиться рано. Такий сервер працює від однієї лінії 230 В на 16 А.

Близько 150 розробників: чотири карти. Три копії Qwen3.8-27B тримають 141 сесію, а першу карту можна віддати під чат на gpt-oss-120b, яку GitLab теж оцінює на F для чату.

Від 300 до 500 розробників: вісім карт або два сервери. Сім карт агентів тримають 329 сесій, чого вистачить 500 розробникам, якщо в пікову годину з агентом працюють близько двох третин. Два чотирикартні сервери замість одного восьмикартного дають Duo працювати далі, коли один сервер зупинено: їхні шість карт агентів тримають 282 сесії, а LLM-шлюз розподіляє навантаження. Восьмикартному серверу потрібне трифазне живлення 400 В, яке в комерційних приміщеннях підключають за технічними умовами оператора системи розподілу, а з огляду на відключення в Україні ще й ДБЖ і генератор (див. статтю про живлення станції з кількома GPU).

Одна модель на все. Mistral Medium 3.5 на восьми картах має повну оцінку для кожної функції, але тримає лише 49 сесій 32K у 16 бітах (98 з кешем FP8), а її ліцензія не для компаній понад поріг доходу. Її беруть, лише коли пілот показує, що менші моделі не справляються.

ETE збирає сервери на дві, чотири чи вісім RTX PRO 6000 Server Edition або на H200 NVL і рахує розкладку карт під ваші функції Duo; ліцензії й доповнення купують у GitLab.

GitLab Duo без інтернету

Офлайн-посібник GitLab охоплює Premium і Ultimate на версії 18.9 або новішій з офлайн-ліцензією, для якої ще до купівлі треба отримати виняток із хмарного ліцензування (opt-out). В ізольовану мережу переносять образ AI Gateway (близько 0,6 ГіБ), виконавець потоків Agent Platform (близько 0,5 ГіБ), образ vllm/vllm-openai версії 0.18.1 або новішої (близько 9 ГіБ) і ваги моделі, які vLLM читає з файлової системи; у прикладі GitLab це Mistral Small 24B, близько 48 ГБ. Хосту інференсу потрібні драйвер NVIDIA, CUDA і NVIDIA Container Toolkit.

Перевірка стану GitLab тестує шлюз і ліцензію, але не інференс, тому після кожного оновлення перевіряйте чат і Code Suggestions напряму. З кожним оновленням GitLab переносьте образи шлюзу й виконавця нової версії; ваги лишаються, доки ви не міняєте моделі.

Часті питання

Які вимоги до заліза в GitLab Duo Self-Hosted?

AI Gateway відеокарти не потребує: 2 vCPU і 8 ГБ обслуговують близько 40 одночасних запитів. Для моделей потрібен GPU-сервер; за нашим розрахунком, дві RTX PRO 6000 Server Edition обслуговують близько 50 розробників, чотири близько 150, вісім 300 і більше.

Чи підтримує GitLab Duo Self-Hosted vLLM?

Так, vLLM від версії 0.18.1 є платформою, яку документує GitLab. Адреса закінчується на /v1, ідентифікатор моделі має вигляд custom_openai/<model>, а для Agent Platform vLLM запускають з --enable-auto-tool-choice і відповідним --tool-call-parser.

Яка ліцензія GitLab потрібна для Duo Self-Hosted?

Premium або Ultimate на Self-Managed з доповненням GitLab Duo Enterprise, а з офлайн-ліцензією від версії 18.8 ще й GitLab Duo Agent Platform Self-Hosted. Комерційні умови підтверджує GitLab.

Яку локальну модель підключити до GitLab Duo?

Qwen3.8-27B має повну оцінку для Agent Platform, Mistral Small 24B Instruct 2506 і gpt-oss-120b для підказок і чату, і кожна вміщується на одну RTX PRO 6000 Server Edition. Mistral Medium 3.5 128B має F для всього, але потребує щонайменше двох карт і має поріг доходу в ліцензії.

Скільки GPU потрібно для GitLab Duo на 500 розробників?

За нашою оцінкою, вісім RTX PRO 6000 Server Edition: одна під підказки й чат, сім під 329 сесій агентів по 32K із кешем FP8. Два чотирикартні сервери тримають 282 такі сесії. Реальну частку розробників з агентами покаже пілот.

Що з цього є в ETE

  • NVIDIA RTX PRO 6000 Server Edition 96 ГБ: основа всіх конфігурацій статті, одна тримає 47 сесій агентів.
  • ETE AI Server RTX PRO: чотири RTX PRO 6000 Server Edition (384 ГБ): 141 сесія агентів на трьох картах, команда близько 150 розробників.
  • ETE AI XL43: вісім RTX PRO 6000 Server Edition для команд від 300 до 500 розробників або Mistral Medium 3.5 на TP=8.
  • ETE AI Server H200: дві H200 NVL по 141 ГБ для Mistral Medium 3.5 на 11 сесій 32K.

Плануєте GitLab Duo на власних GPU?

Напишіть, скільки у вас розробників, які функції Duo (підказки коду, чат, Agent Platform) ви вмикатимете і чи має система працювати без інтернету. ETE порахує розкладку карт, а за потреби інженери Vixen.UNO налаштують vLLM і моделі під GitLab.

Обговорити задачу

Автор: Інженер ETE