GitLab Duo Self-Hosted позволяет запускать Code Suggestions, Chat и Agent Platform в GitLab Self-Managed на моделях с собственного GPU-сервера, а платформой для моделей GitLab документирует vLLM. Нужны тариф Premium или Ultimate с дополнением GitLab Duo Enterprise, собственный AI Gateway на обычных CPU-серверах и OpenAI-совместимая конечная точка vLLM для каждой модели. По нашему расчёту, команде от 50 до 500 разработчиков хватает сервера с двумя, четырьмя или восемью NVIDIA RTX PRO 6000 Blackwell Server Edition.

Факты о GitLab взяты из документации версии 19.6 по состоянию на 25 октября 2026 года. Она меняется почти с каждым релизом, так что перед заказом проверьте её ещё раз. Общий выбор моделей для кода описан в статье о приватном ассистенте для кода, а ревью запросов на слияние без Duo Enterprise через открытый PR-Agent разобрано в статье об AI-ревью кода.

Коротко

  • GitLab Duo Self-Hosted работает в GitLab Self-Managed на тарифах Premium и Ultimate с дополнением GitLab Duo Enterprise; офлайн-лицензии нужно ещё GitLab Duo Agent Platform Self-Hosted.
  • AI Gateway обходится без GPU: 2 vCPU и 8 ГБ памяти, по данным GitLab, обслуживают около 40 одновременных запросов.
  • Полную оценку GitLab имеют Mistral Small 24B Instruct 2506 и gpt-oss-120b для подсказок и чата, Qwen3.8-27B для Agent Platform, Mistral Medium 3.5 128B для всех функций.
  • По нашему правилу, одна RTX PRO 6000 Server Edition держит Qwen3.8-27B в FP8 и 47 сессий агента по 32K токенов с кэшем FP8; две карты рассчитаны примерно на 50 разработчиков, четыре на 150, восемь на 300 и больше.

Какая лицензия нужна для GitLab Duo Self-Hosted

Duo Self-Hosted доступен на тарифах Premium и Ultimate в GitLab Self-Managed и GitLab Dedicated for Government, а дополнение GitLab Duo Enterprise обязательно даже для функций, которые Duo Core или Duo Pro дают через облачный шлюз GitLab.

Версия GitLab Что изменилось
17.9 самостоятельно развёрнутые модели вышли в общий доступ
18.0 добавлен тариф Premium
18.8 Agent Platform в общем доступе; офлайн-лицензиям нужно дополнение Agent Platform Self-Hosted
18.9 выполнение потоков (flows) офлайн; гибридная схема в общем доступе
19.1 семейство моделей для эмбеддингов
19.2 настройка тайм-аута запроса к модели чата

Источник: документация GitLab «GitLab Duo Self-Hosted», «Configure GitLab Duo Self-Hosted», «Offline deployment» (версия 19.6), прочитано 25.10.2026.

В полностью самостоятельной конфигурации вы разворачиваете собственный AI Gateway, используете только поддерживаемые LLM в своей инфраструктуре и можете работать в полностью изолированной сети. Гибридная схема отправляет выбранные функции на модели под управлением GitLab и требует интернета. С онлайн-лицензией инстанс обращается к серверам лицензирования и биллинга GitLab через порт 443, но, по заявлению GitLab, данные инференса (код, промпты и ответы модели) сеть клиента не покидают. Условия оплаты для онлайн- и офлайн-лицензий разные, их подтверждает отдел продаж GitLab.

AI Gateway: CPU-сервер без видеокарты

AI Gateway стоит между инстансом GitLab и вашими моделями. Страница установки прямо говорит, что GPU шлюзу не нужна. Шлюз запускают как Docker-образ или Helm chart на портах 5052 (HTTP) и 50052 (gRPC для Agent Platform), а тег образа должен соответствовать версии GitLab: для vX.Y.*-ee берут последний тег self-hosted-vX.Y.*-ee.

Масштабирование по цифрам GitLab:

  • 2 vCPU и 8 ГБ RAM: около 40 одновременных запросов;
  • 8 vCPU и 32 ГБ: до 160 одновременных запросов, примерно от 50 до 200 пользователей;
  • больше 200 пользователей: несколько таких экземпляров с автомасштабированием;
  • для планирования: 7 запросов в секунду на 1 000 активных пользователей.

Автодополнение идёт через инстанс GitLab, так что IDE разработчиков не нужен прямой доступ к шлюзу. Потоки Agent Platform выполняются как задания на ваших GitLab runners с образом исполнителя от GitLab.

Настройка vLLM для GitLab Duo

GitLab требует vLLM версии 0.18.1 или новее, а URL конечной точки должен заканчиваться на /v1. В админ-панели каждое развёртывание добавляют с именем, адресом, семейством модели и идентификатором custom_openai/<model>. На практике всё решают три настройки.

  1. Вызов инструментов. Нужны --enable-auto-tool-choice и подходящий --tool-call-parser; без них запросы с инструментами падают с ошибкой о том, что выбор «auto» требует обоих флагов.
  2. Длина контекста. Agent Platform обрезает историю до окна в 200 000 токенов, а поток Code Review отправляет до 1 МиБ контекста запроса на слияние. Задайте --max-model-len под нужный контекст и рассчитайте под него KV-кэш.
  3. Тайм-ауты. AI Gateway по умолчанию обрывает запрос к модели чата через 30 секунд (параметр AIGW_DUO_CHAT__MODEL_REQUEST_TIMEOUT), а общий тайм-аут составляет 120 секунд и настраивается от 60 до 600. Слишком слабый GPU-сервер видно прежде всего по тайм-аутам в чате.

Задайте в vLLM --api-key и тот же ключ в GitLab. Согласно руководству по безопасности vLLM 0.32.0, ключ защищает только пути /v1, /v2, /inference и /cohere, поэтому движок держат во внутренней сети или за LLM-шлюзом с ключами и журналом. Каждая функция Duo получает свою модель, так что подсказки, чат и Agent Platform могут работать на разных моделях и картах.

Какие открытые модели поддерживает GitLab Duo

GitLab оценивает каждую модель для каждой функции: F означает полную функциональность, P частичную, L ограниченную, которую GitLab считает непригодной. Большая часть списка состоит из облачных моделей, а на сервер с RTX PRO 6000 Server Edition помещаются такие открытые:

Модель Код / чат / агент Веса Карт по нашему правилу
Mistral Small 24B 2506 F / F / L 44,7 ГиБ, BF16 1
gpt-oss-120b F / F / L 60,8 ГиБ, MXFP4 1
Qwen3.8-27B L / P / F 28,8 ГиБ, FP8 1
Mistral Medium 3.5 128B F / F / F 124,4 ГиБ, FP8 2 и больше

Источник: оценки F, P, L из документации GitLab «Supported models and hardware requirements» (версия 19.6; Mistral Small 24B 2506 означает Mistral Small 24B Instruct 2506; «код» охватывает автодополнение и генерацию кода, оценённые одинаково); веса как сумма файлов safetensors на Hugging Face, для Qwen3.8-27B-FP8 размер репозитория 30,9 ГБ; прочитано 25.10.2026.

Лицензии разные. gpt-oss-120b и Qwen3.8-27B имеют Apache 2.0 по файлам LICENSE; Mistral Small 3.2 помечена как Apache 2.0 на карточке, но файла LICENSE в репозитории нет. Mistral Medium 3.5 распространяется по «Modified MIT License», раздел 2 которой отменяет все права, если глобальная консолидированная месячная выручка вашей компании (или работодателя) превышает 20 млн долларов; тогда нужно запрашивать коммерческую лицензию, которую Mistral AI выдаёт на своё усмотрение. Лицензия Codestral 22B ограничивает использование в рабочей среде.

Таблица железа в документации GitLab построена на A100: от одной карты на 40 ГБ для модели 7B до двух по 80 ГБ для Codestral 22B. H100 и H200, по словам GitLab, должны работать, но их не проверяли, а карт Blackwell в таблице нет. Поэтому количество карт ниже мы считали сами.

Сколько сессий держит одна RTX PRO 6000 Server Edition

Наше правило берёт 90 % памяти, которую показывает драйвер, минус 3 ГиБ на карту: на одной RTX PRO 6000 Server Edition это 83,0 ГиБ. То, что оставляют веса, идёт на KV-кэш; кэш на токен взят из config.json каждой модели.

Модель и раскладка 32K, кэш 16 бит 32K, кэш FP8 128K, кэш FP8
Qwen3.8-27B, 1 карта 25 47 13
Mistral Small 3.2, 1 карта 7 15 3
gpt-oss-120b, 1 карта 19 не считали не считали
Mistral Medium 3.5, 2 карты 3 7 1
Mistral Medium 3.5, 4 карты 18 37 9
Mistral Medium 3.5, 8 карт 49 98 24

Источник: наша оценка, арифметика памяти, не измеренная производительность; кэш на 32K токенов в 16 битах: Qwen3.8-27B 2,0 ГиБ на 16 слоях полного внимания плюс до 0,14 ГиБ состояния линейного внимания; Mistral Small 3.2 5,0 ГиБ (40 слоёв, 8 KV-голов по 128); Mistral Medium 3.5 11,0 ГиБ (88 слоёв, 8 KV-голов по 128); gpt-oss-120b 1,125 ГиБ.

Qwen3.8-27B экономна для агентов: полный KV-кэш держат только 16 из 64 слоёв, и сессия 32K стоит около 2,1 ГиБ. Помимо предела памяти есть предел скорости: плотная модель читает все веса на каждый токен. StorageReview 14 октября 2026 года измерил её в формате NVFP4 с vLLM: от 17 до 22 токенов/с на один запрос, а на RTX PRO 6000 Workstation Edition 616 токенов/с суммарно на 32 запроса (около 19 на каждый) или 425 с промптами по 8K (около 13). Веса FP8 примерно вдвое больше NVFP4, а Server Edition имеет 1 597 ГБ/с пропускной способности памяти против 1 792 ГБ/с у Workstation Edition, поэтому при многих сессиях мы планируем от 10 до 15 токенов/с на каждую. Такая скорость лучше подходит потокам, которые идут как задания на runners; для более быстрых интерактивных агентов стоит попробовать MoE-модель Qwen3.6-35B-A3B (около 3 млрд активных параметров из 35 млрд), которую GitLab относит к совместимым без отдельной поддержки.

Mistral Medium 3.5 единственная из открытых имеет F для всех функций, но как плотная модель на 128 млрд параметров с 88 полными слоями берёт 11 ГиБ на сессию 32K в 16 битах, и две карты вмещают лишь три сессии. На двух H200 NVL с NVLink (246,8 ГиБ полезных по нашему правилу) она держит 11 сессий 32K, с кэшем FP8 22.

Подсказки кода нагружают GPU слабо. По метрике GitLab 500 разработчиков дают 3,5 запроса в секунду, и каждая секунда обработки добавляет ещё 3,5 одновременных запроса. Mistral Small 3.2 на одной карте вмещает 30 запросов по 8K токенов с 16-битным кэшем, так что тянет автодополнение 500 разработчиков, если средний запрос завершается примерно за 8 секунд. Реальное время ответа покажет пилот.

Конфигурации для команд от 50 до 500 разработчиков

Сервер определяют сессии агентов. По правилу из статьи о сервере для агентов кода верхняя граница составляет одну генерирующую сессию на разработчика в пиковый час, а реальную долю покажет пилот.

Сервер Код и чат Сессий агентов, 32K Потребление из сети
2 × RTX PRO 6000 SE 1 карта, Mistral Small 3.2 47 с кэшем FP8, 25 с 16-битным около 1,8 кВт
4 × RTX PRO 6000 SE 1 карта, Mistral Small 3.2 141 с кэшем FP8, 75 с 16-битным около 3,4 кВт
8 × RTX PRO 6000 SE 1 карта, Mistral Small 3.2 329 с кэшем FP8, 175 с 16-битным около 6,3 кВт
8 × RTX PRO 6000 SE Mistral Medium 3.5, TP=8 98 с кэшем FP8, 49 с 16-битным около 6,3 кВт

Источник: наша оценка, по одной копии Qwen3.8-27B на карту агентов (от 10 до 15 токенов/с на сессию, когда генерируют все); потребление с картами по 600 Вт, двумя процессорами AMD EPYC и 15 % на остальное; линии питания планируйте по цифрам производителя.

Около 50 разработчиков: две карты. Одна обслуживает Code Suggestions и чат на Mistral Small 3.2, вторая запускает Qwen3.8-27B для Agent Platform на 47 сессий, почти по одной на разработчика. С контекстом 128K карта агентов держит 13 сессий, так что команде с длинными потоками ревью вторая карта агентов понадобится рано. Такой сервер работает от одной линии 230 В на 16 А.

Около 150 разработчиков: четыре карты. Три копии Qwen3.8-27B держат 141 сессию, а первую карту можно отдать под чат на gpt-oss-120b, которую GitLab тоже оценивает на F для чата.

От 300 до 500 разработчиков: восемь карт или два сервера. Семь карт агентов держат 329 сессий, чего хватит 500 разработчикам, если в пиковый час с агентом работают около двух третей. Два четырёхкарточных сервера вместо одного восьмикарточного позволяют Duo работать дальше, когда один сервер остановлен: их шесть карт агентов держат 282 сессии, а LLM-шлюз распределяет нагрузку. Восьмикарточному серверу нужно трёхфазное питание 400 В, которое в коммерческих помещениях подключают по техническим условиям оператора системы распределения, а с учётом отключений в Украине ещё ИБП и генератор (см. статью о питании станции с несколькими GPU).

Одна модель на всё. Mistral Medium 3.5 на восьми картах имеет полную оценку для каждой функции, но держит лишь 49 сессий 32K в 16 битах (98 с кэшем FP8), а лицензия исключает компании выше порога выручки. Её берут, только когда пилот показывает, что меньшие модели не справляются.

ETE собирает серверы на две, четыре или восемь RTX PRO 6000 Server Edition либо на H200 NVL и считает раскладку карт под ваши функции Duo; лицензии и дополнения покупают у GitLab.

GitLab Duo без интернета

Офлайн-руководство GitLab охватывает Premium и Ultimate на версии 18.9 или новее с офлайн-лицензией, для которой ещё до покупки нужно получить исключение из облачного лицензирования (opt-out). В изолированную сеть переносят образ AI Gateway (около 0,6 ГиБ), исполнитель потоков Agent Platform (около 0,5 ГиБ), образ vllm/vllm-openai версии 0.18.1 или новее (около 9 ГиБ) и веса модели, которые vLLM читает из файловой системы; в примере GitLab это Mistral Small 24B, около 48 ГБ. Хосту инференса нужны драйвер NVIDIA, CUDA и NVIDIA Container Toolkit.

Проверка состояния GitLab тестирует шлюз и лицензию, но не инференс, поэтому после каждого обновления проверяйте чат и Code Suggestions напрямую. С каждым обновлением GitLab переносите образы шлюза и исполнителя новой версии; веса остаются, пока вы не меняете модели.

Частые вопросы

Какие требования к железу у GitLab Duo Self-Hosted?

AI Gateway видеокарта не нужна: 2 vCPU и 8 ГБ обслуживают около 40 одновременных запросов. Для моделей нужен GPU-сервер; по нашему расчёту, две RTX PRO 6000 Server Edition обслуживают около 50 разработчиков, четыре около 150, восемь 300 и больше.

Поддерживает ли GitLab Duo Self-Hosted vLLM?

Да, GitLab документирует vLLM как платформу для моделей, начиная с версии 0.18.1. Адрес заканчивается на /v1, идентификатор модели имеет вид custom_openai/<model>, а для Agent Platform vLLM запускают с --enable-auto-tool-choice и подходящим --tool-call-parser.

Какая лицензия GitLab нужна для Duo Self-Hosted?

Premium или Ultimate на Self-Managed с дополнением GitLab Duo Enterprise, а с офлайн-лицензией начиная с версии 18.8 ещё и GitLab Duo Agent Platform Self-Hosted. Коммерческие условия подтверждает GitLab.

Какую локальную модель подключить к GitLab Duo?

Qwen3.8-27B имеет полную оценку для Agent Platform, Mistral Small 24B Instruct 2506 и gpt-oss-120b для подсказок и чата, и каждая помещается на одну RTX PRO 6000 Server Edition. Mistral Medium 3.5 128B имеет F для всего, но требует минимум двух карт и содержит порог выручки в лицензии.

Сколько GPU нужно для GitLab Duo на 500 разработчиков?

По нашей оценке, восемь RTX PRO 6000 Server Edition: одна под подсказки и чат, семь под 329 сессий агентов по 32K с кэшем FP8. Два четырёхкарточных сервера держат 282 такие сессии. Реальную долю разработчиков с агентами покажет пилот.

Что из этого есть в ETE

  • NVIDIA RTX PRO 6000 Server Edition 96 ГБ: основа всех конфигураций статьи, одна держит 47 сессий агентов.
  • ETE AI Server RTX PRO: четыре RTX PRO 6000 Server Edition (384 ГБ): 141 сессия агентов на трёх картах, команда около 150 разработчиков.
  • ETE AI XL43: восемь RTX PRO 6000 Server Edition для команд от 300 до 500 разработчиков или Mistral Medium 3.5 на TP=8.
  • ETE AI Server H200: две H200 NVL по 141 ГБ для Mistral Medium 3.5 на 11 сессий 32K.

Планируете GitLab Duo на собственных GPU?

Напишите, сколько у вас разработчиков, какие функции Duo (подсказки кода, чат, Agent Platform) вы будете включать и должна ли система работать без интернета. ETE посчитает раскладку карт, а при необходимости инженеры Vixen.UNO настроят vLLM и модели под GitLab.

Обсудить задачу

Автор: Инженер ETE