Корпоративный ChatGPT на своём сервере, то есть замена ChatGPT, Claude или Gemini, работает полностью на оборудовании компании. Её составляют сервер модели с API, совместимым с OpenAI (например, vLLM), чат-интерфейс с учётными записями (Open WebUI или LibreChat), вход через ваш провайдер идентификации, слой документов с правами каждого пользователя, журнал запросов и GPU-серверы, рассчитанные на пиковое число одновременных запросов. Запросы и документы уходят наружу только через подключения, которые вы добавили сами.

Коротко

  • Ключ --api-key в vLLM защищает не все маршруты, поэтому к порту vLLM должен иметь доступ только хост чат-интерфейса.
  • LibreChat распространяется по MIT; собственная лицензия Open WebUI с v0.6.6 не ограничивает число пользователей внутри компании, но защищает брендинг, если за 30 дней конечных пользователей больше 50.
  • Оба интерфейса поддерживают OpenID Connect, SAML напрямую есть только в LibreChat; Open WebUI открывает базы знаний группам, поэтому права на отдельные документы проверяют при поиске.
  • Аудит-журнал Open WebUI по умолчанию выключен, обрезает тела до 2 048 байт и не видит ответов, поэтому полную запись даёт сохранённая история чатов или шлюз перед vLLM.
  • На одной RTX PRO 6000 на 96 ГБ модель gpt-oss-120b оставляет около 22,2 ГиБ под KV-кеш, то есть примерно 19 одновременных разговоров с заявленным контекстом 32K.

Из чего состоит приватный чат-ассистент

В таблице восемь составляющих и решения, которые придётся принять по каждой.

Компонент Варианты Что решить
Сервер модели vLLM, SGLang, NVIDIA NIM модель, точность, заявленный контекст
Чат-интерфейс Open WebUI, LibreChat условия лицензии, функции по ролям
Вход и роли OIDC, SAML, LDAP, SCIM локальный вход, срок жизни токена, доступ к моделям
Документы и RAG загрузки, базы знаний, сервис поиска где проверяются права на документ
Журнал запросов история чатов, аудит-журнал, шлюз что хранить, кто читает, как долго
Защитные механизмы функции-фильтры, модели-охранники какие входы и выходы проверять
Модель Apache 2.0 или лицензии сообщества условия лицензии, языки, память
GPU-сервер по числу одновременных запросов количество карт, второй хост

Источник: документация vLLM, Open WebUI, LibreChat и NeMo Guardrails, прочитано 06.10.2026.

Сервер модели: vLLM с API, совместимым с OpenAI

vLLM распространяется по Apache 2.0 и представляет собой HTTP-сервер, реализующий Completions API, Chat API и другие API OpenAI; запускают его командой vllm serve с именем модели. Опция --api-key проверяет статические ключи только на маршрутах /v1, /v2, /inference и /cohere. Страница безопасности vLLM (прочитано 23.10.2026) перечисляет маршруты без ключа, среди них /invocations, /rerank и /update_weights, поэтому к порту vLLM должен иметь доступ только хост интерфейса. Учётных записей у vLLM нет, параметр user он игнорирует, так что кто о чём спрашивал, знает только интерфейс или шлюз.

--max-model-len выставляют под контекст разговоров, а не под максимум модели, потому что от него зависит, сколько разговоров помещается одновременно. vLLM по умолчанию собирает анонимную статистику использования, пока не задано VLLM_NO_USAGE_STATS=1.

Open WebUI или LibreChat: интерфейс и лицензии

Оба подключаются к любому совместимому с OpenAI серверу: Open WebUI через Settings, Admin, Connections с адресом /v1 сервера vLLM, LibreChat через custom endpoint с baseURL в librechat.yaml. Open WebUI ищет в базах знаний, при желании с BM25 и реранкингом; у LibreChat свой RAG API на PostgreSQL с pgvector. Небольшой команде может хватить AnythingLLM, где чат и поиск по документам собраны в одной программе.

LibreChat распространяется по MIT, его отдельная админпанель по AGPL-3.0. У Open WebUI с v0.6.6 от 19 апреля 2025 года собственная лицензия: условия BSD-3 плюс пункт, запрещающий менять, убирать или заменять брендинг, если в развёртывании больше 50 конечных пользователей за любые 30 дней подряд и нет письменного разрешения правообладателя или корпоративной лицензии. Для внутреннего использования ограничений по числу пользователей нет, пока брендинг заметен, но лицензия не одобрена OSI, что важно, если политика компании допускает только OSI-лицензии.

Вход через SSO: OIDC, SAML, роли и группы

В обоих интерфейсах вход работает через OpenID Connect. Open WebUI документирует также LDAP и доверенный заголовок от прокси, причём ошибка в такой настройке позволяет входить под кем угодно. Нативного SAML в нём мы не нашли, поэтому его подключают через брокер вроде Keycloak. LibreChat поддерживает SAML напрямую, но не вместе с OpenID Connect и без Single Logout.

Роли и группы приходят из токена. В Open WebUI OAUTH_ADMIN_ROLES задаёт роли администраторов, OAUTH_ALLOWED_ROLES роли, которым вход разрешён, а ENABLE_OAUTH_GROUP_MANAGEMENT при каждом входе строго синхронизирует членство с токеном и убирает вручную назначенные группы. Разрешения только суммируются, поэтому документация советует минимальные права по умолчанию. LibreChat пускает только перечисленные роли через OPENID_REQUIRED_ROLE и управляет правами на функции в админпанели (нужна v0.8.5 или новее).

Новые учётные записи Open WebUI получают статус pending, а ENABLE_LOGIN_FORM=false убирает локальную форму пароля. Токены сессии по умолчанию живут четыре недели (4w) и без Redis остаются действительными после выхода; деактивация их тоже не отзывает, поэтому администратор дополнительно нажимает Sign out all devices. Со SCIM 2.0 пользователей деактивирует сам провайдер идентификации.

Документы, RAG и права на каждый документ

В Open WebUI базу знаний открывают группам или отдельным людям через список доступа, а инструмент oikb зеркалирует в неё репозитории Git, пространства Confluence и бакеты S3. Список доступа действует на всю базу; механизма, который переносил бы в индекс права отдельных документов из системы-источника, в документации мы не нашли. Onyx синхронизирует такие права из SharePoint, Teams и Confluence в платной Enterprise Edition, см. статью об Onyx на собственном сервере.

Если у коллекции одна аудитория, этого достаточно. Если же в одном хранилище смешаны документы для разных читателей, права проверяют при поиске: фильтр по идентичности и группам пользователя срабатывает до ранжирования, как объяснено в статье о RAG на данных компании. В Open WebUI идентичность в сервис поиска передаёт функция-фильтр, которая получает полную запись пользователя.

Журнал запросов и ответов: что хранить и как долго

Open WebUI хранит разговоры в своей базе. Пользователи удаляют их, если у них есть разрешение Allow Chat Delete, а администраторы читают чужие чаты, пока ENABLE_ADMIN_CHAT_ACCESS имеет значение по умолчанию true. Отдельный аудит-журнал по умолчанию выключен; уровень METADATA пишет пользователя, IP, метод, URL и время, REQUEST_RESPONSE добавляет тела, обрезанные до 2 048 байт, а исключения по умолчанию /chats, /chat и /folders оставляют чат вне журнала. LibreChat по умолчанию удаляет временные чаты через 720 часов.

Даже с включёнными маршрутами чата журнал видит запрос, но не ответ: текст ответа приходит в браузер через websocket и сохраняется вместе с чатом. Полную запись даёт либо сохранённая история (без права удалять и без временных чатов), либо шлюз между интерфейсом и сервером модели, которому Open WebUI при ENABLE_FORWARD_USER_INFO_HEADERS=true передаёт имя, ID, e-mail и роль пользователя.

Журнал запросов сотрудников содержит их персональные данные. Обрабатывать их можно на основании трудовых отношений (ст. 7 и ст. 11 Закона № 2297-VI), а с любым мониторингом сотрудника, по ст. 29 КЗоТ, заранее знакомят под подпись. Приближенный к GDPR законопроект № 8153 на ноябрь 2026 года не принят, специального закона об ИИ в Украине пока нет. EU AI Act может применяться, если систему выводят на рынок ЕС или её результаты используют в ЕС. Собственный сервер не заменяет правового основания и информирования людей, а срок хранения журнала определит ваш юрист.

Публичный API для отдельных задач добавляют ещё одним подключением только для разрешённых групп, и его использование видно в журнале. Direct Connections держат выключенными, потому что с ними браузер обращается к провайдеру API напрямую, мимо сервера и журнала.

Защитные механизмы и лицензии открытых моделей

У функций-фильтров Open WebUI есть inlet перед моделью и outlet перед пользователем, а глобальный активный фильтр принудительно включается для всех моделей. NeMo Guardrails от NVIDIA (Apache 2.0) добавляет проверки входа, выхода и поиска, а модели gpt-oss-safeguard от OpenAI (тоже Apache 2.0) классифицируют текст по вашим политикам безопасности.

Модель Лицензия Что проверить
gpt-oss-20b, gpt-oss-120b Apache 2.0 политика использования: соблюдать применимое законодательство
Qwen3-32B, Qwen3.8-27B Apache 2.0 у Qwen3.8-Flash-Next лицензия Qwen Community License 1.0
Gemma 4, от E2B до 31B Apache 2.0 Gemma 3 остаётся под Gemma Terms of Use
Llama 3.3 70B лицензия сообщества Llama 3.3 «Built with Llama» на продуктах; отдельная лицензия Meta свыше 700 млн активных пользователей в месяц
Llama 4 Scout лицензия сообщества Llama 4 права на мультимодальные модели не предоставлены компаниям с основным местом деятельности в ЕС
Muse Glimmer 30B (Meta) Apache 2.0 у Muse Spark Open собственная Muse Model License

Источник: карточки моделей, файлы лицензий и политики использования Meta, прочитано 06.10.2026, Muse 23.10.2026; политика Llama 4 перечитана 31.10.2026.

Проверяйте карточку каждой модели. Ограничение Llama 4 стоит учесть, если модель будет использовать европейская компания вашей группы.

Для ассистента на украинском полезен Ukrainian LLM Leaderboard от lang-uk: в файле за май 2026 года самые высокие баллы у Gemma 4 26B A4B в режиме рассуждений, в том числе 86,6 % в MMLU-uk. gpt-oss-120b на грамматическом бенчмарке UNLP 2026 набирает около 55 % на украинском, а модели-лидеры там набирают около 60 %. MamayLM v2.0 от INSAIT (12B и 27B на Gemma 3) сделана для украинского, но распространяется по Gemma Terms of Use.

Сколько GPU нужно на одновременных пользователей

GPU считают по числу одновременных запросов в пиковый час, а не по штату. KV-кеш получает 0,9 от памяти, которую показывает драйвер, минус 3 ГиБ и минус веса; долю задаёт gpu_memory_utilization в vLLM, теперь по умолчанию 0,92. RTX PRO 6000 на 96 ГБ показывает 95,6 ГиБ, значит, 0,9 дают 86,0 ГиБ. Чекпойнт gpt-oss-120b с экспертными весами в MXFP4 занимает 65,3 ГБ, или 60,8 ГиБ, и оставляет около 22,2 ГиБ. Только 18 из 36 слоёв держат кеш на весь контекст, остальные работают с окном в 128 токенов, поэтому токен стоит 36 КиБ кеша в BF16. Разговор с заявленным контекстом 32K требует 1,125 ГиБ, и одновременно помещается около 19 разговоров; собственную цифру vLLM печатает при запуске.

Конфигурация Как размещена gpt-oss-120b Разговоров по 32K одновременно
1 × RTX PRO 6000, 96 ГБ одна копия около 19
4 × RTX PRO 6000 Server Edition четыре отдельные копии около 76
4 × RTX PRO 6000 Server Edition две копии, каждая на паре карт с тензорным параллелизмом около 186

Источник: расчёт по правилу «0,9 × память драйвера минус 3 ГиБ минус веса»; пропускная способность при такой нагрузке не измерялась.

Пара с тензорным параллелизмом хранит веса один раз на две карты, поэтому разговоров помещается больше. NVLink у этих карт нет, обмен идёт через PCIe, а vLLM отключает собственный all-reduce для более чем двух GPU без NVLink, так что две пары выгоднее. Нужен нагрузочный тест. Расчёт для 100, 500 и 2 000 сотрудников есть в статье о сервере по размеру компании, а различия версий карты в материале RTX PRO 6000: Workstation, Max-Q и Server Edition.

Весь разговор отправляется с каждым запросом, а prefix caching в vLLM повторно использует уже обработанную историю. Open WebUI ещё и в фоне вызывает модель для заголовков, тегов, подсказок и автодополнения, по умолчанию ту же, что и в чате; документация советует для этого небольшую модель без рассуждений вторым экземпляром vLLM, а автодополнение отключать первым. Для доступности планируйте вторую карту во втором хосте.

Конфигурацию под ваш пик одновременных запросов ETE рассчитывает по реальной нагрузке, а развёртывание vLLM, Open WebUI или LibreChat при необходимости берут на себя инженеры Vixen.UNO.

Внедрение поэтапно: пилотная группа, политика, обучение

  1. Выберите один процесс и пилотную группу и договоритесь о метриках, которых пилот должен достичь до расширения.
  2. Напишите политику использования: какие классы данных можно вводить, какие модели и подключения есть у каждой группы, что журналируется, кто это читает и как долго.
  3. Подключите SSO с ролями и группами, отключите локальный вход, статистику vLLM и Direct Connections, сократите срок жизни токена. По состоянию на 5 ноября 2026 года ставьте Open WebUI 0.12.2 или новее (версии до 0.11.4 позволяли любому сайту забрать токен сессии) и vLLM 0.32.0 или новее. vLLM 0.33.0 от 2 ноября выходит только в сборках под CUDA 13.0, которым нужен драйвер R580 или новее.
  4. Обучите пилотную группу до открытия доступа: что можно вводить, как проверить цитируемый источник, как сообщить о неверном ответе.
  5. Измерьте одновременные запросы, время до первого токена и качество ответов и рассчитайте рабочие серверы по этим данным.
  6. Открывайте ассистента следующему отделу, когда метрики достигнуты, и добавьте второй сервер, прежде чем от него будет зависеть вся компания.

Частые вопросы

Из чего собрать корпоративный ChatGPT на своём сервере?

Основа: сервер модели вроде vLLM и чат-интерфейс Open WebUI или LibreChat. К ним добавляют SSO, проверку прав на документы, журнал со сроком хранения, защитные механизмы, модель с подходящей лицензией и GPU под пиковую нагрузку.

Можно ли развернуть аналог ChatGPT, который не передаёт данные наружу?

Да: gpt-oss-120b в vLLM на ваших GPU и Open WebUI или LibreChat в вашей сети. Отключите Direct Connections, откройте порт vLLM только хосту интерфейса, задайте VLLM_NO_USAGE_STATS=1, а в Open WebUI включите OFFLINE_MODE, иначе он загружает модели и проверяет обновления.

Нужна ли коммерческая лицензия на Open WebUI?

Для внутреннего использования нет, пока брендинг Open WebUI заметен. Менять или убирать брендинг, когда за 30 дней больше 50 конечных пользователей, можно только с письменного разрешения правообладателя или по корпоративной лицензии. LibreChat распространяется по MIT без такого пункта.

Сколько GPU нужно для корпоративного чата?

Зависит от пикового числа одновременных запросов и заявленного контекста. Одна RTX PRO 6000 на 96 ГБ с gpt-oss-120b держит около 19 разговоров по 32K, сервер с четырьмя RTX PRO 6000 Server Edition от 76 до примерно 186, что нужно подтвердить нагрузочным тестом. Для доступности нужен второй хост.

Какая открытая модель подходит для ассистента на украинском?

По лицензии проще всего модели под Apache 2.0: gpt-oss, Qwen3-32B, Gemma 4. На лидерборде lang-uk самые высокие баллы у Gemma 4 26B A4B в режиме рассуждений; MamayLM v2.0 сделана для украинского, но имеет Gemma Terms of Use. Выбирайте после теста на собственных запросах.

Что из этого есть в ETE

  • ETE AI Workstation: одна RTX PRO 6000 на 96 ГБ, то есть gpt-oss-120b и около 19 разговоров по 32K для пилотной группы.
  • ETE AI Server RTX PRO: четыре RTX PRO 6000 Server Edition по 96 ГБ, та самая конфигурация из расчёта: около 76 разговоров по 32K в четырёх копиях или около 186 в двух парах.
  • ETE AI XL43: восемь RTX PRO 6000 Server Edition, когда одного четырёхкарточного сервера мало.

Планируете собственный ChatGPT для компании?

Напишите, сколько человек будет пользоваться ассистентом и сколько запросов ожидаете одновременно в пиковый час, какой у вас провайдер идентификации, где лежат документы и какую модель рассматриваете. ETE рассчитает конфигурацию, а при необходимости инженеры Vixen.UNO развернут vLLM, интерфейс и SSO.

Обсудить задачу

Автор: Инженер ETE