Nextcloud Assistant работает с локальной LLM целиком на собственном железе: тексты, сводки и ответы по файлам считают либо встроенные приложения Nextcloud, либо ваш сервер моделей vLLM, подключенный через OpenAI-совместимый API. Текстовому приложению llm2 руководство администратора отводит NVIDIA GPU минимум с 8 ГБ памяти, а один его экземпляр, по оценке Nextcloud, обрабатывает около 1 000 запросов в час и пока не масштабируется. Большую нагрузку берет отдельный сервер с NVIDIA RTX PRO 4500 Blackwell Server Edition или RTX PRO 6000 Blackwell Server Edition, который заодно обслуживает и другие отделы.

Nextcloud ставят, чтобы файлы компании оставались на ее серверах, и с ассистентом возникает вопрос, на чем считать AI, чтобы и он не выходил за пределы сети. Факты о Nextcloud взяты из руководства администратора (версия «latest») и страниц Nextcloud на GitHub по состоянию на 25 октября 2026 года; руководство обновляется с каждым выпуском.

Коротко

  • Nextcloud Assistant только интерфейс: работу выполняют локальные приложения llm2 (текст), Context Chat (ответы по файлам) и stt_whisper2 (транскрибация) или внешний OpenAI-совместимый сервер моделей.
  • По руководству, llm2 нужна NVIDIA GPU от 8 ГБ, Context Chat от 2 ГБ, на хосте CUDA 12.2 или новее; масштабировать их пока нельзя, экземпляр выдерживает ориентировочно 1 000 запросов в час.
  • Локальный Whisper работает только на процессоре («Using GPU is currently not supported»), для транскрибации на GPU нужен отдельный речевой сервер.
  • По нашему расчету, RTX PRO 4500 Server Edition с gpt-oss-20b держит 17 одновременных диалогов по 32K токенов, RTX PRO 6000 Server Edition с gpt-oss-120b держит 19.
  • Nextcloud тестирует llm2 только с Llama 3.1, в списке языков которой нет ни украинского, ни русского.

Как устроен AI в Nextcloud и что решает руководитель

Ассистент это окно, куда сотрудник вводит запрос. Ответ формирует «поставщик» (provider), и их два типа.

  • Собственные приложения Nextcloud. Работают на вашей машине с небольшими открытыми моделями и почти без настройки. Предел в пропускной способности: llm2 и Context Chat пока не масштабируются.
  • Сервер моделей. Приложение «OpenAI and LocalAI integration» передает запросы любому сервису с интерфейсом OpenAI, в том числе GPU-серверу в вашей серверной с vLLM, распространенным открытым движком инференса. Данные и здесь не покидают сеть.

Железо определяют три вопроса: сколько людей будет работать с ассистентом в пиковый час, нужны ли ответы из собственных файлов (Context Chat) и надо ли транскрибировать совещания. Первое покажет пилот на одном отделе.

Вариант GPU Кому подходит
Локальные приложения на одной карте одна L4 пилот, примерно до 1 000 запросов в час
Сервер vLLM с небольшой моделью одна или две RTX PRO 4500 Server Edition одна организация, gpt-oss-20b
AI-сервер компании две RTX PRO 6000 Server Edition Nextcloud и другие AI-задачи, gpt-oss-120b

Источник: руководство администратора Nextcloud, раздел AI (llm2, Context Chat), прочитано 25.10.2026; емкость карт по нашему правилу, пояснение ниже.

Второй и третий варианты удобны, если AI позже понадобится другим системам: один GPU-сервер одновременно обслуживает Nextcloud, чат и помощника для программистов.

Требования llm2, Context Chat, stt_whisper2 и Recognize

Обзор Nextcloud показывает, какое приложение отвечает за каждую локальную функцию. Для выбора железа важны четыре.

Приложение Функция GPU по руководству Процессор и RAM
llm2 текст, чат, сводки NVIDIA, от 8 ГБ от 10 до 20 ядер, 12 ГБ RAM
Context Chat ответы по вашим файлам NVIDIA, от 2 ГБ от 4 ядер для эмбеддингов, 8 ГБ RAM
stt_whisper2 транскрибация «not supported» от 10 до 20 ядер, 4 ГБ
Recognize метки для фото, видео и музыки необязательно, CUDA 11.x от 10 до 20 ядер без GPU, около 4 ГБ

Источник: руководство администратора Nextcloud, страницы llm2, Context Chat, Local Whisper Speech-To-Text и Recognize, прочитано 25.10.2026.

llm2 построен на llama.cpp и поэтому совместим с любой моделью в формате GGUF. Хосту нужны CUDA 12.2 или новее и процессор с AVX и AVX2, а по умолчанию приложение занимает все ядра. Это ExApp: контейнер Docker, который запускается через AppAPI и демон развертывания.

Context Chat индексирует файлы во встроенную базу PostgreSQL с поддержкой векторов, а ответы пишет отдельный текстовый поставщик: llm2 или интеграция с OpenAI. Первая индексация, по руководству, идет долго (синхронная может занять несколько дней) и выполняется в окне обслуживания. Большим файлом считается 20 МБ на процессоре и 100 МБ с GPU; PDF с паролем не обрабатываются.

stt_whisper2 использует faster-whisper с Whisper large-v2 или v3 либо medium.en для английского. GPU он не поддерживает, так что видеокарта ему ничего не дает.

Recognize распознает лица, объекты, пейзажи, музыкальные жанры и действия в видео. GPU для него необязательна и требует драйвера NVIDIA от 450.80.02, CUDA Toolkit 11.x и cuDNN 8.x. Картам RTX PRO Blackwell нужно ПО, собранное с CUDA 12.8 или новее, поэтому на них Recognize планируйте на процессоре, пока его выпуск не заявит обратного.

Украинский и русский язык в Nextcloud Assistant

Nextcloud тестирует llm2 только с Llama 3.1 и перечисляет ее языки: английский, португальский, испанский, итальянский, немецкий, французский, хинди и тайский. Украинского и русского нет, а полностью открытая альтернатива из руководства, OLMo, хорошо работает только с английским и не вызывает инструменты.

Модель Лицензия ВНО укр. язык и лит., % MMLU-uk, % FLORES en→uk, BLEU
Llama-3.1-8B-Instruct не проверяли 25,4 42,9 18,64
MamayLM-Gemma-3-12B-IT-v2.0 Gemma Terms of Use 48,4 64,3 30,24
MamayLM-Gemma-3-27B-IT-v2.0 Gemma Terms of Use 54,4 67,6 30,97
Gemma 4 26B A4B-it (reasoning) Apache 2.0 68,2 86,6 32,02

Источник: Ukrainian LLM Leaderboard, lang-uk/ukrainian-llm-leaderboard-results на Hugging Face, файлы от 21.10.2025, 13.04.2026 и 04.05.2026, прочитано 13.11.2026. Gemma 4 измеряли в режиме reasoning, MamayLM без него, так что пару нельзя считать равной.

MamayLM v2.0 от INSAIT опубликована на Hugging Face и в формате GGUF, поэтому технически ее можно подставить в llm2, хотя Nextcloud ее не тестировал. Через vLLM можно обслуживать любую модель из таблицы; память под нее посчитаете по статье ETE о видеопамяти для LLM. Карточка gpt-oss о языках молчит. На грамматическом бенчмарке UNLP 2026 GPT-OSS-120B набирает около 55 % на украинском, а для gpt-oss-20b опубликованных данных по украинскому мы не нашли, как и отдельных измерений этих моделей для русского.

Whisper large-v3, одна из моделей stt_whisper2, поддерживает оба языка: в статье NVIDIA (arXiv 2509.14128) его WER на FLEURS составляет 6,51 % для украинского и 4,17 % для русского. Это прочитанные предложения, на записях совещаний ошибок больше.

Сколько пользователей выдержит локальный AI в Nextcloud

Для llm2 и Context Chat Nextcloud пишет одно и то же: масштабировать пока нельзя, а экземпляр, по теоретическому расчету, имеет ориентировочную емкость 1 000 запросов в час, то есть один запрос примерно каждые 3,6 секунды.

Опубликованного соотношения между штатом и числом AI-запросов мы не нашли. Возьмем пример из статьи о расчете сервера под размер компании: в пиковый час активны 40 % сотрудников, каждый делает 6 запросов. Тогда 1 000 запросов в час соответствуют примерно 420 сотрудникам, а если самые напряженные минуты идут вдвое быстрее среднего часа (коэффициент пика из того же примера), то примерно 210. Во время пилота эти условные значения заменит история задач ассистента.

Ощущение скорости портит еще и очередь: AI-задачи идут через систему фоновых заданий, которая по умолчанию запускается раз в 5 минут, так что запрос может ждать до 5 минут. Руководство советует выделенные обработчики: occ background-job:worker для OC\TaskProcessing\SynchronousBackgroundJob запускают четыре или больше раз, например как службы systemd. Сделайте это до оценки видеокарты, иначе пилот будет измерять ожидание в очереди.

Как подключить vLLM к Nextcloud Assistant

Приложение integration_openai подключается к собственному LocalAI или Ollama либо к любому сервису с API, достаточно похожим на OpenAI. По README, оно дает текстовые функции (Free prompt, Chat, Chat with tools, Summarize), генерацию изображений, транскрибацию и субтитры для моделей распознавания и синтез речи. Администратор подключает сколько угодно сервисов, каждому задает ключ API и квоты.

vLLM на страницах Nextcloud не упоминается. Его документация описывает HTTP-сервер с эндпоинтами OpenAI /v1/chat/completions, /v1/completions, /v1/embeddings, а для моделей распознавания еще и /v1/audio/transcriptions, то есть именно тот интерфейс, который ждет интеграция. Приложение тестируют в основном с OpenAI, с другими API что-то может не работать, поэтому каждую функцию прогоняют против своего vLLM на пилоте. vLLM запускают с --api-key, а ключ вписывают в Nextcloud. По руководству по безопасности vLLM 0.32.0, ключ защищает только пути под /v1, /v2, /inference и /cohere, поэтому движок держат во внутренней сети.

Плюсы этого пути: vLLM объединяет запросы в пакеты, так что емкость растет с памятью GPU; поддержка Blackwell в нем задокументирована; а тот же сервер отвечает и другим клиентам, поэтому RAG на корпоративных данных, ONLYOFFICE Docs и Nextcloud могут делить один бюджет на GPU.

Какая видеокарта нужна под каждую функцию Nextcloud

Наше правило: 90 % памяти, которую показывает драйвер, минус 3 ГиБ на карту. Что остается после весов, занимает KV-кеш, рабочая память каждого активного диалога. Обе модели имеют лицензию Apache 2.0 по файлам LICENSE на Hugging Face.

Карта (полезная память) Модель Диалогов по 32K Диалогов по 8K
L4 (17,2 ГиБ) gpt-oss-20b 5 23
RTX PRO 4500 Server Edition (25,7 ГиБ) gpt-oss-20b 17 68
RTX PRO 6000 Server Edition (83,0 ГиБ) gpt-oss-20b 93 374
RTX PRO 6000 Server Edition (83,0 ГиБ) gpt-oss-120b 19 79

Источник: веса как сумма файлов safetensors на Hugging Face (gpt-oss-20b 12,8 ГиБ, gpt-oss-120b 60,8 ГиБ), прочитано 25.10.2026; 16-битный KV-кеш по config.json: 0,75 ГиБ на 32K для gpt-oss-20b и 1,125 ГиБ для gpt-oss-120b; L4 с включенным ECC; наша оценка, не измерение.

Текстовые функции. Для локального llm2 L4 (24 ГБ, 72 Вт, низкопрофильная) естественно встает в имеющийся сервер Nextcloud, если его производитель поддерживает эту карту, а архитектура Ada снимает вопрос сборки llama.cpp под Blackwell. Для vLLM мы советуем RTX PRO 4500 Server Edition: 32 ГБ, 165 Вт, пассивное охлаждение, один слот, разделение через MIG на две изолированные половины по 16 ГБ. С gpt-oss-20b это 17 диалогов по 32K или 68 по 8K, достаточно для большинства сводок и черновиков.

Context Chat. Нужны 2 ГБ памяти GPU для эмбеддингов и текстовый поставщик для ответов. Одна MIG-половина RTX PRO 4500 Server Edition вмещает небольшие модели эмбеддингов и реранкинга, например Qwen3 на 0,6B, для отдельного сервиса поиска.

Речь. Для транскрибации на GPU речевой сервер подключают через модели транскрибации интеграции; он рассчитан в статье о сервере распознавания речи под Whisper, а распознавание с разметкой говорящих тянет одна RTX PRO 4500 Server Edition.

Больше пользователей. gpt-oss-120b (117 млрд параметров против 21 млрд у gpt-oss-20b) держит 19 диалогов по 32K на RTX PRO 6000 Server Edition. Сервер с двумя такими картами, двумя AMD EPYC и 384 ГБ DDR5 ECC запускает по копии на карту и, по нашей оценке, берет из розетки около 1,8 кВт. По тому же примеру 500 сотрудников в пик дают около 20 одновременных запросов, и две копии покрывают их с запасом; второй сервер добавляет резервирование. Из-за отключений в Украине такой сервер планируют вместе с ИБП и генератором (см. статью о питании станции с несколькими GPU). Конфигурацию под ваше число пользователей ETE считает от реальной нагрузки, а vLLM и подключение к Nextcloud при необходимости настраивают инженеры Vixen.UNO.

Права доступа в Context Chat и персональные данные

Context Chat отвечает по файлам, которые пользователь вправе читать. Однако руководство описывает известную проблему: пользователи, утратившие доступ, могут и дальше получать содержимое этих файлов через Context Chat. Nextcloud работает над исправлением. Если доступ у вас отзывают при смене должности, перед открытием Context Chat всем это должно оценить ответственное за защиту персональных данных лицо или юрист.

Распознавание лиц в Recognize обрабатывает биометрию, которая по статье 7 Закона № 2297-VI относится к особым категориям: обрабатывать ее можно только в исключениях части 2, например при однозначном согласии или в рамках трудовых отношений. Такую обработку Уполномоченный Верховной Рады Украины по правам человека относит к представляющей особый риск, и по статье 9 о ней уведомляют регулятора в течение 30 рабочих дней после ее начала. Приближенный к GDPR законопроект № 8153 по состоянию на ноябрь 2026 года не принят. Собственный сервер снижает риски передачи данных, но правового основания и информирования людей не заменяет. Это не юридическая консультация.

В инструкцию для сотрудников внесите оговорки руководства: модели могут выдумывать факты, поддержка Nextcloud не отвечает за ответы модели, поэтому результат проверяют. Задокументировать выбор модели помогает «Ethical AI Rating» из обзора Nextcloud.

Частые вопросы

Может ли Nextcloud Assistant работать с локальной LLM?

Да. llm2 запускает модель GGUF через llama.cpp на вашем железе, а интеграция OpenAI and LocalAI подключает ассистента к собственному серверу LocalAI, Ollama или vLLM. Запросы и документы в обоих случаях остаются в вашей сети.

Как подключить Nextcloud Assistant к Ollama или vLLM?

Установите «OpenAI and LocalAI integration» и добавьте адрес сервера как сервис, для vLLM с ключом запуска. Приложение тестируют в основном с OpenAI, поэтому каждую функцию проверьте на пилоте.

Какая видеокарта нужна для llm2 в Nextcloud?

NVIDIA GPU от 8 ГБ, минимум 12 ГБ оперативной памяти, процессор с AVX и AVX2 и CUDA 12.2 или новее на хосте. Требованиям соответствует L4 на 24 ГБ, а для сервера vLLM мы советуем RTX PRO 4500 Server Edition.

Понимает ли ассистент Nextcloud украинский язык?

Зависит от модели. Nextcloud тестирует llm2 с Llama 3.1, а в ее списке языков украинского нет. На лидерборде lang-uk Llama-3.1-8B-Instruct набирает 25,4 % на ВНО по украинскому языку и литературе против 48,4 % у MamayLM 12B. Более сильную модель можно подставить как GGUF или через vLLM.

Использует ли приложение Whisper в Nextcloud видеокарту?

Нет, Local Whisper Speech-To-Text пока работает только на процессоре, и руководство советует от 10 до 20 ядер. Для транскрибации на GPU подключите отдельный речевой сервер через интеграцию с OpenAI.

Почему AI в Nextcloud отвечает медленно?

Чаще всего задачи ждут фоновую систему, которая по умолчанию запускается раз в 5 минут. Помогают четыре или больше выделенных обработчиков задач; еще одну причину руководство видит в работе на процессоре вместо GPU.

Что из этого есть в ETE

  • NVIDIA RTX PRO 4500 Server Edition 32 ГБ: gpt-oss-20b на 17 диалогов по 32K при 165 Вт, а MIG-половину можно отдать под эмбеддинги для Context Chat.
  • NVIDIA RTX PRO 6000 Server Edition 96 ГБ: gpt-oss-120b на 19 диалогов по 32K на карту для крупной организации.
  • ETE AI Server RTX PRO: четыре RTX PRO 6000 и 384 ГБ видеопамяти, когда Nextcloud делит сервер с чатом, RAG и помощником для кода.

Нужен сервер для AI в вашем Nextcloud?

Напишите, сколько у вас пользователей Nextcloud, какие функции ассистента планируете открыть, на каких языках работают люди и какие ограничения действуют для ваших данных. ETE посчитает конфигурацию, а при необходимости инженеры Vixen.UNO установят vLLM, модели и подключат их к Nextcloud.

Обсудить задачу

Автор: Инженер ETE