Nextcloud Assistant працює з локальною LLM повністю на власному залізі: тексти, підсумки й відповіді за файлами рахують або вбудовані застосунки Nextcloud, або ваш сервер моделей vLLM, підключений через OpenAI-сумісний API. Текстовому застосунку llm2 посібник адміністратора відводить NVIDIA GPU щонайменше з 8 ГБ пам'яті, а один його екземпляр, за оцінкою Nextcloud, обробляє близько 1 000 запитів на годину і поки не масштабується. Більше навантаження бере окремий сервер з NVIDIA RTX PRO 4500 Blackwell Server Edition або RTX PRO 6000 Blackwell Server Edition, який заодно обслуговує й інші відділи.

Nextcloud ставлять, щоб файли компанії лишалися на її серверах, і з асистентом постає питання, на чому рахувати AI, щоб і він не виходив за межі мережі. Факти про Nextcloud узято з посібника адміністратора (версія «latest») і сторінок Nextcloud на GitHub станом на 25 жовтня 2026 року; посібник оновлюється з кожним випуском.

Коротко

  • Nextcloud Assistant лише інтерфейс: роботу виконують локальні застосунки llm2 (текст), Context Chat (відповіді за файлами) і stt_whisper2 (транскрибація) або зовнішній OpenAI-сумісний сервер моделей.
  • За посібником, llm2 потребує NVIDIA GPU від 8 ГБ, Context Chat від 2 ГБ, на хості CUDA 12.2 або новішої; масштабувати їх поки не можна, екземпляр витримує орієнтовно 1 000 запитів на годину.
  • Локальний Whisper працює лише на процесорі («Using GPU is currently not supported»), для транскрибації на GPU потрібен окремий мовний сервер.
  • За нашим розрахунком, RTX PRO 4500 Server Edition із gpt-oss-20b тримає 17 одночасних розмов по 32K токенів, RTX PRO 6000 Server Edition із gpt-oss-120b тримає 19.
  • Nextcloud тестує llm2 лише з Llama 3.1, у переліку мов якої немає ні української, ні російської.

Як влаштований AI у Nextcloud і що вирішує керівник

Асистент є вікном, куди працівник вводить запит. Відповідь формує «постачальник» (provider), і їх два типи.

  • Власні застосунки Nextcloud. Працюють на вашій машині з невеликими відкритими моделями й майже без налаштування. Межа в пропускній здатності: llm2 і Context Chat поки не масштабуються.
  • Сервер моделей. Застосунок «OpenAI and LocalAI integration» передає запити будь-якому сервісу з інтерфейсом OpenAI, зокрема GPU-серверу у вашій серверній із vLLM, поширеним відкритим рушієм інференсу. Дані й тут не залишають мережу.

Залізо визначають три питання: скільки людей працюватиме з асистентом у пікову годину, чи потрібні відповіді з власних файлів (Context Chat) і чи треба транскрибувати наради. Перше покаже пілот на одному відділі.

Варіант GPU Кому підходить
Локальні застосунки на одній карті одна L4 пілот, до приблизно 1 000 запитів на годину
Сервер vLLM із невеликою моделлю одна або дві RTX PRO 4500 Server Edition одна організація, gpt-oss-20b
AI-сервер компанії дві RTX PRO 6000 Server Edition Nextcloud та інші AI-задачі, gpt-oss-120b

Джерело: посібник адміністратора Nextcloud, розділ AI (llm2, Context Chat), прочитано 25.10.2026; місткість карт за нашим правилом, пояснення нижче.

Другий і третій варіанти зручні, якщо AI згодом знадобиться іншим системам: один GPU-сервер водночас обслуговує Nextcloud, чат і помічника для програмістів.

Вимоги llm2, Context Chat, stt_whisper2 і Recognize

Огляд Nextcloud показує, який застосунок відповідає за кожну локальну функцію. Для вибору заліза важать чотири.

Застосунок Функція GPU за посібником Процесор і RAM
llm2 текст, чат, підсумки NVIDIA, від 8 ГБ від 10 до 20 ядер, 12 ГБ RAM
Context Chat відповіді за вашими файлами NVIDIA, від 2 ГБ від 4 ядер для ембедингів, 8 ГБ RAM
stt_whisper2 транскрибація «not supported» від 10 до 20 ядер, 4 ГБ
Recognize мітки для фото, відео й музики необов'язково, CUDA 11.x від 10 до 20 ядер без GPU, близько 4 ГБ

Джерело: посібник адміністратора Nextcloud, сторінки llm2, Context Chat, Local Whisper Speech-To-Text і Recognize, прочитано 25.10.2026.

llm2 побудований на llama.cpp і тому сумісний з будь-якою моделлю у форматі GGUF. Хосту потрібні CUDA 12.2 або новіша й процесор з AVX і AVX2, а за замовчуванням застосунок займає всі ядра. Це ExApp: контейнер Docker, який запускається через AppAPI і демон розгортання.

Context Chat індексує файли у вбудовану базу PostgreSQL із підтримкою векторів, а відповіді пише окремий текстовий постачальник: llm2 або інтеграція з OpenAI. Перша індексація, за посібником, триває довго (синхронна може зайняти кілька днів) і виконується у вікні обслуговування. Великим файлом вважається 20 МБ на процесорі і 100 МБ з GPU; PDF із паролем не обробляються.

stt_whisper2 використовує faster-whisper з Whisper large-v2 або v3 чи medium.en для англійської. GPU він не підтримує, тож відеокарта йому нічого не додає.

Recognize розпізнає обличчя, об'єкти, пейзажі, музичні жанри й дії у відео. GPU для нього необов'язкова і потребує драйвера NVIDIA від 450.80.02, CUDA Toolkit 11.x і cuDNN 8.x. Картам RTX PRO Blackwell потрібне ПЗ, зібране з CUDA 12.8 або новішою, тож на них Recognize плануйте на процесорі, доки його випуск не заявить іншого.

Українська й російська мова в Nextcloud Assistant

Nextcloud тестує llm2 лише з Llama 3.1 і називає її мови: англійська, португальська, іспанська, італійська, німецька, французька, гінді й тайська. Української й російської немає, а повністю відкрита альтернатива з посібника, OLMo, добре працює лише з англійською і не викликає інструментів.

Модель Ліцензія ЗНО укр. мова і літ., % MMLU-uk, % FLORES en→uk, BLEU
Llama-3.1-8B-Instruct не перевіряли 25,4 42,9 18,64
MamayLM-Gemma-3-12B-IT-v2.0 Gemma Terms of Use 48,4 64,3 30,24
MamayLM-Gemma-3-27B-IT-v2.0 Gemma Terms of Use 54,4 67,6 30,97
Gemma 4 26B A4B-it (reasoning) Apache 2.0 68,2 86,6 32,02

Джерело: Ukrainian LLM Leaderboard, lang-uk/ukrainian-llm-leaderboard-results на Hugging Face, файли від 21.10.2025, 13.04.2026 і 04.05.2026, прочитано 13.11.2026. Gemma 4 вимірювали в режимі reasoning, MamayLM без нього, тож пару не можна вважати рівною.

MamayLM v2.0 від INSAIT опубліковано на Hugging Face і у форматі GGUF, тож технічно її можна підставити в llm2, хоча Nextcloud її не тестував. Через vLLM можна обслуговувати будь-яку модель із таблиці; пам'ять під неї порахуєте за статтею ETE про відеопам'ять для LLM. Картка gpt-oss про мови мовчить. На граматичному бенчмарку UNLP 2026 GPT-OSS-120B набирає близько 55 % українською, а для gpt-oss-20b опублікованих даних для української ми не знайшли, як і окремих вимірювань цих моделей для російської.

Whisper large-v3, одна з моделей stt_whisper2, підтримує обидві мови: у статті NVIDIA (arXiv 2509.14128) його WER на FLEURS становить 6,51 % для української і 4,17 % для російської. Це прочитані речення, на записах нарад помилок більше.

Скільки користувачів витримує локальний AI у Nextcloud

Для llm2 і Context Chat Nextcloud пише одне й те саме: масштабувати поки не можна, а екземпляр, за теоретичним розрахунком, має орієнтовну місткість 1 000 запитів на годину, тобто один запит приблизно кожні 3,6 секунди.

Опублікованого співвідношення між штатом і кількістю AI-запитів ми не знайшли. Візьмемо приклад зі статті про розрахунок сервера під розмір компанії: у пікову годину активні 40 % працівників, кожен робить 6 запитів. Тоді 1 000 запитів на годину відповідають приблизно 420 працівникам, а якщо найнапруженіші хвилини йдуть удвічі швидше за середню годину (коефіцієнт піку з того самого прикладу), то приблизно 210. Під час пілоту ці умовні значення замінить історія завдань асистента.

Відчуття швидкості псує ще й черга: AI-завдання йдуть через систему фонових завдань, яка за замовчуванням запускається раз на 5 хвилин, тож запит може чекати до 5 хвилин. Посібник радить виділені обробники: occ background-job:worker для OC\TaskProcessing\SynchronousBackgroundJob запускають чотири або більше разів, наприклад як служби systemd. Зробіть це до оцінки відеокарти, інакше пілот вимірюватиме очікування в черзі.

Як підключити vLLM до Nextcloud Assistant

Застосунок integration_openai під'єднується до власного LocalAI чи Ollama або до будь-якого сервісу з API, досить схожим на OpenAI. За README, він дає текстові функції (Free prompt, Chat, Chat with tools, Summarize), генерацію зображень, транскрибацію й субтитри для моделей розпізнавання та синтез мовлення. Адміністратор підключає скільки завгодно сервісів, кожному задає ключ API і квоти.

vLLM на сторінках Nextcloud не згадано. Його документація описує HTTP-сервер з ендпоінтами OpenAI /v1/chat/completions, /v1/completions, /v1/embeddings, а для моделей розпізнавання ще й /v1/audio/transcriptions, тобто саме той інтерфейс, який очікує інтеграція. Застосунок тестують переважно з OpenAI, з іншими API щось може не працювати, тож кожну функцію проганяють проти свого vLLM на пілоті. vLLM запускають із --api-key, а ключ вписують у Nextcloud. За посібником з безпеки vLLM 0.32.0, ключ захищає лише шляхи під /v1, /v2, /inference і /cohere, тому рушій тримають у внутрішній мережі.

Переваги цього шляху: vLLM об'єднує запити в пакети, тож місткість росте з пам'яттю GPU; підтримку Blackwell у ньому задокументовано; а той самий сервер відповідає й іншим клієнтам, тому RAG на корпоративних даних, ONLYOFFICE Docs і Nextcloud можуть ділити один бюджет на GPU.

Яка відеокарта потрібна під кожну функцію Nextcloud

Наше правило: 90 % пам'яті, яку показує драйвер, мінус 3 ГіБ на карту. Що лишається після ваг, займає KV-кеш, робоча пам'ять кожної активної розмови. Обидві моделі мають ліцензію Apache 2.0 за файлами LICENSE на Hugging Face.

Карта (корисна пам'ять) Модель Розмов по 32K Розмов по 8K
L4 (17,2 ГіБ) gpt-oss-20b 5 23
RTX PRO 4500 Server Edition (25,7 ГіБ) gpt-oss-20b 17 68
RTX PRO 6000 Server Edition (83,0 ГіБ) gpt-oss-20b 93 374
RTX PRO 6000 Server Edition (83,0 ГіБ) gpt-oss-120b 19 79

Джерело: ваги як сума файлів safetensors на Hugging Face (gpt-oss-20b 12,8 ГіБ, gpt-oss-120b 60,8 ГіБ), прочитано 25.10.2026; 16-бітний KV-кеш за config.json: 0,75 ГіБ на 32K для gpt-oss-20b і 1,125 ГіБ для gpt-oss-120b; L4 з увімкненим ECC; наша оцінка, не вимірювання.

Текстові функції. Для локального llm2 L4 (24 ГБ, 72 Вт, низькопрофільна) природно стає в наявний сервер Nextcloud, якщо його виробник підтримує цю карту, а архітектура Ada знімає питання збірки llama.cpp під Blackwell. Для vLLM ми радимо RTX PRO 4500 Server Edition: 32 ГБ, 165 Вт, пасивне охолодження, один слот, поділ через MIG на дві ізольовані половини по 16 ГБ. З gpt-oss-20b це 17 розмов по 32K або 68 по 8K, досить для більшості підсумків і чернеток.

Context Chat. Потребує 2 ГБ пам'яті GPU для ембедингів і текстового постачальника для відповідей. Одна MIG-половина RTX PRO 4500 Server Edition вміщує невеликі моделі ембедингів і ререйкінгу, наприклад Qwen3 на 0,6B, для окремого сервісу пошуку.

Мовлення. Для транскрибації на GPU мовний сервер підключають через моделі транскрибації інтеграції; його розраховано в статті про сервер розпізнавання мовлення під Whisper, а розпізнавання з розміткою мовців тягне одна RTX PRO 4500 Server Edition.

Більше користувачів. gpt-oss-120b (117 млрд параметрів проти 21 млрд у gpt-oss-20b) тримає 19 розмов по 32K на RTX PRO 6000 Server Edition. Сервер із двома такими картами, двома AMD EPYC і 384 ГБ DDR5 ECC запускає по копії на карту і, за нашою оцінкою, бере з розетки близько 1,8 кВт. За тим самим прикладом 500 працівників у пік дають близько 20 одночасних запитів, і дві копії покривають їх із запасом; другий сервер додає резервування. Через відключення в Україні такий сервер планують разом із ДБЖ і генератором (див. статтю про живлення станції з кількома GPU). Конфігурацію під вашу кількість користувачів ETE рахує від реального навантаження, а vLLM і підключення до Nextcloud за потреби налаштовують інженери Vixen.UNO.

Права доступу в Context Chat і персональні дані

Context Chat відповідає за файлами, які користувач має право читати. Проте посібник описує відому проблему: користувачі, які втратили доступ, можуть і далі отримувати зміст цих файлів через Context Chat. Nextcloud працює над виправленням. Якщо доступ у вас відкликають при зміні посади, перед відкриттям Context Chat усім це має оцінити відповідальна за захист персональних даних особа або юрист.

Розпізнавання облич у Recognize обробляє біометрію, яка за статтею 7 Закону № 2297-VI належить до особливих категорій: обробляти її можна лише у винятках частини 2, наприклад за однозначною згодою або в межах трудових відносин. Таку обробку Уповноважений Верховної Ради України з прав людини відносить до тієї, що становить особливий ризик, і за статтею 9 про неї повідомляють регулятора протягом 30 робочих днів після її початку. Наближений до GDPR законопроєкт № 8153 станом на листопад 2026 року не ухвалений. Власний сервер знижує ризики передачі даних, але правової підстави й інформування людей не замінює. Це не юридична консультація.

В інструкцію для працівників внесіть застереження посібника: моделі можуть вигадувати факти, підтримка Nextcloud не відповідає за відповіді моделі, тож результат перевіряють. Вибір моделі допомагає задокументувати «Ethical AI Rating» з огляду Nextcloud.

Часті питання

Чи може Nextcloud Assistant працювати з локальною LLM?

Так. llm2 запускає модель GGUF через llama.cpp на вашому залізі, а інтеграція OpenAI and LocalAI підключає асистента до власного сервера LocalAI, Ollama або vLLM. Запити й документи в обох випадках лишаються у вашій мережі.

Як підключити Nextcloud Assistant до Ollama або vLLM?

Встановіть «OpenAI and LocalAI integration» і додайте адресу сервера як сервіс, для vLLM із ключем запуску. Застосунок тестують переважно з OpenAI, тож кожну функцію перевірте на пілоті.

Яка відеокарта потрібна для llm2 у Nextcloud?

NVIDIA GPU від 8 ГБ, щонайменше 12 ГБ оперативної пам'яті, процесор з AVX і AVX2 та CUDA 12.2 або новіша на хості. Вимогам відповідає L4 на 24 ГБ, а для сервера vLLM ми радимо RTX PRO 4500 Server Edition.

Чи розуміє асистент Nextcloud українську мову?

Залежить від моделі. Nextcloud тестує llm2 з Llama 3.1, а в її переліку мов української немає. На лідерборді lang-uk Llama-3.1-8B-Instruct набирає 25,4 % на ЗНО з української мови й літератури проти 48,4 % у MamayLM 12B. Сильнішу модель можна підставити як GGUF або через vLLM.

Чи використовує застосунок Whisper у Nextcloud відеокарту?

Ні, Local Whisper Speech-To-Text поки працює лише на процесорі, і посібник радить від 10 до 20 ядер. Для транскрибації на GPU підключіть окремий мовний сервер через інтеграцію з OpenAI.

Чому AI у Nextcloud відповідає повільно?

Найчастіше завдання чекають на фонову систему, яка за замовчуванням запускається раз на 5 хвилин. Допомагають чотири або більше виділених обробників завдань; ще одну причину посібник бачить у роботі на процесорі замість GPU.

Що з цього є в ETE

  • NVIDIA RTX PRO 4500 Server Edition 32 ГБ: gpt-oss-20b на 17 розмов по 32K при 165 Вт, а MIG-половину можна віддати під ембединги для Context Chat.
  • NVIDIA RTX PRO 6000 Server Edition 96 ГБ: gpt-oss-120b на 19 розмов по 32K на карту для великої організації.
  • ETE AI Server RTX PRO: чотири RTX PRO 6000 і 384 ГБ відеопам'яті, коли Nextcloud ділить сервер із чатом, RAG і помічником для коду.

Потрібен сервер для AI у вашому Nextcloud?

Напишіть, скільки у вас користувачів Nextcloud, які функції асистента плануєте відкрити, якими мовами працюють люди і які обмеження діють для ваших даних. ETE порахує конфігурацію, а за потреби інженери Vixen.UNO встановлять vLLM, моделі й підключать їх до Nextcloud.

Обговорити задачу

Автор: Інженер ETE