Nextcloud Assistant працює з локальною LLM повністю на власному залізі: тексти, підсумки й відповіді за файлами рахують або вбудовані застосунки Nextcloud, або ваш сервер моделей vLLM, підключений через OpenAI-сумісний API. Текстовому застосунку llm2 посібник адміністратора відводить NVIDIA GPU щонайменше з 8 ГБ пам'яті, а один його екземпляр, за оцінкою Nextcloud, обробляє близько 1 000 запитів на годину і поки не масштабується. Більше навантаження бере окремий сервер з NVIDIA RTX PRO 4500 Blackwell Server Edition або RTX PRO 6000 Blackwell Server Edition, який заодно обслуговує й інші відділи.
Nextcloud ставлять, щоб файли компанії лишалися на її серверах, і з асистентом постає питання, на чому рахувати AI, щоб і він не виходив за межі мережі. Факти про Nextcloud узято з посібника адміністратора (версія «latest») і сторінок Nextcloud на GitHub станом на 25 жовтня 2026 року; посібник оновлюється з кожним випуском.
Коротко
- Nextcloud Assistant лише інтерфейс: роботу виконують локальні застосунки llm2 (текст), Context Chat (відповіді за файлами) і stt_whisper2 (транскрибація) або зовнішній OpenAI-сумісний сервер моделей.
- За посібником, llm2 потребує NVIDIA GPU від 8 ГБ, Context Chat від 2 ГБ, на хості CUDA 12.2 або новішої; масштабувати їх поки не можна, екземпляр витримує орієнтовно 1 000 запитів на годину.
- Локальний Whisper працює лише на процесорі («Using GPU is currently not supported»), для транскрибації на GPU потрібен окремий мовний сервер.
- За нашим розрахунком, RTX PRO 4500 Server Edition із gpt-oss-20b тримає 17 одночасних розмов по 32K токенів, RTX PRO 6000 Server Edition із gpt-oss-120b тримає 19.
- Nextcloud тестує llm2 лише з Llama 3.1, у переліку мов якої немає ні української, ні російської.
Як влаштований AI у Nextcloud і що вирішує керівник
Асистент є вікном, куди працівник вводить запит. Відповідь формує «постачальник» (provider), і їх два типи.
- Власні застосунки Nextcloud. Працюють на вашій машині з невеликими відкритими моделями й майже без налаштування. Межа в пропускній здатності: llm2 і Context Chat поки не масштабуються.
- Сервер моделей. Застосунок «OpenAI and LocalAI integration» передає запити будь-якому сервісу з інтерфейсом OpenAI, зокрема GPU-серверу у вашій серверній із vLLM, поширеним відкритим рушієм інференсу. Дані й тут не залишають мережу.
Залізо визначають три питання: скільки людей працюватиме з асистентом у пікову годину, чи потрібні відповіді з власних файлів (Context Chat) і чи треба транскрибувати наради. Перше покаже пілот на одному відділі.
| Варіант | GPU | Кому підходить |
|---|---|---|
| Локальні застосунки на одній карті | одна L4 | пілот, до приблизно 1 000 запитів на годину |
| Сервер vLLM із невеликою моделлю | одна або дві RTX PRO 4500 Server Edition | одна організація, gpt-oss-20b |
| AI-сервер компанії | дві RTX PRO 6000 Server Edition | Nextcloud та інші AI-задачі, gpt-oss-120b |
Джерело: посібник адміністратора Nextcloud, розділ AI (llm2, Context Chat), прочитано 25.10.2026; місткість карт за нашим правилом, пояснення нижче.
Другий і третій варіанти зручні, якщо AI згодом знадобиться іншим системам: один GPU-сервер водночас обслуговує Nextcloud, чат і помічника для програмістів.
Вимоги llm2, Context Chat, stt_whisper2 і Recognize
Огляд Nextcloud показує, який застосунок відповідає за кожну локальну функцію. Для вибору заліза важать чотири.
| Застосунок | Функція | GPU за посібником | Процесор і RAM |
|---|---|---|---|
| llm2 | текст, чат, підсумки | NVIDIA, від 8 ГБ | від 10 до 20 ядер, 12 ГБ RAM |
| Context Chat | відповіді за вашими файлами | NVIDIA, від 2 ГБ | від 4 ядер для ембедингів, 8 ГБ RAM |
| stt_whisper2 | транскрибація | «not supported» | від 10 до 20 ядер, 4 ГБ |
| Recognize | мітки для фото, відео й музики | необов'язково, CUDA 11.x | від 10 до 20 ядер без GPU, близько 4 ГБ |
Джерело: посібник адміністратора Nextcloud, сторінки llm2, Context Chat, Local Whisper Speech-To-Text і Recognize, прочитано 25.10.2026.
llm2 побудований на llama.cpp і тому сумісний з будь-якою моделлю у форматі GGUF. Хосту потрібні CUDA 12.2 або новіша й процесор з AVX і AVX2, а за замовчуванням застосунок займає всі ядра. Це ExApp: контейнер Docker, який запускається через AppAPI і демон розгортання.
Context Chat індексує файли у вбудовану базу PostgreSQL із підтримкою векторів, а відповіді пише окремий текстовий постачальник: llm2 або інтеграція з OpenAI. Перша індексація, за посібником, триває довго (синхронна може зайняти кілька днів) і виконується у вікні обслуговування. Великим файлом вважається 20 МБ на процесорі і 100 МБ з GPU; PDF із паролем не обробляються.
stt_whisper2 використовує faster-whisper з Whisper large-v2 або v3 чи medium.en для англійської. GPU він не підтримує, тож відеокарта йому нічого не додає.
Recognize розпізнає обличчя, об'єкти, пейзажі, музичні жанри й дії у відео. GPU для нього необов'язкова і потребує драйвера NVIDIA від 450.80.02, CUDA Toolkit 11.x і cuDNN 8.x. Картам RTX PRO Blackwell потрібне ПЗ, зібране з CUDA 12.8 або новішою, тож на них Recognize плануйте на процесорі, доки його випуск не заявить іншого.
Українська й російська мова в Nextcloud Assistant
Nextcloud тестує llm2 лише з Llama 3.1 і називає її мови: англійська, португальська, іспанська, італійська, німецька, французька, гінді й тайська. Української й російської немає, а повністю відкрита альтернатива з посібника, OLMo, добре працює лише з англійською і не викликає інструментів.
| Модель | Ліцензія | ЗНО укр. мова і літ., % | MMLU-uk, % | FLORES en→uk, BLEU |
|---|---|---|---|---|
| Llama-3.1-8B-Instruct | не перевіряли | 25,4 | 42,9 | 18,64 |
| MamayLM-Gemma-3-12B-IT-v2.0 | Gemma Terms of Use | 48,4 | 64,3 | 30,24 |
| MamayLM-Gemma-3-27B-IT-v2.0 | Gemma Terms of Use | 54,4 | 67,6 | 30,97 |
| Gemma 4 26B A4B-it (reasoning) | Apache 2.0 | 68,2 | 86,6 | 32,02 |
Джерело: Ukrainian LLM Leaderboard, lang-uk/ukrainian-llm-leaderboard-results на Hugging Face, файли від 21.10.2025, 13.04.2026 і 04.05.2026, прочитано 13.11.2026. Gemma 4 вимірювали в режимі reasoning, MamayLM без нього, тож пару не можна вважати рівною.
MamayLM v2.0 від INSAIT опубліковано на Hugging Face і у форматі GGUF, тож технічно її можна підставити в llm2, хоча Nextcloud її не тестував. Через vLLM можна обслуговувати будь-яку модель із таблиці; пам'ять під неї порахуєте за статтею ETE про відеопам'ять для LLM. Картка gpt-oss про мови мовчить. На граматичному бенчмарку UNLP 2026 GPT-OSS-120B набирає близько 55 % українською, а для gpt-oss-20b опублікованих даних для української ми не знайшли, як і окремих вимірювань цих моделей для російської.
Whisper large-v3, одна з моделей stt_whisper2, підтримує обидві мови: у статті NVIDIA (arXiv 2509.14128) його WER на FLEURS становить 6,51 % для української і 4,17 % для російської. Це прочитані речення, на записах нарад помилок більше.
Скільки користувачів витримує локальний AI у Nextcloud
Для llm2 і Context Chat Nextcloud пише одне й те саме: масштабувати поки не можна, а екземпляр, за теоретичним розрахунком, має орієнтовну місткість 1 000 запитів на годину, тобто один запит приблизно кожні 3,6 секунди.
Опублікованого співвідношення між штатом і кількістю AI-запитів ми не знайшли. Візьмемо приклад зі статті про розрахунок сервера під розмір компанії: у пікову годину активні 40 % працівників, кожен робить 6 запитів. Тоді 1 000 запитів на годину відповідають приблизно 420 працівникам, а якщо найнапруженіші хвилини йдуть удвічі швидше за середню годину (коефіцієнт піку з того самого прикладу), то приблизно 210. Під час пілоту ці умовні значення замінить історія завдань асистента.
Відчуття швидкості псує ще й черга: AI-завдання йдуть через систему фонових завдань, яка за замовчуванням запускається раз на 5 хвилин, тож запит може чекати до 5 хвилин. Посібник радить виділені обробники: occ background-job:worker для OC\TaskProcessing\SynchronousBackgroundJob запускають чотири або більше разів, наприклад як служби systemd. Зробіть це до оцінки відеокарти, інакше пілот вимірюватиме очікування в черзі.
Як підключити vLLM до Nextcloud Assistant
Застосунок integration_openai під'єднується до власного LocalAI чи Ollama або до будь-якого сервісу з API, досить схожим на OpenAI. За README, він дає текстові функції (Free prompt, Chat, Chat with tools, Summarize), генерацію зображень, транскрибацію й субтитри для моделей розпізнавання та синтез мовлення. Адміністратор підключає скільки завгодно сервісів, кожному задає ключ API і квоти.
vLLM на сторінках Nextcloud не згадано. Його документація описує HTTP-сервер з ендпоінтами OpenAI /v1/chat/completions, /v1/completions, /v1/embeddings, а для моделей розпізнавання ще й /v1/audio/transcriptions, тобто саме той інтерфейс, який очікує інтеграція. Застосунок тестують переважно з OpenAI, з іншими API щось може не працювати, тож кожну функцію проганяють проти свого vLLM на пілоті. vLLM запускають із --api-key, а ключ вписують у Nextcloud. За посібником з безпеки vLLM 0.32.0, ключ захищає лише шляхи під /v1, /v2, /inference і /cohere, тому рушій тримають у внутрішній мережі.
Переваги цього шляху: vLLM об'єднує запити в пакети, тож місткість росте з пам'яттю GPU; підтримку Blackwell у ньому задокументовано; а той самий сервер відповідає й іншим клієнтам, тому RAG на корпоративних даних, ONLYOFFICE Docs і Nextcloud можуть ділити один бюджет на GPU.
Яка відеокарта потрібна під кожну функцію Nextcloud
Наше правило: 90 % пам'яті, яку показує драйвер, мінус 3 ГіБ на карту. Що лишається після ваг, займає KV-кеш, робоча пам'ять кожної активної розмови. Обидві моделі мають ліцензію Apache 2.0 за файлами LICENSE на Hugging Face.
| Карта (корисна пам'ять) | Модель | Розмов по 32K | Розмов по 8K |
|---|---|---|---|
| L4 (17,2 ГіБ) | gpt-oss-20b | 5 | 23 |
| RTX PRO 4500 Server Edition (25,7 ГіБ) | gpt-oss-20b | 17 | 68 |
| RTX PRO 6000 Server Edition (83,0 ГіБ) | gpt-oss-20b | 93 | 374 |
| RTX PRO 6000 Server Edition (83,0 ГіБ) | gpt-oss-120b | 19 | 79 |
Джерело: ваги як сума файлів safetensors на Hugging Face (gpt-oss-20b 12,8 ГіБ, gpt-oss-120b 60,8 ГіБ), прочитано 25.10.2026; 16-бітний KV-кеш за config.json: 0,75 ГіБ на 32K для gpt-oss-20b і 1,125 ГіБ для gpt-oss-120b; L4 з увімкненим ECC; наша оцінка, не вимірювання.
Текстові функції. Для локального llm2 L4 (24 ГБ, 72 Вт, низькопрофільна) природно стає в наявний сервер Nextcloud, якщо його виробник підтримує цю карту, а архітектура Ada знімає питання збірки llama.cpp під Blackwell. Для vLLM ми радимо RTX PRO 4500 Server Edition: 32 ГБ, 165 Вт, пасивне охолодження, один слот, поділ через MIG на дві ізольовані половини по 16 ГБ. З gpt-oss-20b це 17 розмов по 32K або 68 по 8K, досить для більшості підсумків і чернеток.
Context Chat. Потребує 2 ГБ пам'яті GPU для ембедингів і текстового постачальника для відповідей. Одна MIG-половина RTX PRO 4500 Server Edition вміщує невеликі моделі ембедингів і ререйкінгу, наприклад Qwen3 на 0,6B, для окремого сервісу пошуку.
Мовлення. Для транскрибації на GPU мовний сервер підключають через моделі транскрибації інтеграції; його розраховано в статті про сервер розпізнавання мовлення під Whisper, а розпізнавання з розміткою мовців тягне одна RTX PRO 4500 Server Edition.
Більше користувачів. gpt-oss-120b (117 млрд параметрів проти 21 млрд у gpt-oss-20b) тримає 19 розмов по 32K на RTX PRO 6000 Server Edition. Сервер із двома такими картами, двома AMD EPYC і 384 ГБ DDR5 ECC запускає по копії на карту і, за нашою оцінкою, бере з розетки близько 1,8 кВт. За тим самим прикладом 500 працівників у пік дають близько 20 одночасних запитів, і дві копії покривають їх із запасом; другий сервер додає резервування. Через відключення в Україні такий сервер планують разом із ДБЖ і генератором (див. статтю про живлення станції з кількома GPU). Конфігурацію під вашу кількість користувачів ETE рахує від реального навантаження, а vLLM і підключення до Nextcloud за потреби налаштовують інженери Vixen.UNO.
Права доступу в Context Chat і персональні дані
Context Chat відповідає за файлами, які користувач має право читати. Проте посібник описує відому проблему: користувачі, які втратили доступ, можуть і далі отримувати зміст цих файлів через Context Chat. Nextcloud працює над виправленням. Якщо доступ у вас відкликають при зміні посади, перед відкриттям Context Chat усім це має оцінити відповідальна за захист персональних даних особа або юрист.
Розпізнавання облич у Recognize обробляє біометрію, яка за статтею 7 Закону № 2297-VI належить до особливих категорій: обробляти її можна лише у винятках частини 2, наприклад за однозначною згодою або в межах трудових відносин. Таку обробку Уповноважений Верховної Ради України з прав людини відносить до тієї, що становить особливий ризик, і за статтею 9 про неї повідомляють регулятора протягом 30 робочих днів після її початку. Наближений до GDPR законопроєкт № 8153 станом на листопад 2026 року не ухвалений. Власний сервер знижує ризики передачі даних, але правової підстави й інформування людей не замінює. Це не юридична консультація.
В інструкцію для працівників внесіть застереження посібника: моделі можуть вигадувати факти, підтримка Nextcloud не відповідає за відповіді моделі, тож результат перевіряють. Вибір моделі допомагає задокументувати «Ethical AI Rating» з огляду Nextcloud.
Часті питання
Чи може Nextcloud Assistant працювати з локальною LLM?
Так. llm2 запускає модель GGUF через llama.cpp на вашому залізі, а інтеграція OpenAI and LocalAI підключає асистента до власного сервера LocalAI, Ollama або vLLM. Запити й документи в обох випадках лишаються у вашій мережі.
Як підключити Nextcloud Assistant до Ollama або vLLM?
Встановіть «OpenAI and LocalAI integration» і додайте адресу сервера як сервіс, для vLLM із ключем запуску. Застосунок тестують переважно з OpenAI, тож кожну функцію перевірте на пілоті.
Яка відеокарта потрібна для llm2 у Nextcloud?
NVIDIA GPU від 8 ГБ, щонайменше 12 ГБ оперативної пам'яті, процесор з AVX і AVX2 та CUDA 12.2 або новіша на хості. Вимогам відповідає L4 на 24 ГБ, а для сервера vLLM ми радимо RTX PRO 4500 Server Edition.
Чи розуміє асистент Nextcloud українську мову?
Залежить від моделі. Nextcloud тестує llm2 з Llama 3.1, а в її переліку мов української немає. На лідерборді lang-uk Llama-3.1-8B-Instruct набирає 25,4 % на ЗНО з української мови й літератури проти 48,4 % у MamayLM 12B. Сильнішу модель можна підставити як GGUF або через vLLM.
Чи використовує застосунок Whisper у Nextcloud відеокарту?
Ні, Local Whisper Speech-To-Text поки працює лише на процесорі, і посібник радить від 10 до 20 ядер. Для транскрибації на GPU підключіть окремий мовний сервер через інтеграцію з OpenAI.
Чому AI у Nextcloud відповідає повільно?
Найчастіше завдання чекають на фонову систему, яка за замовчуванням запускається раз на 5 хвилин. Допомагають чотири або більше виділених обробників завдань; ще одну причину посібник бачить у роботі на процесорі замість GPU.
Що з цього є в ETE
- NVIDIA RTX PRO 4500 Server Edition 32 ГБ: gpt-oss-20b на 17 розмов по 32K при 165 Вт, а MIG-половину можна віддати під ембединги для Context Chat.
- NVIDIA RTX PRO 6000 Server Edition 96 ГБ: gpt-oss-120b на 19 розмов по 32K на карту для великої організації.
- ETE AI Server RTX PRO: чотири RTX PRO 6000 і 384 ГБ відеопам'яті, коли Nextcloud ділить сервер із чатом, RAG і помічником для коду.
Потрібен сервер для AI у вашому Nextcloud?
Напишіть, скільки у вас користувачів Nextcloud, які функції асистента плануєте відкрити, якими мовами працюють люди і які обмеження діють для ваших даних. ETE порахує конфігурацію, а за потреби інженери Vixen.UNO встановлять vLLM, моделі й підключать їх до Nextcloud.