Коли RAG на документах компанії відповідає хибно, причина здебільшого в пошуку: до моделі просто не дійшов потрібний уривок. Тому такий проєкт (RAG, retrieval-augmented generation, генерація з опорою на знайдені документи) будують від пошуку: права доступу перевіряють у момент вибірки, документи ділять за структурою, якість міряють на реальних запитаннях, а індекс тримають актуальним.
Українська компанія має ще одне питання: документи українською, російською й англійською в одному корпусі. Найсвіжіші відкриті дані про це дає змагання UNLP 2026, де системи шукали відповіді на українські запитання приблизно в 240 PDF без доступу до інтернету. Їхні результати допомагають обрати моделі ембедингів.
Коротко
- Якість RAG визначає пошук: якщо потрібного уривка немає серед знайдених, відповідь не врятують ні модель, ні промпт.
- Права доступу застосовують фільтром під час пошуку; інструкція в промпті доступ не контролює.
- Перед будь-яким налаштуванням запишіть від 50 до 100 реальних запитань із правильною відповіддю й документом-джерелом.
- На UNLP 2026 свій найвищий результат команда КПІ отримала з Qwen3-Embedding-8B і Qwen3-Reranker-8B (обидві Apache 2.0); ререйкінг підняв Recall@1 з 0,6957 до 0,7935.
- За нашою оцінкою за цифрами NVIDIA NIM, одна L40S із моделлю ембедингів NVIDIA на 1B перетворює на вектори 300 000 документів по десять фрагментів на 512 токенів приблизно за 5,8 години.
Як працює RAG: чотири кроки
Конвеєр RAG складається з чотирьох кроків:
- знайти в документах компанії уривки, що відповідають на запитання;
- вставити їх у промпт;
- попросити модель відповісти лише на їхній основі;
- показати користувачеві, звідки взято відповідь.
Основна робота припадає на перший крок. Якщо знайдені уривки містять відповідь, сучасна модель з інструкційним донавчанням зазвичай її видасть, хоча відповідь із середини довгого контексту вона знаходить менш надійно. Якщо уривки відповіді не містять, не допоможе ні інший промпт, ні інша модель. Тож спершу міряйте пошук, а вже потім правте промпти чи міняйте модель.
Тож RAG-проєкт переважно є проєктом з інженерії даних, і людей та строки під нього закладають відповідно. Готові застосунки для розмов із документами розглянуто в статті про приватну альтернативу ChatGPT, а цифри з ERP чи CRM потребують text-to-SQL, про який ідеться в статті про запитання до бази даних звичайною мовою.
Права доступу в RAG: фільтр під час пошуку
Витік закритих документів має юридичні наслідки, тож із нього й починають. Спокусливий короткий шлях: скласти все в одну колекцію й наказати моделі не показувати документів, яких користувач бачити не має. Доступу це не контролює. Інструкція в промпті є проханням до імовірнісної системи, а коли модель її читає, таблиця зарплат уже лежить у контекстному вікні.
Права застосовують на етапі пошуку, і пошук ніколи не повертає уривок, який користувач не може відкрити у вихідній системі. Для цього потрібні три заходи.
- Списки доступу (ACL) в індексі. Кожен фрагмент зберігає користувачів і групи каталогу, яким дозволено читати його документ, а запит фільтрується за ідентичністю й групами того, хто питає. З наближеним векторним індексом фільтр має працювати до пошуку або під час нього: якщо застосувати його лише до кандидатів після пошуку, людина з доступом до малої частки корпусу отримає надто мало уривків.
- Синхронізація при зміні прав. Людину перевели в іншу групу, документи не змінилися, а доступ змінився. Індекси, що стежать лише за часом зміни файлів, цього не помічають, і старі права живуть в індексі, доки не зміниться сам документ.
- Журнал того, що кому знайдено. Коли хтось запитає, чи міг асистент показати певний документ, відповідь буде в журналі.
Фільтр під час пошуку не пускає в контекст чужі документи, проте не заважає документу, який користувач читати може, містити інструкції для моделі, наприклад вивести дані через посилання чи виклик інструмента. Це непряма ін'єкція промпту, і OWASP ставить ін'єкцію промпту на перше місце (LLM01) у своєму Top 10 for LLM Applications 2026.
Якщо у вихідних системах складні успадковані права (типовий приклад: система документообігу, що росла багато років), саме цей крок визначає строки проєкту, і краще дізнатися про це на старті. Деякі продукти переносять права самі: Onyx у платній Enterprise Edition синхронізує їх із SharePoint, Teams і Confluence. Таблиця зарплат чи картки клієнтів містять персональні дані, які за Законом № 2297-VI обробляють лише на одній із підстав статті 11 і з визначеною метою. Локальний сервер зменшує ризики передачі даних, але не замінює ні правової підстави, ні захисту даних.
Як ділити документи на фрагменти для RAG
Перед індексацією документи ділять на фрагменти (chunks), і від способу поділу залежить, що пошук зможе знайти. Але спершу з PDF треба отримати чистий текст і таблиці, а для кирилиці це окреме питання. Docling сам текст не розпізнає й покладається на рушії: українську дають RapidOCR (моделі cyrillic, eslav) або EasyOCR, а Tesseract має мовні дані ukr і rus. На UNLP 2026 команда КПІ відмовилася від Docling, бо він працював повільно й на частині PDF падав, і для файлів із текстовим шаром перейшла на pymupdf4llm. Докладніше в статті про розбір PDF для RAG.
| Помилка | Що стається | Як краще |
|---|---|---|
| Поділ на шматки фіксованої довжини в довільних місцях | визначення розрізане навпіл, жодна половина не відповідає на запитання | ділити за структурою (заголовки, розділи, пункти списку) з невеликим перекриттям |
| Завеликі фрагменти | пошук повертає сторінки тексту, потрібне речення губиться, вартість зростає | фрагмент на одну завершену думку; брати більше фрагментів замість довших |
| Замалі фрагменти | уривок уже не каже, про що він: «замінювати щороку» без підмета | зберігати з кожним фрагментом батьківський заголовок |
| Таблиці, злиті в суцільний текст | числа втрачають підписи рядків і колонок | тримати таблицю цілою, із заголовками |
| Без метаданих | нічого не відфільтруєш і не датуєш; скасований регламент стоїть поруч із чинним | зберігати джерело, розділ, дату, версію й власника документа |
Джерело: наше узагальнення типових помилок поділу документів у RAG-проєктах.
Метадані працюють двічі. Під час пошуку вони дають змогу обмежити його типом документа чи періодом. У відповіді посилання зі справжньою назвою й датою документа робить систему вартою довіри: користувач відкриває джерело й за кілька секунд перевіряє відповідь.
Гібридний пошук (ключові слова плюс векторна подібність) майже в кожному корпоративному корпусі вартий невеликих додаткових зусиль. Ембединги вловлюють зміст, але можуть пропустити точний збіг, тож артикули, номери договорів, коди помилок і назви проєктів потребують і пошуку за ключовими словами.
Ембединги для української: RAG на кількох мовах
Окремого українського розділу в MTEB чи MMTEB ми в першоджерелах не знайшли. Практичний орієнтир дає UNLP 2026: запитання українською до приблизно 240 PDF без інтернету.
| Модель | Ліцензія | Що відомо для української |
|---|---|---|
| Qwen3-Embedding-8B | Apache 2.0 | система КПІ на UNLP 2026: 0,9426 / 0,9592 (public / private); контекст 32k токенів |
| Qwen3-Embedding-0.6B | Apache 2.0 | UNLP 2026: 0,9370 / 0,9507 |
| Qwen3-Reranker-8B | Apache 2.0 | ререйкінг підняв Recall@1 з 0,6957 до 0,7935 |
| bge-m3 (BAAI) | MIT | 8 192 токени; українських цифр на картці немає |
| multilingual-e5-large | MIT | 512 токенів; uk і ru оцінено в CrossNews-UA |
| jina-embeddings-v3 | CC-BY-NC-4.0 | uk і ru серед 30 мов налаштування; ліцензія некомерційна |
Джерело: arXiv 2605.10296 (UNLP 2026 shared task), картки моделей на Hugging Face, arXiv 2510.19628 (CrossNews-UA); прочитано 13.11.2026.
Цифри UNLP показують точність усієї системи (пошук, ререйкер і генератор разом), а не окремої моделі ембедингів. Різниця між варіантами 8B і 0.6B за ними невелика, тож меншу модель варто перевірити першою на власному наборі запитань.
Багатомовна модель ембедингів знаходить зміст через мовну межу, але пошук за ключовими словами спрацьовує лише в межах однієї мови. Тому мову документа зберігайте як метадані, щоб результати можна було фільтрувати чи балансувати, а в наборі для оцінювання мають бути запитання всіма мовами корпусу. Для генерації відповідей українською на Ukrainian LLM Leaderboard (lang-uk, травень 2026) найвищі бали має Gemma 4 26B A4B у режимі міркувань (Apache 2.0); серед моделей, донавчених на українській, є MamayLM v2.0 на 12B і 27B (Gemma Terms of Use).
Як оцінити якість RAG: набір запитань і пілот
Запишіть від п'ятдесяти до сотні реальних запитань від майбутніх користувачів із правильною відповіддю й документом, з якого вона має прийти. Для цього потрібен фахівець предметної області, і це найкорисніша робота в усьому проєкті. Без такого набору кожна зміна стає справою смаку: хтось переналаштував поділ, кілька колег спробували, а чи стало краще, не скаже ніхто. З ним ви міряєте дві речі:
- частку влучань пошуку: як часто правильний уривок є серед знайдених. Якщо вона низька, далі відповідь уже не врятувати, і ви точно знаєте, де працювати;
- правильність відповіді: як часто відповідь правильна, коли потрібний уривок знайдено. Лише коли пошук добрий, а цей показник низький, проблема в промпті чи моделі.
Низька частка влучань вказує на поділ, метадані чи пошук, низька правильність при добрих влучаннях на промпт або модель. Одна загальна оцінка фінальної відповіді приховує, що саме зламалося.
Починайте з одного відділу, одного набору документів і одного чітко окресленого типу запитань, а майбутніх користувачів залучайте від першого дня. Підніміть частку влучань на цьому наборі, перш ніж додавати другий корпус. Проєкти буксують, коли роблять навпаки: індексують усе, що є в компанії, показують усім, збирають довгий список різнорідних скарг і так і не з'ясовують, яку проблему пошуку виправляти першою. Вузький пілот дає одній команді вимірювані відповіді, а його цифри стають підставою для рішення про наступний набір документів. Розгортання Qdrant, моделей ембедингів і мовної моделі можуть узяти на себе інженери Vixen.UNO.
Як тримати індекс актуальним і коли асистент має відмовити
Найбільше шкодить репутації системи впевнена, гарно написана відповідь із документа, який замінили чотири місяці тому.
- Індексуйте за подією зміни замість розкладу, якщо вихідна система це підтримує: виправлений регламент стає доступним для пошуку того ж дня.
- Показуйте дату документа в кожному посиланні, щоб людина помітила, що відповідь спирається на старе.
- Видаляйте замінені документи з індексу, не покладаючись на ранжування: якщо стара версія лишилася, рано чи пізно її знайдуть.
Поруч стоїть уміння відмовляти. Якщо нічого релевантного вище порогу впевненості не знайдено, правильна відповідь звучить як «у доступних документах цього не знайдено». Така відповідь відправляє користувача до вихідної системи, тоді як упевнену хибну відповідь можуть узяти до виконання.
Яке залізо потрібне для RAG: ембединги, відповіді, векторний індекс
Навантаження складається з двох частин: перетворення корпусу на вектори й відповіді на запитання. Векторизація є разовим піком: кожен документ обробляють один раз, далі лише змінені, доки ви не заміните модель ембедингів і не доведеться перерахувати все.
| Карта | Текстів по 512 токенів за секунду | 300 000 документів по 10 фрагментів |
|---|---|---|
| L40S | 144,3 | близько 5,8 год |
| L4 | 49,2 | близько 17 год |
Джерело: документація NVIDIA NIM 1.14.0 від 30.09.2026, модель ембедингів NVIDIA на 1B у FP8; час обробки за нашою оцінкою.
Великим моделям ембедингів, похідним від LLM, на такий корпус потрібні дні, а розбір PDF часто триває довше за саму векторизацію. Потім навантаження майже зникає.
Відповіді дають постійне навантаження, і залежить воно від кількості одночасних розмов, а не від розміру корпусу. Векторний індекс вимірюють у гігабайтах: приблизно 4 байти × розмірність × кількість фрагментів плюс накладні витрати індексу, або менше, якщо вектори квантовано. Наприклад, 3 млн фрагментів із векторами розмірністю 1 024 займають близько 12,3 ГБ без накладних витрат (наш розрахунок). Зазвичай індекс тримають в оперативній пам'яті, якщо база не зберігає його на диску. Відеопам'ять іде на KV-кеш для одночасних користувачів, а RAG-промпти довгі, бо кожен несе знайдені уривки; формули є в статті про відеопам'ять під LLM. У токенізаторі Lapa LLM 80 000 із 250 000 токенів замінено українськими, тож із цією моделлю український текст займає приблизно в 1,5 раза менше токенів, а той самий промпт менше кешу.
Для більшості внутрішніх розгортань це один сервер, а кластер із кількох вузлів має випливати з виміряного навантаження. Для пілотів і RAG-асистентів із моделями приблизно до 70B параметрів підходять дві RTX PRO 6000 Server Edition, для промислової експлуатації кількома командами й моделями чотири. ETE збирає обидві конфігурації під задачу й рахує їх від кількості документів і одночасних користувачів.
Часті питання
Чи треба донавчати модель на наших даних?
Зазвичай ні. Донавчання вчить стилю й формату, а факти приносить пошук. Для запитань на кшталт «що каже наш регламент» підходить RAG, і він має вирішальну перевагу: оновили документ, і відповідь оновилася без жодного перенавчання.
Як дотримати прав доступу до документів у RAG?
Фільтруйте під час пошуку за ідентичністю того, хто питає, щоб закриті уривки взагалі не поверталися. Прохання до моделі бути стриманою контролем не є: на той момент вміст уже в контекстному вікні.
Скільки документів потрібно для RAG?
Обсяг важить менше, ніж те, чи витрачають люди зараз час на пошук. Кілька тисяч документів, у яких шукають щодня, дають сильніший аргумент за проєкт, ніж мільйон, який ніхто не читає.
Чому в демо асистент відповідає добре, а в роботі погано?
У демо беруть запитання, відповіді на які легко знайти. Реальні запитання містять внутрішню лексику, скорочення й артикули. Саме цей розрив закриває набір для оцінювання, тому запитання для нього збирають у реальних користувачів, проєктна команда їх не вигадує.
Чи працює RAG з документами українською, російською й англійською водночас?
Так, з багатомовною моделлю ембедингів і мовою документа в метаданих. На UNLP 2026 команда КПІ отримала свій найвищий результат на українських запитаннях із Qwen3-Embedding-8B і Qwen3-Reranker-8B. Пошук за ключовими словами працює лише в межах однієї мови, тож набір для оцінювання має покривати всі мови корпусу.
Яке залізо потрібне для RAG на корпоративних даних?
Зазвичай один сервер. Векторизація документів є разовим піком, а постійне навантаження дає кількість людей, які питають одночасно, незалежно від розміру колекції. Дві RTX PRO 6000 Server Edition підходять для пілотів і асистентів із моделями приблизно до 70B параметрів, чотири обслуговують кілька команд і кілька моделей.
Що з цього є в ETE
- ETE AI Server RTX PRO: чотири RTX PRO 6000 Server Edition по 96 ГБ (384 ГБ відеопам'яті), тобто чотирикарткова конфігурація зі статті для кількох команд і моделей.
- NVIDIA RTX PRO 6000 Server Edition 96 ГБ: основа двокарткової конфігурації для пілота з моделями приблизно до 70B.
- NVIDIA L40S 48 ГБ: векторизація корпусу, за цифрами NIM 144,3 тексту по 512 токенів за секунду, тобто 300 000 документів приблизно за 5,8 години.
Плануєте асистента на документах компанії?
Напишіть, скільки у вас документів і якими мовами, у яких системах вони зберігаються, як там видано права доступу і скільки людей питатимуть одночасно. ETE порахує конфігурацію сервера, а за потреби інженери Vixen.UNO налаштують Qdrant, моделі ембедингів і мовну модель.