Когда RAG по документам компании отвечает неверно, причина чаще всего в поиске: до модели просто не дошел нужный фрагмент. Поэтому такой проект (RAG, retrieval-augmented generation, генерация с опорой на найденные документы) строят от поиска: права доступа проверяют в момент выборки, документы делят по структуре, качество измеряют на реальных вопросах, а индекс поддерживают актуальным.

У украинской компании есть еще один вопрос: документы на украинском, русском и английском в одном корпусе. Самые свежие открытые данные об этом дает соревнование UNLP 2026, где системы искали ответы на украинские вопросы примерно в 240 PDF без доступа к интернету. Их результаты помогают выбрать модели эмбеддингов.

Коротко

  • Качество RAG определяет поиск: если нужного фрагмента нет среди найденных, ответ не спасут ни модель, ни промпт.
  • Права доступа применяют фильтром во время поиска; инструкция в промпте доступ не контролирует.
  • Перед любой настройкой запишите от 50 до 100 реальных вопросов с правильным ответом и документом-источником.
  • На UNLP 2026 свой самый высокий результат команда КПИ получила с Qwen3-Embedding-8B и Qwen3-Reranker-8B (обе Apache 2.0); реранкинг поднял Recall@1 с 0,6957 до 0,7935.
  • По нашей оценке на основе цифр NVIDIA NIM, одна L40S с моделью эмбеддингов NVIDIA на 1B превращает в векторы 300 000 документов по десять фрагментов на 512 токенов примерно за 5,8 часа.

Как работает RAG: четыре шага

Конвейер RAG состоит из четырех шагов:

  1. найти в документах компании фрагменты, которые отвечают на вопрос;
  2. вставить их в промпт;
  3. попросить модель ответить только на их основе;
  4. показать пользователю, откуда взят ответ.

Основная работа приходится на первый шаг. Если найденные фрагменты содержат ответ, современная модель с инструктивным дообучением обычно его выдаст, хотя ответ из середины длинного контекста она находит менее надежно. Если фрагменты ответа не содержат, не поможет ни другой промпт, ни другая модель. Поэтому сначала измеряйте поиск, а уже потом правьте промпты или меняйте модель.

Так что RAG-проект в основном является проектом по инженерии данных, и людей и сроки под него закладывают соответственно. Готовые приложения для общения с документами разобраны в статье о приватной альтернативе ChatGPT, а цифры из ERP или CRM требуют text-to-SQL, о котором рассказано в статье о вопросах к базе данных обычным языком.

Права доступа в RAG: фильтр во время поиска

Утечка закрытых документов имеет юридические последствия, поэтому с нее и начинают. Соблазнительный короткий путь: сложить все в одну коллекцию и приказать модели не показывать документы, которые пользователь видеть не должен. Доступ это не контролирует. Инструкция в промпте является просьбой к вероятностной системе, а когда модель ее читает, таблица зарплат уже лежит в контекстном окне.

Права применяют на этапе поиска, и поиск никогда не возвращает фрагмент, который пользователь не может открыть в исходной системе. Для этого нужны три меры.

  1. Списки доступа (ACL) в индексе. Каждый фрагмент хранит пользователей и группы каталога, которым разрешено читать его документ, а запрос фильтруется по идентичности и группам того, кто спрашивает. С приближенным векторным индексом фильтр должен работать до поиска или во время него: если применить его только к кандидатам после поиска, человек с доступом к малой доле корпуса получит слишком мало фрагментов.
  2. Синхронизация при изменении прав. Человека перевели в другую группу, документы не изменились, а доступ изменился. Индексы, которые следят только за временем изменения файлов, этого не замечают, и старые права живут в индексе, пока не изменится сам документ.
  3. Журнал того, что кому найдено. Когда кто-то спросит, мог ли ассистент показать определенный документ, ответ будет в журнале.

Фильтр во время поиска не пускает в контекст чужие документы, но не мешает документу, который пользователь читать может, содержать инструкции для модели, например вывести данные через ссылку или вызов инструмента. Это непрямая инъекция промпта, и OWASP ставит инъекцию промпта на первое место (LLM01) в своем Top 10 for LLM Applications 2026.

Если в исходных системах сложные унаследованные права (типичный пример: система документооборота, которая росла много лет), именно этот шаг определяет сроки проекта, и лучше узнать об этом на старте. Некоторые продукты переносят права сами: Onyx в платной Enterprise Edition синхронизирует их с SharePoint, Teams и Confluence. Таблица зарплат или карточки клиентов содержат персональные данные, которые по Закону № 2297-VI обрабатывают только на одном из оснований статьи 11 и с определенной целью. Локальный сервер снижает риски передачи данных, но не заменяет ни правового основания, ни защиты данных.

Как делить документы на фрагменты для RAG

Перед индексацией документы делят на фрагменты (chunks), и от способа деления зависит, что поиск сможет найти. Но сначала из PDF нужно получить чистый текст и таблицы, а для кириллицы это отдельный вопрос. Docling сам текст не распознает и опирается на движки: украинский дают RapidOCR (модели cyrillic, eslav) или EasyOCR, а у Tesseract есть языковые данные ukr и rus. На UNLP 2026 команда КПИ отказалась от Docling, потому что он работал медленно и на части PDF падал, и для файлов с текстовым слоем перешла на pymupdf4llm. Подробнее в статье о разборе PDF для RAG.

Ошибка Что происходит Как лучше
Деление на куски фиксированной длины в произвольных местах определение разрезано пополам, ни одна половина не отвечает на вопрос делить по структуре (заголовки, разделы, пункты списка) с небольшим перекрытием
Слишком большие фрагменты поиск возвращает страницы текста, нужное предложение теряется, стоимость растет фрагмент на одну законченную мысль; брать больше фрагментов вместо более длинных
Слишком маленькие фрагменты фрагмент уже не говорит, о чем он: «заменять ежегодно» без подлежащего хранить с каждым фрагментом родительский заголовок
Таблицы, слитые в сплошной текст числа теряют подписи строк и колонок держать таблицу целой, с заголовками
Без метаданных ничего не отфильтровать и не датировать; отмененный регламент стоит рядом с действующим хранить источник, раздел, дату, версию и владельца документа

Источник: наше обобщение типичных ошибок деления документов в RAG-проектах.

Метаданные работают дважды. Во время поиска они позволяют ограничить его типом документа или периодом. В ответе ссылка с настоящим названием и датой документа делает систему заслуживающей доверия: пользователь открывает источник и за несколько секунд проверяет ответ.

Гибридный поиск (ключевые слова плюс векторное сходство) почти в каждом корпоративном корпусе стоит небольших дополнительных усилий. Эмбеддинги улавливают смысл, но могут пропустить точное совпадение, поэтому артикулы, номера договоров, коды ошибок и названия проектов требуют и поиска по ключевым словам.

Эмбеддинги для украинского: RAG на нескольких языках

Отдельного украинского раздела в MTEB или MMTEB мы в первоисточниках не нашли. Практический ориентир дает UNLP 2026: вопросы на украинском к примерно 240 PDF без интернета.

Модель Лицензия Что известно для украинского
Qwen3-Embedding-8B Apache 2.0 система КПИ на UNLP 2026: 0,9426 / 0,9592 (public / private); контекст 32k токенов
Qwen3-Embedding-0.6B Apache 2.0 UNLP 2026: 0,9370 / 0,9507
Qwen3-Reranker-8B Apache 2.0 реранкинг поднял Recall@1 с 0,6957 до 0,7935
bge-m3 (BAAI) MIT 8 192 токена; украинских цифр на карточке нет
multilingual-e5-large MIT 512 токенов; uk и ru оценены в CrossNews-UA
jina-embeddings-v3 CC-BY-NC-4.0 uk и ru среди 30 языков настройки; лицензия некоммерческая

Источник: arXiv 2605.10296 (UNLP 2026 shared task), карточки моделей на Hugging Face, arXiv 2510.19628 (CrossNews-UA); прочитано 13.11.2026.

Цифры UNLP показывают точность всей системы (поиск, реранкер и генератор вместе), а не отдельной модели эмбеддингов. Разница между вариантами 8B и 0.6B по ним невелика, так что меньшую модель стоит проверить первой на собственном наборе вопросов.

Многоязычная модель эмбеддингов находит смысл через языковую границу, но поиск по ключевым словам срабатывает только в пределах одного языка. Поэтому язык документа храните как метаданные, чтобы результаты можно было фильтровать или балансировать, а в наборе для оценки должны быть вопросы на всех языках корпуса. Для генерации ответов на украинском на Ukrainian LLM Leaderboard (lang-uk, май 2026) самые высокие баллы у Gemma 4 26B A4B в режиме рассуждений (Apache 2.0); среди моделей, дообученных на украинском, есть MamayLM v2.0 на 12B и 27B (Gemma Terms of Use).

Как оценить качество RAG: набор вопросов и пилот

Запишите от пятидесяти до сотни реальных вопросов от будущих пользователей с правильным ответом и документом, из которого он должен прийти. Для этого нужен специалист предметной области, и это самая полезная работа во всем проекте. Без такого набора каждое изменение становится делом вкуса: кто-то перенастроил деление, несколько коллег попробовали, а стало ли лучше, не скажет никто. С ним вы измеряете две вещи:

  • долю попаданий поиска: как часто правильный фрагмент есть среди найденных. Если она низкая, дальше ответ уже не спасти, и вы точно знаете, где работать;
  • правильность ответа: как часто ответ верен, когда нужный фрагмент найден. Только когда поиск хороший, а этот показатель низкий, проблема в промпте или модели.

Низкая доля попаданий указывает на деление, метаданные или поиск, низкая правильность при хороших попаданиях на промпт или модель. Одна общая оценка финального ответа скрывает, что именно сломалось.

Начинайте с одного отдела, одного набора документов и одного четко очерченного типа вопросов, а будущих пользователей привлекайте с первого дня. Поднимите долю попаданий на этом наборе, прежде чем добавлять второй корпус. Проекты буксуют, когда делают наоборот: индексируют все, что есть в компании, показывают всем, собирают длинный список разнородных жалоб и так и не выясняют, какую проблему поиска исправлять первой. Узкий пилот дает одной команде измеримые ответы, а его цифры становятся основанием для решения о следующем наборе документов. Развертывание Qdrant, моделей эмбеддингов и языковой модели могут взять на себя инженеры Vixen.UNO.

Как держать индекс актуальным и когда ассистент должен отказать

Больше всего вредит репутации системы уверенный, хорошо написанный ответ из документа, который заменили четыре месяца назад.

  • Индексируйте по событию изменения вместо расписания, если исходная система это поддерживает: исправленный регламент становится доступным для поиска в тот же день.
  • Показывайте дату документа в каждой ссылке, чтобы человек заметил, что ответ опирается на старое.
  • Удаляйте замененные документы из индекса, не полагаясь на ранжирование: если старая версия осталась, рано или поздно ее найдут.

Рядом стоит умение отказывать. Если ничего релевантного выше порога уверенности не найдено, правильный ответ звучит как «в доступных документах этого не найдено». Такой ответ отправляет пользователя к исходной системе, тогда как по уверенному неверному ответу могут начать действовать.

Какое железо нужно для RAG: эмбеддинги, ответы, векторный индекс

Нагрузка состоит из двух частей: превращения корпуса в векторы и ответов на вопросы. Векторизация является разовым пиком: каждый документ обрабатывают один раз, дальше только измененные, пока вы не замените модель эмбеддингов и не придется пересчитать все.

Карта Текстов по 512 токенов в секунду 300 000 документов по 10 фрагментов
L40S 144,3 около 5,8 ч
L4 49,2 около 17 ч

Источник: документация NVIDIA NIM 1.14.0 от 30.09.2026, модель эмбеддингов NVIDIA на 1B в FP8; время обработки по нашей оценке.

Большим моделям эмбеддингов, производным от LLM, на такой корпус нужны дни, а разбор PDF часто длится дольше самой векторизации. Потом нагрузка почти исчезает.

Ответы дают постоянную нагрузку, и зависит она от количества одновременных разговоров, а не от размера корпуса. Векторный индекс измеряют в гигабайтах: примерно 4 байта × размерность × количество фрагментов плюс накладные расходы индекса, или меньше, если векторы квантованы. Например, 3 млн фрагментов с векторами размерности 1 024 занимают около 12,3 ГБ без накладных расходов (наш расчет). Обычно индекс держат в оперативной памяти, если база не хранит его на диске. Видеопамять уходит на KV-кэш для одновременных пользователей, а RAG-промпты длинные, потому что каждый несет найденные фрагменты; формулы есть в статье о видеопамяти под LLM. В токенизаторе Lapa LLM 80 000 из 250 000 токенов заменены украинскими, поэтому с этой моделью украинский текст занимает примерно в 1,5 раза меньше токенов, а тот же промпт меньше кэша.

Для большинства внутренних развертываний это один сервер, а кластер из нескольких узлов должен следовать из измеренной нагрузки. Для пилотов и RAG-ассистентов с моделями примерно до 70B параметров подходят две RTX PRO 6000 Server Edition, для промышленной эксплуатации несколькими командами и моделями четыре. ETE собирает обе конфигурации под задачу и рассчитывает их от количества документов и одновременных пользователей.

Частые вопросы

Нужно ли дообучать модель на наших данных?

Обычно нет. Дообучение учит стилю и формату, а факты приносит поиск. Для вопросов вроде «что говорит наш регламент» подходит RAG, и у него есть решающее преимущество: обновили документ, и ответ обновился без всякого переобучения.

Как соблюсти права доступа к документам в RAG?

Фильтруйте во время поиска по идентичности того, кто спрашивает, чтобы закрытые фрагменты вообще не возвращались. Просьба к модели быть сдержанной контролем не является: к этому моменту содержимое уже в контекстном окне.

Сколько документов нужно для RAG?

Объем значит меньше, чем то, тратят ли люди сейчас время на поиск. Несколько тысяч документов, в которых ищут каждый день, дают более сильный аргумент за проект, чем миллион, который никто не читает.

Почему в демо ассистент отвечает хорошо, а в работе плохо?

В демо берут вопросы, ответы на которые легко найти. Реальные вопросы содержат внутреннюю лексику, сокращения и артикулы. Именно этот разрыв закрывает набор для оценки, поэтому вопросы для него собирают у реальных пользователей, проектная команда их не придумывает.

Работает ли RAG с документами на украинском, русском и английском одновременно?

Да, с многоязычной моделью эмбеддингов и языком документа в метаданных. На UNLP 2026 команда КПИ получила свой самый высокий результат на украинских вопросах с Qwen3-Embedding-8B и Qwen3-Reranker-8B. Поиск по ключевым словам работает только в пределах одного языка, так что набор для оценки должен покрывать все языки корпуса.

Какое железо нужно для RAG на корпоративных данных?

Обычно один сервер. Векторизация документов является разовым пиком, а постоянную нагрузку дает количество людей, которые спрашивают одновременно, независимо от размера коллекции. Две RTX PRO 6000 Server Edition подходят для пилотов и ассистентов с моделями примерно до 70B параметров, четыре обслуживают несколько команд и несколько моделей.

Что из этого есть в ETE

  • ETE AI Server RTX PRO: четыре RTX PRO 6000 Server Edition по 96 ГБ (384 ГБ видеопамяти), то есть четырехкарточная конфигурация из статьи для нескольких команд и моделей.
  • NVIDIA RTX PRO 6000 Server Edition 96 ГБ: основа двухкарточной конфигурации для пилота с моделями примерно до 70B.
  • NVIDIA L40S 48 ГБ: векторизация корпуса, по цифрам NIM 144,3 текста по 512 токенов в секунду, то есть 300 000 документов примерно за 5,8 часа.

Планируете ассистента на документах компании?

Напишите, сколько у вас документов и на каких языках, в каких системах они хранятся, как там выданы права доступа и сколько людей будут спрашивать одновременно. ETE рассчитает конфигурацию сервера, а при необходимости инженеры Vixen.UNO настроят Qdrant, модели эмбеддингов и языковую модель.

Обсудить задачу

Автор: Инженер ETE