Подготовка документов для RAG сводится к тому, чтобы из файла получился текст с сохранённым порядком чтения, заголовками и таблицами, а после нарезки каждый фрагмент содержал одну законченную мысль и сам объяснял, о чём он. Формат файла решает почти всё: Markdown и документы со стилями дают структуру бесплатно, PDF и презентации её, как правило, теряют, а сканы вообще не содержат текста. Поэтому первый вопрос к базе знаний звучит не «какая модель», а «в каком виде лежат документы».

Загрузка и разбиение как этапы конвейера описаны в статье «Как устроен RAG-пайплайн»; здесь только то, что делают с самими документами до загрузки и как проверить результат. Если в базе много сканов, смотрите страницу про OCR-системы на заказ, а измерение точности распознавания разобрано в статье «Как измерить точность распознавания документов». Услуга описана на странице «RAG-система на заказ».

Коротко. RAG видит не документ, а извлечённый из него текст. Проверьте порядок и структуру извлечённого текста до любых настроек поиска. PDF и презентации держите как формат для чтения, а базу собирайте из исходников. Нарезку проверяйте метрикой «одна мысль на фрагмент» на пятидесяти фрагментах, порядок работ отрабатывайте на ста документах.

Подготовка документов для RAG: что решает формат файла

RAG видит не документ, а текст, который из него удалось извлечь. Всё, что потеряно при извлечении, поиск и модель не восстановят. Поэтому качество данных для RAG складывается из трёх уровней, и чинят их по порядку.

  1. Извлекаемость. Есть ли в файле текст, идёт ли он в порядке чтения, не превратились ли таблицы и колонки в кашу. Если нет, остальное бессмысленно.
  2. Структура. Сохранились ли заголовки, нумерация пунктов, шапки таблиц, связь «раздел — документ». От неё зависят нарезка и ссылка на источник в ответе.
  3. Однозначность. Какая редакция действует, нет ли дублей, кто владелец, для кого документ. Без этого система уверенно ответит по отменённому тексту.

Первый уровень проверяется за несколько минут на документ. Возьмите по два-три документа каждого типа, извлеките текст так, как это сделает система, и положите рядом с оригиналом. Читайте с карандашом: порядок, пропуски, мусор, потерянные заголовки. Если текст искажён хотя бы у одного типа файлов, к нарезке и поиску переходить рано: сначала исправляют извлечение для этого типа.

Почему PDF плохой источник для RAG: страница вместо документа

PDF создавался для печати: он обычно хранит, где на странице стоит каждая строка и символ, а не то, что это заголовок, абзац или ячейка таблицы. Поэтому текст приходит в порядке рисования на странице, и ломается следующее.

  • Колонки и врезки. Две колонки читаются поперёк, и фраза склеивается из двух несвязанных кусков; подписи к рисункам и врезки вклиниваются в середину абзаца.
  • Колонтитулы и сноски. Повторяются на каждой странице и попадают в текст среди смысловых предложений; сноска оказывается посреди фразы, а номер страницы между двумя половинами предложения.
  • Переносы и разрывы. Слово, разорванное переносом, превращается в два «слова» и не находится поиском по словам; предложение на границе страниц режется надвое.
  • Таблицы. В обычном PDF нет ячеек, есть подписанные позиции. Числа приходят в порядке рисования без названий столбцов, а объединённые ячейки и перенос таблицы на другую страницу ломают соответствие строк и значений.
  • Текстовый слой есть, но плохой. После распознавания старого скана остаётся слой с ошибками или в неверной кодировке: файл выглядит текстовым, а вместо слов набор значков. Текст выделяется мышью, но это ещё не значит, что он читается.
  • Скан без текста. Для поиска документа не существует, пока его не распознали, а распознавание ошибается именно в цифрах, номерах и датах.

Отсюда правило: PDF — формат отдачи, а не хранения для базы знаний. Если у документа есть исходник (текстовый документ, страница вики, система, из которой его печатали), в базу берут исходник, а PDF остаётся ссылкой для чтения. Если исходника нет, PDF проверяют по типам: у каждого типа свой способ извлечения и свой список известных дефектов.

Презентации: текст в картинках и слайды без связок

Слайд не рассказывает мысль, он сопровождает докладчика. Поэтому презентация плохо переживает превращение в текст.

  • Смысл в картинках. Схема, диаграмма, скриншот таблицы не текст, и числа с графика в базе не существуют, пока их не описали словами.
  • Порядок. Порядок текстовых блоков в файле часто отличается от порядка чтения: заголовок может прийти последним, а подпись раньше рисунка.
  • Обрывки. Заголовок и пять пунктов без глаголов («Сроки: четвёртый квартал; риск: поставщик»). Через неделю не поймёт и автор, а фрагмент без пояснения ничего не отвечает.
  • Заметки докладчика. Объяснение нередко лежит в них, а не на слайде, но там же бывают черновые и личные пометки: извлекать заметки или нет, решают отдельно для каждого набора.
  • Повторы и версии. Один слайд в десяти презентациях, «финал» и «финал2», шаблонные слайды (повестка, контакты) дают десятки одинаковых фрагментов, и они вытесняют полезные.

Что делать. Сначала решить, нужна ли презентация в базе: если есть текстовая версия, берите её. Иначе извлекайте текст слайда вместе с заметками, схемы и диаграммы описывайте словами (описание готовит человек или модель, результат проверяет человек), собирайте фрагмент из слайда или из нескольких подряд идущих слайдов одного раздела с названием презентации и номером слайда, а шаблонные слайды исключайте.

Формат, проблема, что делать: таблица для подготовки

Таблица сводит форматы, которые чаще всего лежат в базе знаний, с тем, как заметить дефект и что с ним делать. «Как заметить» проверяется на извлечённом тексте, без специальных инструментов.

ФорматЧто ломаетсяКак заметитьЧто делать
PDF с текстовым слоемПорядок строк, колонки, колонтитулы, таблицы без шапокФразы склеены из разных мест, номера страниц среди предложенийБрать исходник, если он есть; иначе извлекать с учётом разметки страницы, убирать повторяющиеся строки, таблицы собирать отдельно вместе с шапкой
PDF-скан, фотографияНет текста; ошибки распознавания в цифрах, номерах, именахТекст не выделяется мышью; после распознавания «0» вместо «О», «3» вместо «8»Распознать, проверить выборку руками, пометить документы с низкой уверенностью, цифры сверять с оригиналом
ПрезентацияСмысл в картинках, обрывочные формулировки, повторыСлайд превращается в набор слов без глаголовТекст слайда с заметками, описание схем, фрагмент равен слайду или разделу с названием, шаблонные слайды убрать
Документ текстового редактораНет стилей заголовков (всё «обычный текст»), непринятые правки, комментарии, скрытый текстВ извлечённом тексте заголовки неотличимы от абзацев, остаются зачёркнутые фразыПринять или отклонить правки, применить стили заголовков, убрать комментарии, указать редакцию
Markdown, вики, порталыУровни заголовков перескакивают, заголовок «Введение» без смысла, остатки макросов, дубли страницВ тексте видны служебные вставки, у соседних страниц одинаковые заголовкиВыровнять уровни, переименовать заголовки в самодостаточные, убрать макросы, дату изменения и владельца взять в метаданные
Таблицы ExcelСмысл в шапке на другом листе, объединённые ячейки, формулы без поясненийСтрока без шапки ничего не значитКаждую строку превратить в запись с названиями столбцов, описать лист: что за таблица, период, единицы
Письма и перепискаЦитаты в цитатах, подписи, ветки, устные договорённостиФрагмент повторяет весь вышестоящий текстПодключать по решению владельца данных; убирать цитаты и подписи; резать по сообщениям с темой и датой
HTML-страницы и выгрузкиМеню, подвалы, навигация, всплывающие текстыВ индексе множество одинаковых фрагментов вроде «Войти»Выделять основной блок страницы, исключать навигацию и повторяющиеся блоки

Структура документа для RAG: заголовки, пункты и паспорт

Структуру задаёт автор документа, а нарезка ею пользуется: заголовок и номер пункта становятся границей фрагмента и подписью в ссылке на источник. Что стоит закрепить как правила для новых и часто используемых документов:

  1. Заголовок несёт тему целиком: «Порядок согласования отпуска», а не «Общие положения». Заголовок, вынутый из документа, должен быть понятен.
  2. Один пункт — одно правило. Условие и исключение стоят рядом, под одним заголовком.
  3. Вместо «см. выше» и «данный» подставляйте название («порядок согласования отпуска»): фрагмент читается отдельно от соседей.
  4. Ссылки на другие документы даются с названием и номером («приказ о командировках, пункт 4»).
  5. У таблицы есть название и шапка, указаны единицы и период; большая таблица разбита на смысловые блоки.
  6. Важное лежит в тексте, а не в картинке; подпись к рисунку пересказывает вывод.
  7. Сроки даются с пояснением, к чему относятся: «в течение трёх рабочих дней со дня подачи заявления», а не «в течение трёх дней».
  8. В начале документа стоит паспорт: название, владелец, редакция и дата, статус («действует», «архив»), кому доступен, что заменяет.

Паспорт записывается в метаданные каждого фрагмента: по нему фильтруют права, исключают архив и показывают источник в ответе. Переписывать всю базу не нужно. Правила применяют к новым документам и к тем, которые чаще всего попадают в ответы и в ошибки: это видно по журналу вопросов.

Метрика «одна мысль на фрагмент»: как проверить нарезку

Нарезку проверяют не длиной в знаках, а тем, может ли фрагмент жить отдельно. Метрику считают вручную на выборке: возьмите 50 случайных фрагментов после нарезки, пропорционально по типам документов. Читатель, который знает тему, отвечает по каждому на четыре вопроса.

  1. Понятно ли без соседей, о чём он: есть ли название документа и раздела?
  2. Одна ли тема: не склеены ли два несвязанных пункта?
  3. Не оборван ли он: на середине условия, на словах «кроме случаев» без самих случаев?
  4. Нет ли мусора (колонтитулы, меню, повторяющиеся подписи) больше, чем смысла?

Фрагмент готов, если все четыре ответа «да». Доля готовых — готовые, делённые на проверенные. Порог записывается до замера и зависит от цены ошибки. Условный пример без реального клиента: для справки по регламентам вы требуете не меньше девяти готовых из десяти, а на первых неделях пилота принимаете семь из десяти при плане дойти до девяти. Числа выбираете вы.

Главная польза метрики в причинах. Чаще всего «непонятно без соседей»: добавляйте название документа и раздела в каждый фрагмент или передавайте модели соседей. «Две темы»: режьте по структуре, а не по длине. «Оборван»: меняйте границы и перекрытие. «Мусор»: чистите на загрузке. Вторая проверка идёт на вопросах: найден ли нужный фрагмент, как описано на странице оценки качества LLM-систем. Метрика фрагмента показывает причину, метрика поиска следствие, смотрите обе.

Подготовка документов для RAG на 100 документах: порядок работ

Сотня документов — подходящий размер для проверки подхода: хватает, чтобы увидеть все типы дефектов, и мало, чтобы исправить руками.

  1. Выберите документы по вопросам, а не по папкам. Возьмите 30–50 реальных вопросов сотрудников, найдите документы с ответами и добавьте те, на которые ссылаются чаще всего. Так сотня будет нужной, а не случайной.
  2. Разложите по форматам и владельцам. Таблица: файл, формат, владелец, редакция, есть ли исходник. Дубли и старые версии отметьте сразу.
  3. Проверьте извлечение на двух-трёх документах каждого формата. Для каждого формата зафиксируйте способ извлечения и список известных дефектов.
  4. Исправьте самый частый дефект, а не самый заметный. Если половина базы — сканы, начните с распознавания и его проверки; если документы без стилей, расставьте заголовки.
  5. Добавьте паспорт: владелец, редакция, статус, доступ.
  6. Нарежьте и измерьте «одну мысль на фрагмент» на пятидесяти фрагментах, устраните причины.
  7. Прогоните вопросы и разделите ошибки: что лечится документом (формат, структура, редакция), что поиском. Исправления документов запишите как правила.
  8. Закрепите стандарт на одной странице: форматы, способ извлечения, правила для авторов, паспорт, порог метрики. Только потом загружайте остальные документы.

Сколько человеко-часов уйдёт на всю базу, зависит от её состояния. Замерьте на первых десяти документах и умножьте, прежде чем планировать остальное.

Что делаем мы и с чего начать

Начните с проверки из первого раздела: по два-три документа каждого типа, извлечённый текст рядом с оригиналом. Если нужна помощь снаружи, мы начинаем с обследования: 200 000 ₽ и 2–3 недели за один-два источника, 350 000 ₽ и 3–4 недели при нескольких системах и ролях. Берём ваши документы и вопросы, определяем форматы и дефекты, считаем долю готовых фрагментов на выборке и показываем, что чинится правилами, что разметкой, а что требует решения владельцев документов. Сумма вычитается из первого этапа, а документом можно пользоваться без нас.

Мы не наводим порядок в содержании документов за вас (владельцы разделов правят текст сами), не оцифровываем бумажный архив и не обещаем долю точных ответов заранее. Дальше лёгкий пилот на подготовленном наборе (150 000–400 000 ₽, 2–8 недель) и вывод в эксплуатацию этапами. Цены и сроки собраны на странице тарифов.

Частые вопросы

Почему PDF плохой источник для RAG?

PDF хранит положение строк на странице, а не структуру: заголовки, абзацы и ячейки таблиц при извлечении теряются, колонки склеиваются, колонтитулы попадают в текст, а у сканов текста нет вовсе. Если есть исходник, берите его, а PDF оставляйте для чтения.

Как организовать подготовку документов для RAG, если их сотни?

Начните со ста документов, выбранных по реальным вопросам. Определите форматы и дефекты, исправьте самый частый, добавьте паспорт документа, измерьте долю готовых фрагментов и закрепите правила на одной странице. Остальную базу загружайте по тем же правилам.

Нужно ли переводить документы в Markdown?

Не обязательно. Markdown удобен как промежуточный формат, потому что хранит заголовки явно, но структуру сам не придумывает: если в исходном документе нет стилей заголовков, после конвертации их тоже не будет. Важна структура, а не расширение файла.

Что делать со сканами в базе знаний?

Распознать, проверить выборку документов вручную, пометить документы с низкой уверенностью и сверять цифры, номера и даты с оригиналом. Точность распознавания измеряется на выборке ваших документов; если сканов много, это отдельная работа со своей приёмкой.

Как проверить качество данных для RAG до запуска?

Тремя проверками: сравнить извлечённый текст с оригиналом на нескольких документах каждого типа, посчитать долю готовых фрагментов по четырём вопросам и прогнать реальные вопросы, разделив ошибки на те, что лечатся документом, и те, что лечатся поиском.

Что делать с презентациями в базе знаний?

Если есть текстовая версия, берите её. Иначе извлекайте текст слайдов вместе с заметками, описывайте схемы словами, собирайте фрагмент из слайда или раздела с названием презентации и номером слайда и исключайте шаблонные слайды. Описание проверяет человек.

Что такое «одна мысль на фрагмент» и зачем это считать?

Это проверка, что фрагмент понятен без соседей, посвящён одной теме, не оборван и не забит мусором. Она показывает причину плохих ответов раньше, чем поиск: можно исправить нарезку или документы, а не менять модель.

Сколько стоит подготовка документов для RAG?

Оценка начинается с обследования: 200 000 ₽ за один-два источника, 350 000 ₽ при нескольких системах и ролях; сумма вычитается из первого этапа. Лёгкий пилот на подготовленном наборе стоит 150 000–400 000 ₽ за 2–8 недель. Объём ручной работы зависит от состояния документов и называется после просмотра выборки.