Подготовка документов для RAG сводится к тому, чтобы из файла получился текст с сохранённым порядком чтения, заголовками и таблицами, а после нарезки каждый фрагмент содержал одну законченную мысль и сам объяснял, о чём он. Формат файла решает почти всё: Markdown и документы со стилями дают структуру бесплатно, PDF и презентации её, как правило, теряют, а сканы вообще не содержат текста. Поэтому первый вопрос к базе знаний звучит не «какая модель», а «в каком виде лежат документы».
Загрузка и разбиение как этапы конвейера описаны в статье «Как устроен RAG-пайплайн»; здесь только то, что делают с самими документами до загрузки и как проверить результат. Если в базе много сканов, смотрите страницу про OCR-системы на заказ, а измерение точности распознавания разобрано в статье «Как измерить точность распознавания документов». Услуга описана на странице «RAG-система на заказ».
Подготовка документов для RAG: что решает формат файла
RAG видит не документ, а текст, который из него удалось извлечь. Всё, что потеряно при извлечении, поиск и модель не восстановят. Поэтому качество данных для RAG складывается из трёх уровней, и чинят их по порядку.
- Извлекаемость. Есть ли в файле текст, идёт ли он в порядке чтения, не превратились ли таблицы и колонки в кашу. Если нет, остальное бессмысленно.
- Структура. Сохранились ли заголовки, нумерация пунктов, шапки таблиц, связь «раздел — документ». От неё зависят нарезка и ссылка на источник в ответе.
- Однозначность. Какая редакция действует, нет ли дублей, кто владелец, для кого документ. Без этого система уверенно ответит по отменённому тексту.
Первый уровень проверяется за несколько минут на документ. Возьмите по два-три документа каждого типа, извлеките текст так, как это сделает система, и положите рядом с оригиналом. Читайте с карандашом: порядок, пропуски, мусор, потерянные заголовки. Если текст искажён хотя бы у одного типа файлов, к нарезке и поиску переходить рано: сначала исправляют извлечение для этого типа.
Почему PDF плохой источник для RAG: страница вместо документа
PDF создавался для печати: он обычно хранит, где на странице стоит каждая строка и символ, а не то, что это заголовок, абзац или ячейка таблицы. Поэтому текст приходит в порядке рисования на странице, и ломается следующее.
- Колонки и врезки. Две колонки читаются поперёк, и фраза склеивается из двух несвязанных кусков; подписи к рисункам и врезки вклиниваются в середину абзаца.
- Колонтитулы и сноски. Повторяются на каждой странице и попадают в текст среди смысловых предложений; сноска оказывается посреди фразы, а номер страницы между двумя половинами предложения.
- Переносы и разрывы. Слово, разорванное переносом, превращается в два «слова» и не находится поиском по словам; предложение на границе страниц режется надвое.
- Таблицы. В обычном PDF нет ячеек, есть подписанные позиции. Числа приходят в порядке рисования без названий столбцов, а объединённые ячейки и перенос таблицы на другую страницу ломают соответствие строк и значений.
- Текстовый слой есть, но плохой. После распознавания старого скана остаётся слой с ошибками или в неверной кодировке: файл выглядит текстовым, а вместо слов набор значков. Текст выделяется мышью, но это ещё не значит, что он читается.
- Скан без текста. Для поиска документа не существует, пока его не распознали, а распознавание ошибается именно в цифрах, номерах и датах.
Отсюда правило: PDF — формат отдачи, а не хранения для базы знаний. Если у документа есть исходник (текстовый документ, страница вики, система, из которой его печатали), в базу берут исходник, а PDF остаётся ссылкой для чтения. Если исходника нет, PDF проверяют по типам: у каждого типа свой способ извлечения и свой список известных дефектов.
Презентации: текст в картинках и слайды без связок
Слайд не рассказывает мысль, он сопровождает докладчика. Поэтому презентация плохо переживает превращение в текст.
- Смысл в картинках. Схема, диаграмма, скриншот таблицы не текст, и числа с графика в базе не существуют, пока их не описали словами.
- Порядок. Порядок текстовых блоков в файле часто отличается от порядка чтения: заголовок может прийти последним, а подпись раньше рисунка.
- Обрывки. Заголовок и пять пунктов без глаголов («Сроки: четвёртый квартал; риск: поставщик»). Через неделю не поймёт и автор, а фрагмент без пояснения ничего не отвечает.
- Заметки докладчика. Объяснение нередко лежит в них, а не на слайде, но там же бывают черновые и личные пометки: извлекать заметки или нет, решают отдельно для каждого набора.
- Повторы и версии. Один слайд в десяти презентациях, «финал» и «финал2», шаблонные слайды (повестка, контакты) дают десятки одинаковых фрагментов, и они вытесняют полезные.
Что делать. Сначала решить, нужна ли презентация в базе: если есть текстовая версия, берите её. Иначе извлекайте текст слайда вместе с заметками, схемы и диаграммы описывайте словами (описание готовит человек или модель, результат проверяет человек), собирайте фрагмент из слайда или из нескольких подряд идущих слайдов одного раздела с названием презентации и номером слайда, а шаблонные слайды исключайте.
Формат, проблема, что делать: таблица для подготовки
Таблица сводит форматы, которые чаще всего лежат в базе знаний, с тем, как заметить дефект и что с ним делать. «Как заметить» проверяется на извлечённом тексте, без специальных инструментов.
| Формат | Что ломается | Как заметить | Что делать |
|---|---|---|---|
| PDF с текстовым слоем | Порядок строк, колонки, колонтитулы, таблицы без шапок | Фразы склеены из разных мест, номера страниц среди предложений | Брать исходник, если он есть; иначе извлекать с учётом разметки страницы, убирать повторяющиеся строки, таблицы собирать отдельно вместе с шапкой |
| PDF-скан, фотография | Нет текста; ошибки распознавания в цифрах, номерах, именах | Текст не выделяется мышью; после распознавания «0» вместо «О», «3» вместо «8» | Распознать, проверить выборку руками, пометить документы с низкой уверенностью, цифры сверять с оригиналом |
| Презентация | Смысл в картинках, обрывочные формулировки, повторы | Слайд превращается в набор слов без глаголов | Текст слайда с заметками, описание схем, фрагмент равен слайду или разделу с названием, шаблонные слайды убрать |
| Документ текстового редактора | Нет стилей заголовков (всё «обычный текст»), непринятые правки, комментарии, скрытый текст | В извлечённом тексте заголовки неотличимы от абзацев, остаются зачёркнутые фразы | Принять или отклонить правки, применить стили заголовков, убрать комментарии, указать редакцию |
| Markdown, вики, порталы | Уровни заголовков перескакивают, заголовок «Введение» без смысла, остатки макросов, дубли страниц | В тексте видны служебные вставки, у соседних страниц одинаковые заголовки | Выровнять уровни, переименовать заголовки в самодостаточные, убрать макросы, дату изменения и владельца взять в метаданные |
| Таблицы Excel | Смысл в шапке на другом листе, объединённые ячейки, формулы без пояснений | Строка без шапки ничего не значит | Каждую строку превратить в запись с названиями столбцов, описать лист: что за таблица, период, единицы |
| Письма и переписка | Цитаты в цитатах, подписи, ветки, устные договорённости | Фрагмент повторяет весь вышестоящий текст | Подключать по решению владельца данных; убирать цитаты и подписи; резать по сообщениям с темой и датой |
| HTML-страницы и выгрузки | Меню, подвалы, навигация, всплывающие тексты | В индексе множество одинаковых фрагментов вроде «Войти» | Выделять основной блок страницы, исключать навигацию и повторяющиеся блоки |
Структура документа для RAG: заголовки, пункты и паспорт
Структуру задаёт автор документа, а нарезка ею пользуется: заголовок и номер пункта становятся границей фрагмента и подписью в ссылке на источник. Что стоит закрепить как правила для новых и часто используемых документов:
- Заголовок несёт тему целиком: «Порядок согласования отпуска», а не «Общие положения». Заголовок, вынутый из документа, должен быть понятен.
- Один пункт — одно правило. Условие и исключение стоят рядом, под одним заголовком.
- Вместо «см. выше» и «данный» подставляйте название («порядок согласования отпуска»): фрагмент читается отдельно от соседей.
- Ссылки на другие документы даются с названием и номером («приказ о командировках, пункт 4»).
- У таблицы есть название и шапка, указаны единицы и период; большая таблица разбита на смысловые блоки.
- Важное лежит в тексте, а не в картинке; подпись к рисунку пересказывает вывод.
- Сроки даются с пояснением, к чему относятся: «в течение трёх рабочих дней со дня подачи заявления», а не «в течение трёх дней».
- В начале документа стоит паспорт: название, владелец, редакция и дата, статус («действует», «архив»), кому доступен, что заменяет.
Паспорт записывается в метаданные каждого фрагмента: по нему фильтруют права, исключают архив и показывают источник в ответе. Переписывать всю базу не нужно. Правила применяют к новым документам и к тем, которые чаще всего попадают в ответы и в ошибки: это видно по журналу вопросов.
Метрика «одна мысль на фрагмент»: как проверить нарезку
Нарезку проверяют не длиной в знаках, а тем, может ли фрагмент жить отдельно. Метрику считают вручную на выборке: возьмите 50 случайных фрагментов после нарезки, пропорционально по типам документов. Читатель, который знает тему, отвечает по каждому на четыре вопроса.
- Понятно ли без соседей, о чём он: есть ли название документа и раздела?
- Одна ли тема: не склеены ли два несвязанных пункта?
- Не оборван ли он: на середине условия, на словах «кроме случаев» без самих случаев?
- Нет ли мусора (колонтитулы, меню, повторяющиеся подписи) больше, чем смысла?
Фрагмент готов, если все четыре ответа «да». Доля готовых — готовые, делённые на проверенные. Порог записывается до замера и зависит от цены ошибки. Условный пример без реального клиента: для справки по регламентам вы требуете не меньше девяти готовых из десяти, а на первых неделях пилота принимаете семь из десяти при плане дойти до девяти. Числа выбираете вы.
Главная польза метрики в причинах. Чаще всего «непонятно без соседей»: добавляйте название документа и раздела в каждый фрагмент или передавайте модели соседей. «Две темы»: режьте по структуре, а не по длине. «Оборван»: меняйте границы и перекрытие. «Мусор»: чистите на загрузке. Вторая проверка идёт на вопросах: найден ли нужный фрагмент, как описано на странице оценки качества LLM-систем. Метрика фрагмента показывает причину, метрика поиска следствие, смотрите обе.
Подготовка документов для RAG на 100 документах: порядок работ
Сотня документов — подходящий размер для проверки подхода: хватает, чтобы увидеть все типы дефектов, и мало, чтобы исправить руками.
- Выберите документы по вопросам, а не по папкам. Возьмите 30–50 реальных вопросов сотрудников, найдите документы с ответами и добавьте те, на которые ссылаются чаще всего. Так сотня будет нужной, а не случайной.
- Разложите по форматам и владельцам. Таблица: файл, формат, владелец, редакция, есть ли исходник. Дубли и старые версии отметьте сразу.
- Проверьте извлечение на двух-трёх документах каждого формата. Для каждого формата зафиксируйте способ извлечения и список известных дефектов.
- Исправьте самый частый дефект, а не самый заметный. Если половина базы — сканы, начните с распознавания и его проверки; если документы без стилей, расставьте заголовки.
- Добавьте паспорт: владелец, редакция, статус, доступ.
- Нарежьте и измерьте «одну мысль на фрагмент» на пятидесяти фрагментах, устраните причины.
- Прогоните вопросы и разделите ошибки: что лечится документом (формат, структура, редакция), что поиском. Исправления документов запишите как правила.
- Закрепите стандарт на одной странице: форматы, способ извлечения, правила для авторов, паспорт, порог метрики. Только потом загружайте остальные документы.
Сколько человеко-часов уйдёт на всю базу, зависит от её состояния. Замерьте на первых десяти документах и умножьте, прежде чем планировать остальное.
Что делаем мы и с чего начать
Начните с проверки из первого раздела: по два-три документа каждого типа, извлечённый текст рядом с оригиналом. Если нужна помощь снаружи, мы начинаем с обследования: 200 000 ₽ и 2–3 недели за один-два источника, 350 000 ₽ и 3–4 недели при нескольких системах и ролях. Берём ваши документы и вопросы, определяем форматы и дефекты, считаем долю готовых фрагментов на выборке и показываем, что чинится правилами, что разметкой, а что требует решения владельцев документов. Сумма вычитается из первого этапа, а документом можно пользоваться без нас.
Мы не наводим порядок в содержании документов за вас (владельцы разделов правят текст сами), не оцифровываем бумажный архив и не обещаем долю точных ответов заранее. Дальше лёгкий пилот на подготовленном наборе (150 000–400 000 ₽, 2–8 недель) и вывод в эксплуатацию этапами. Цены и сроки собраны на странице тарифов.
Частые вопросы
Почему PDF плохой источник для RAG?
PDF хранит положение строк на странице, а не структуру: заголовки, абзацы и ячейки таблиц при извлечении теряются, колонки склеиваются, колонтитулы попадают в текст, а у сканов текста нет вовсе. Если есть исходник, берите его, а PDF оставляйте для чтения.
Как организовать подготовку документов для RAG, если их сотни?
Начните со ста документов, выбранных по реальным вопросам. Определите форматы и дефекты, исправьте самый частый, добавьте паспорт документа, измерьте долю готовых фрагментов и закрепите правила на одной странице. Остальную базу загружайте по тем же правилам.
Нужно ли переводить документы в Markdown?
Не обязательно. Markdown удобен как промежуточный формат, потому что хранит заголовки явно, но структуру сам не придумывает: если в исходном документе нет стилей заголовков, после конвертации их тоже не будет. Важна структура, а не расширение файла.
Что делать со сканами в базе знаний?
Распознать, проверить выборку документов вручную, пометить документы с низкой уверенностью и сверять цифры, номера и даты с оригиналом. Точность распознавания измеряется на выборке ваших документов; если сканов много, это отдельная работа со своей приёмкой.
Как проверить качество данных для RAG до запуска?
Тремя проверками: сравнить извлечённый текст с оригиналом на нескольких документах каждого типа, посчитать долю готовых фрагментов по четырём вопросам и прогнать реальные вопросы, разделив ошибки на те, что лечатся документом, и те, что лечатся поиском.
Что делать с презентациями в базе знаний?
Если есть текстовая версия, берите её. Иначе извлекайте текст слайдов вместе с заметками, описывайте схемы словами, собирайте фрагмент из слайда или раздела с названием презентации и номером слайда и исключайте шаблонные слайды. Описание проверяет человек.
Что такое «одна мысль на фрагмент» и зачем это считать?
Это проверка, что фрагмент понятен без соседей, посвящён одной теме, не оборван и не забит мусором. Она показывает причину плохих ответов раньше, чем поиск: можно исправить нарезку или документы, а не менять модель.
Сколько стоит подготовка документов для RAG?
Оценка начинается с обследования: 200 000 ₽ за один-два источника, 350 000 ₽ при нескольких системах и ролях; сумма вычитается из первого этапа. Лёгкий пилот на подготовленном наборе стоит 150 000–400 000 ₽ за 2–8 недель. Объём ручной работы зависит от состояния документов и называется после просмотра выборки.