Как подобрать реализацию RAG? Начните с самой простой схемы, которая выполняет ваши требования к документам, правам и ссылкам на источник, и усложняйте её только там, где замер на ваших вопросах показал провал, который именно это усложнение исправляет. Выбор архитектуры RAG строится на семи вопросах: какие документы, сколько их, как часто они меняются, кто что вправе видеть, нужна ли ссылка на источник, на каком языке пишут и кто спрашивает.
Устройство самого конвейера разобрано в статье «Как устроен RAG-пайплайн», выбор хранилища — в статье «Как выбрать векторную базу для RAG». Здесь другое: какой вариант реализации взять под вашу ситуацию и чем грозит лишняя сложность. Услуга описана на странице «RAG-система на заказ».
Как подобрать реализацию RAG: семь вопросов до выбора архитектуры
Вопросы идут от документов к людям, и каждый ответ сдвигает выбор в одну сторону. Если ответы тянут в разные стороны (права сложные, а времени на проверку мало), записывайте это как риск, а не выбирайте схему посложнее.
- Какие документы. Регламенты и инструкции с пунктами хорошо режутся по структуре. В договорах условие и исключение стоят рядом, и фрагменту нужны соседи. Каталоги, ведомости и техпаспорта полны кодов и таблиц и требуют поиска по словам. Переписка шумна и редко годится как первая база. Сканы и презентации сначала нужно подготовить: как, описано в статье про подготовку документов для RAG.
- Сколько их. Если весь набор занимает десятки страниц, а вопросов немного, индекс можно не строить: документы передаются модели целиком, а качество проверяется на выборке. Для сотен документов нужны индекс и базовый поиск. Для большого архива добавляются вопросы нагрузки, обновления и фильтров, и выбор хранилища становится отдельной задачей.
- Как часто меняются. Статичный архив индексируют один раз. Регламенты, которые правят каждый месяц, требуют обновления по расписанию и пометки редакций. Если ответ по устаревшему тексту опасен, нужны обновление по событию, удаление отозванных документов и дата актуальности в ответе.
- Кто что видит. Права одинаковы для всех: фильтры не нужны. Права по отделам и уровням: метаданные и фильтр внутри запроса к индексу. У каждого клиента своя база: раздельные индексы, а не общий индекс с фильтром.
- Нужна ли ссылка на источник. Для справки сотруднику хватает названия документа и раздела. Для юридических и регуляторных ответов нужны страница, пункт и редакция: значит, нарезка по структуре, координаты в метаданных и проверка кодом, что цитата есть в источнике.
- Язык и терминология. Русский текст со склонениями, сокращениями, внутренним жаргоном и артикулами требует проверки модели эмбеддингов на ваших фразах, а обычно и поиска по словам с учётом форм слов и словаря синонимов. Если документы на двух языках, вопрос на одном должен находить текст на другом: для этого нужен отдельный набор вопросов.
- Кто и как спрашивает. Один вопрос или диалог? Простые вопросы («какой срок») или сводные («сравни условия в трёх договорах», «перечисли все»)? Последние простой RAG решает плохо: по пяти найденным фрагментам нельзя ответить «сколько всего». Здесь нужны извлечение полей в таблицу или несколько шагов поиска.
К семи вопросам добавляется условие: цена ошибки. Справка по отпускам и ответ клиенту по условиям поставки требуют разной проверки, и от этого зависит, нужен ли человек между ответом и действием.
Лестница реализаций: от простого поиска к агентному RAG
Реализации образуют лестницу: каждая ступень добавляет одно и стоит одного. Ступени не обязаны идти подряд, гибридный поиск можно взять без переранжирования.
- Ступень 0. Без индекса. Нужные документы целиком идут в запрос к модели. Подходит небольшому набору и немногим вопросам. Цена: длина запроса на каждый ответ, которая растёт вместе с набором.
- Ступень 1. Базовый RAG. Документы режутся на фрагменты и индексируются; на вопрос находятся ближайшие по смыслу и передаются модели с инструкцией отвечать по ним и давать ссылку. Исправляет: документов слишком много для одного запроса. Цена: качество определяют разбиение и поиск, их настраивают на выборке.
- Ступень 2. Гибридный поиск. К поиску по смыслу добавляется поиск по словам, результаты объединяются. Исправляет: не находятся артикулы, номера приказов, сокращения. Цена: второй индекс и подбор веса; при перекосе свободные вопросы находятся хуже.
- Ступень 3. Фильтры и переранжирование. Условия по метаданным (отдел, статус «действует», дата) входят в запрос; из расширенного списка кандидатов отдельная модель отбирает самые подходящие. Исправляет: нужный фрагмент найден, но не первым, а в выдаче лежат старые редакции. Цена: задержка и ещё одна модель, которую тоже надо проверять.
- Ступень 4. Расширение контекста и переписывание вопроса. Ищется короткий фрагмент, а модели передаются он и соседи или весь раздел; вопрос диалога переписывается с учётом истории. Исправляет: ответ разнесён по соседним абзацам, вопросы вроде «а для командировок?». Цена: запрос длиннее, переписывание может исказить вопрос.
- Ступень 5. Агентный RAG. Модель сама решает, где и сколько раз искать: разбивает вопрос на части, выбирает источник (документы, база данных, внешний сервис), проверяет найденное и повторяет поиск. Исправляет: вопросы, которым нужны несколько документов или данные из учётной системы. Цена: непредсказуемые задержка и стоимость, цепочки ошибок, права на каждый инструмент, журнал шагов.
Как подобрать реализацию RAG по ситуации: что брать и чем грозит усложнение
Таблица связывает типичные ситуации с реализацией, которую стоит пробовать первой, и называет цену лишней сложности. Ситуации не исключают друг друга: у реальной базы их обычно две-три сразу.
| Ситуация | Подходящая реализация | Чем грозит усложнение |
|---|---|---|
| Небольшой набор, свободные вопросы, права общие | Ступень 0 или 1: документы целиком либо базовый RAG со ссылкой | Индекс и конвейер ради набора, который помещается в запрос: больше мест для ошибок и работы по обновлению |
| Регламенты и инструкции, много сотрудников, права по отделам | Ступень 1: нарезка по структуре и фильтр по метаданным внутри запроса к индексу | Переранжирование и переписывание вопроса добавляют задержку, не давая выигрыша на свободных вопросах |
| В вопросах артикулы, номера приказов, сокращения | Ступень 2: гибридный поиск | Подгонка весов вручную без выборки: коды находятся лучше, а свободные вопросы хуже |
| Договоры и нормативы: условие и исключение в соседних абзацах | Мелкие фрагменты для поиска, крупный раздел для ответа, переранжирование | Раздутый запрос и стоимость: длинный контекст дороже и не всегда точнее |
| Диалог с уточнениями | Переписывание вопроса с историей диалога | Искажённый вопрос: поиск отвечает на другой вопрос, и это не видно, если не хранить оба текста |
| Нужны и правило из документа, и число из учётной системы | Агентный RAG или маршрутизатор вопросов с двумя источниками | Непредсказуемые шаги и стоимость; без лимитов и прав на каждый инструмент система делает больше разрешённого |
| Вопросы-агрегаты: «сколько договоров с неустойкой», «перечисли все» | Не RAG: извлечение полей в таблицу и запрос к ней, RAG только для пояснений | Ответ по пяти найденным фрагментам выглядит как итог по всему набору и ошибается молча |
| SaaS-продукт, у каждого клиента своя база | Раздельные индексы клиентов, внутри базовый или гибридный поиск | Общий индекс с фильтром: ошибка в условии отдаёт чужой текст |
| Источники: сканы, презентации, выгрузки | Сначала подготовка документов, затем ступень 1 | Тонкая настройка поиска над плохим текстом: деньги уходят, ошибки остаются |
Проверка на выборке: как выбрать ступень по цифрам, а не по обзорам
Подбор реализации — серия сравнений на одной выборке, а не отдельный проект.
- Соберите 40–60 реальных вопросов, как их задают, с опечатками и сокращениями. В выборке должны быть простые вопросы, вопросы с артикулами и номерами, вопросы по нескольким документам, вопросы без ответа в базе и вопросы, которые нельзя показывать из-под некоторых ролей. Для каждого записан документ и фрагмент с верным ответом.
- Часть вопросов отложите и не показывайте при настройке: она нужна для итогового сравнения.
- Прогоните базовый вариант и запишите по категориям: найден ли нужный фрагмент, верен ли ответ по найденному, сказала ли система «в базе нет» там, где ответа нет, не показан ли закрытый документ. Отдельно запишите время и стоимость одного ответа.
- Добавьте один элемент (гибридный поиск, фильтр, переранжирование) и повторите прогон на той же выборке. Меняйте по одному, иначе неясно, что сработало.
- Принимайте ступень, только если она исправляет важную для вас категорию, не ухудшает остальные и укладывается в задержку и цену. Смотрите на категории, а не на среднее: среднее прячет слабое место.
- Запишите решение: что взяли, что отвергли, по какому замеру. Прогон повторяется при смене модели, разбиения, документов и порога.
Условный пример без реального клиента. На 50 вопросах базовый вариант не находит 9 вопросов с артикулами. После добавления поиска по словам не находятся 2, но 3 свободных вопроса стали находиться хуже. Вывод не «убрать ступень», а подобрать вес поиска по словам и повторить прогон. Как строить выборку и записывать критерии приёмки, описано на странице оценки качества LLM-систем.
Когда агентный RAG оправдан и когда нет
Агентный RAG привлекает тем, что «сам разберётся». Это же и риск: поведение системы зависит от решений модели на каждом шаге.
- Оправдан, когда вопросы требуют нескольких шагов (найти правило в регламенте, затем число в учёте), когда источники разные (документы, база данных, внешний сервис) и когда пользователь готов подождать. Пример разобран в статье про RAG для 1С: вопросы «как» и «сколько» берут из разных источников.
- Не оправдан, когда вопросы справочные и ответ лежит в одном документе, когда нужна предсказуемая задержка, когда нет набора для проверки или права по инструментам не продуманы.
Если берёте, условия такие: лимит шагов и времени на вопрос; права на каждый инструмент, проверяемые кодом, а не просьбой в инструкции; журнал всех шагов и вызовов; подтверждение человека перед любым действием, меняющим данные; оценка сквозных сценариев, а не только поиска. Общая схема описана на странице «ИИ-агент для бизнеса», права и подтверждения — в статье про ограничение ИИ-агента.
Типичные ошибки при выборе и признаки, что пора пересмотреть решение
Ошибки выбора
- Берут самую сложную схему из чужой статьи «на вырост»: цена владения растёт, а качество на вашей выборке нет.
- Сравнивают варианты на пяти вопросах, которые удобно показывать.
- Настраивают и проверяют на одних и тех же вопросах.
- Меняют несколько элементов сразу и не понимают, что сработало.
- Не записывают версии индекса, модели эмбеддингов и шаблона запроса: через месяц результат нельзя повторить.
- Принимают лестницу за обязательную программу: гибридный поиск не нужен, где в вопросах нет кодов.
Когда пересмотреть
- Растёт доля ответов «в базе нет», хотя документ есть: смотрите разбиение и поиск по словам.
- В журнале появились вопросы нового типа (сводные, по нескольким документам): нужны извлечение полей или несколько шагов.
- Выросли объём или число пользователей: пересчитайте задержку и стоимость, посмотрите хранилище.
- Добавился источник с другим форматом или правами: заново проверьте подготовку и права.
- Сменилась модель: прогоните выборку целиком, ступени могут оказаться лишними. Если переранжирование не меняет метрики, его убирают.
Что делаем мы и с чего начать
Начните с выборки: выпишите 40 вопросов, которые сотрудники задают чаще всего, и к каждому найдите документ с ответом. Уже на этом шаге видно, какие из семи вопросов решают ваш выбор. Если нужен внешний взгляд, мы начинаем с обследования: 200 000 ₽ и 2–3 недели при одном-двух источниках, 350 000 ₽ и 3–4 недели при нескольких системах и ролях. Берём ваши документы и вопросы, сравниваем несколько ступеней на одной выборке и показываем, какая окупается. Сумма вычитается из первого этапа, а выборку и выводы можно использовать без нас.
Дальше лёгкий пилот на выбранной ступени (150 000–400 000 ₽, 2–8 недель); агентные сценарии с действиями относятся к тяжёлому пилоту (400 000–1 200 000 ₽, 2–3 месяца). Модель и индекс размещаем в вашем контуре, долю верных ответов заранее не называем, остановиться можно на любой ступени. Цены и сроки собраны на странице тарифов.
Частые вопросы
Как подобрать реализацию RAG, если документов мало?
Начните с передачи документов целиком или с базового RAG со ссылкой на источник. Индекс и гибридный поиск нужны, когда документов становится слишком много для одного запроса или в вопросах есть коды и номера. Решение подтверждайте прогоном 40–60 вопросов, а не ощущением.
Какой RAG выбрать для регламентов и инструкций?
Базовый RAG с нарезкой по структуре документа, метаданными (отдел, редакция, статус) и фильтром прав внутри запроса. Поиск по словам добавляйте, если в вопросах номера приказов и сокращения. Переранжирование и агентные шаги проверяйте отдельно: на справочных вопросах они часто не окупаются.
Нужен ли гибридный поиск?
Нужен, если пользователи спрашивают артикулами, номерами документов, фамилиями и сокращениями: поиск по смыслу находит их хуже. Если вопросы свободные и кодов нет, может хватить одного поиска по смыслу. Сравнение идёт на вашей выборке по категориям вопросов.
Когда нужен агентный RAG?
Когда ответ требует нескольких шагов или разных источников: правило из документа плюс число из учётной системы, сравнение по нескольким документам. Для справочных вопросов он не нужен и добавляет непредсказуемые задержку и стоимость. Включают с лимитом шагов, правами на каждый инструмент и журналом.
Можно ли начать с простого, а потом усложнять?
Да, так безопаснее. Условие: выборка вопросов, скрипт пересборки индекса и записанные версии модели и шаблонов с первого дня. Тогда каждая ступень добавляется и проверяется на тех же вопросах, а для пользователей ничего не меняется.
Сколько вопросов нужно для сравнения вариантов?
Единого числа нет: в каждой категории столько, чтобы отличить улучшение от колебания. Для старта хватает нескольких десятков вопросов с делением на категории; размер выборки называем на обследовании, после просмотра документов.
Как выбор реализации зависит от прав доступа?
Права по отделам решаются метаданными и фильтром в запросе к индексу. Права на уровне отдельных документов и личные исключения вычисляются заранее и записываются списком групп. Если у каждого клиента своя база, индексы раздельные. Любой вариант принимается прогоном из-под каждой роли.
Сколько стоит подбор и запуск реализации RAG?
Подбор входит в обследование: 200 000 ₽ за один-два источника, 350 000 ₽ при нескольких системах и ролях; сумма вычитается из первого этапа. Лёгкий пилот стоит 150 000–400 000 ₽ за 2–8 недель, тяжёлый с несколькими источниками и действиями — 400 000–1 200 000 ₽ за 2–3 месяца. Точную цену называем после обследования.