Как работает RAG-бот, проще всего объяснить на одном вопросе. Человек пишет в чат, бот проверяет, какие документы тому доступны, находит в них несколько подходящих фрагментов, просит языковую модель ответить только по ним, проверяет ссылки на источники и показывает ответ. Если на любом шаге опоры нет, бот говорит «не нашёл», а не отвечает по памяти модели. Всё занимает секунды и состоит из десяти шагов.

Статья идёт по этому пути на условном примере и показывает, как бот отвечает по документам на каждом шаге. Устройство конвейера для разработчика описано в статье «Как устроен RAG-пайплайн», сам подход — в статье «Что такое RAG». Здесь разговор о пути вопроса: где он может свернуть не туда и как мы это проверяем. Продуктовая сторона собрана на странице RAG-бот для бизнеса.

Коротко. Вопрос проходит десять шагов: приём и опознание, проверка прав, переформулировка, поиск, отбор фрагментов, сборка запроса, ответ модели, проверка и фильтры, показ с журналом, оценка. Ошибка на любом шаге становится неверным ответом, поэтому шаги проверяют по отдельности, а не одной общей оценкой «ответ хороший».

RAG простыми словами для бизнеса и условный пример

RAG простыми словами для бизнеса: языковая модель, которой перед каждым ответом дают прочитать нужные страницы ваших документов. Модель регламенты не запоминает, поэтому ответ можно подтвердить ссылкой, а документ обновить без переобучения.

Условный пример без реального клиента. В компании три документа про отпуска: действующее «Положение об отпусках», его прежняя редакция (отменена, файл остался) и «Памятка руководителям» (сотрудникам не показывается). Ещё есть таблица «График отпусков отдела», которую видит только отдел. Сотрудница отдела продаж пишет в корпоративный мессенджер: «Согласованный отпуск хочу перенести на две недели позже. Что делать?»

Из положения понадобятся два пункта. П. 4.2: перенос по инициативе сотрудника согласуется с руководителем не позднее чем за 14 календарных дней до начала, заявление подаётся в кадровой системе. П. 4.5: при болезни или командировке перенос оформляет отдел кадров. В прежней редакции в п. 4.2 стоит 7 дней. Содержание придумано для иллюстрации, это не описание чьих-то правил и не юридическая консультация.

Как работает RAG-бот: шаги 1–3, кто спрашивает и о чём именно

Шаг 1. Приём вопроса

Сообщение приходит с идентификатором отправителя. Бот ограничивает длину, отбрасывает лишнее и заводит запись сессии. Сотрудницу опознаёт ваша система входа, а не имя в чате: имя можно написать любое.

Шаг 2. Проверка прав

Бот узнаёт группы пользователя в вашем каталоге: «сотрудник», «отдел продаж», не «руководитель». По группам определяется набор документов, к которым бот вправе обращаться: положение и график отдела, без памятки руководителям. Этот набор становится условием поиска на шаге 4, а не фильтром после выдачи. Если бы вопрос пришёл с публичного сайта без входа, набор свёлся бы к публичному слою, где положения нет.

Шаг 3. Понимание и переформулировка

«Что делать?» без контекста для поиска бесполезно. Бот собирает самостоятельный вопрос из истории и реплики: «как перенести согласованный отпуск на более поздний срок по инициативе сотрудника». Заодно проверяется тема: отпуск не входит в список «только человек». Переформулировка тоже вызов модели и тоже может исказить смысл («перенести» превратится в «отменить»), поэтому результат пишется в журнал и проверяется на эталоне.

Шаги 4–6: поиск, отбор фрагментов и сборка запроса

Шаг 4. Поиск

Идут два поиска сразу. Поиск по смыслу находит «перенос отпуска» там, где написано «изменение сроков ежегодного отпуска», поиск по словам находит «п. 4.2» и номера форм. Условие прав входит в сам запрос к индексу, поэтому чужие фрагменты в выдачу не попадают. На выходе несколько десятков кандидатов.

Шаг 5. Отбор фрагментов

Вторая модель пересортировывает кандидатов, слабые отсекаются по порогу, дубли сворачиваются. Прежняя редакция отсеивается по метаданным: у неё статус «утратила силу», и даже если по словам она подошла лучше, её не берут. К п. 4.2 добавляется п. 4.5, потому что условие и исключение стоят рядом. Остаётся три-пять фрагментов: именно эти страницы бот «читает».

Шаг 6. Сборка запроса

В запрос к модели входят инструкция (отвечай только по фрагментам, ссылайся на номера, при отсутствии ответа скажи об этом), сами фрагменты с названием документа, пунктом и датой редакции, краткая история и самостоятельный вопрос. Инструкция лежит в репозитории с номером версии. Текст документов считается данными: если в нём встретится «игнорируй правила», это просто строка.

Шаги 7–10: ответ, проверка, журнал и оценка

Шаг 7. Ответ модели

Модель формирует ответ в заданном виде: «Перенос согласуется с руководителем не позднее чем за 14 календарных дней до начала отпуска, заявление подаётся в кадровой системе [1]. Если причина — болезнь или командировка, перенос оформляет отдел кадров [2]». В скобках номера фрагментов.

Шаг 8. Проверка и фильтры

Обычный код, а не модель, проверяет, что [1] и [2] есть среди переданных фрагментов, что «14 календарных дней» действительно стоит в п. 4.2 и формат соблюдён. Числа и даты сверяются отдельно: это самые дорогие ошибки. Выходные фильтры убирают то, чего показывать нельзя: лишние персональные данные, запретные темы. Не прошло проверку, ответ не показывается, бот говорит «не нашёл» или зовёт человека.

Шаг 9. Показ и журнал

Сотрудница видит ответ, под ним названия документов, номера пунктов, дату редакции, ссылку на нужное место и кнопки «помогло», «не помогло», «позвать человека». В журнал идут идентификатор запроса, группа пользователя, переформулированный вопрос, идентификаторы фрагментов и версий, версии инструкции и модели, исход. Хранить ли текст вопроса, решается заранее по вашей политике.

Шаг 10. Оценка и разбор

Оценка привязана к ответу. Раз в неделю владелец раздела просматривает выборку ответов и все «не помогло», а найденная ошибка становится новой строкой эталона: после правки её прогоняют, чтобы она не вернулась. Журнал превращается в источник задач, а не в архив.

Как работает RAG-бот и где он ломается: шаг, сбой, проверка

Эта таблица читается сверху вниз как список вопросов к подрядчику. Если на какой-то шаг у него нет проверки, ошибка найдёт вас сама.

ШагЧто может пойти не такКак проверяем
1. ПриёмЧеловека опознали по имени в чате; слишком длинное сообщение вытеснило контекстТест подмены имени; предел длины на приёмке
2. ПраваНабор документов шире, чем у роли; кэш помнит права уволенногоВопросы про закрытое из-под каждой роли; проверка после отзыва доступа
3. ПереформулировкаСмысл исказился; подставлен чужой контекстВыборка пар «реплика в диалоге — самостоятельный вопрос», разметка человеком
4. ПоискНужный пункт не найден: слова разные или номер не распознанДоля вопросов эталона, где нужный фрагмент среди найденных
5. ОтборПрежняя редакция вытеснила действующую; условие без исключенияВопросы с известными редакциями; проверка соседних пунктов
6. Сборка запросаФрагментов много, важное потерялось; после правки инструкция стала мягчеПрогон эталона после каждой правки; версия шаблона в журнале
7. Ответ моделиДополняет общими знаниями; смешивает два пунктаВопросы, ответа на которые в базе нет; сверка ответа с фрагментами
8. ПроверкаСсылка есть, но ничего не подтверждает; число взято из отменённой редакцииАвтопроверка чисел и ссылок плюс ручная выборка
9. Показ и журналСсылка не открывает нужное место; в журнал попали лишние персональные данныеОткрыть ссылки у выборки; просмотреть состав записей
10. ОценкаОценок мало, они смещены; ошибки не возвращаются в эталонЕженедельный разбор, доля найденных ошибок, ставших строками эталона

Что видит человек, когда бот не нашёл ответ

Отказ можно получить на трёх шагах, и человек должен видеть разное.

  • На шаге 2, если прав нет. Бот не признаёт, что закрытый документ существует: ответ «у вас нет доступа» уже выдаёт сам факт. Он говорит, что в доступных материалах ответа нет.
  • На шаге 5, если после отбора пусто. Бот прямо пишет, что в материалах ответа нет, предлагает переформулировать или позвать человека, а вопрос попадает в список пробелов базы. Владелец раздела решает, писать ли документ.
  • На шаге 8, если проверка не прошла. Неподтверждённый ответ человеку не показывается. В журнале запись помечена «отклонён проверкой», и по таким записям видно, где модель нарушает правила.

Три разные причины дают три разных следа в журнале. Без них «не нашёл» превращается в общий шум, из которого нельзя понять, что чинить.

Кто настраивает RAG-бот: роли и что они меняют без программиста

Часть настроек должна быть доступна тем, кто знает предметную область. Остальное меняется только с прогоном эталона.

РольЧто делает каждую неделюЧто меняет без разработчика
Владелец разделаОтвечает на пробелы базы, помечает действующие редакции, снимает устаревшееДокументы и статусы редакций
Рецензент ответовПросматривает выборку, открывает ссылки, размечает ошибкиСтроки эталона
Администратор ботаСледит за долей отказов и передач, читает «не помогло»Тексты отказов, запретные темы, подсказки в интерфейсе
Оператор или менеджерПринимает передачи, отмечает причинуНичего в боте: его отметки идут в разбор

Модель, разбиение документов, шаблон запроса и порог отбора меняет разработчик, и каждая такая правка начинается с прогона эталона, чтобы качество не ухудшилось незаметно.

Что делаем мы и с чего начать

Мы делаем RAG-ботов для клиентов, сотрудников, партнёров и операторов в вашем контуре, с правами, источником под каждым ответом и проверкой качества на вашей выборке. Описание услуги и аудитории бота: RAG-бот для бизнеса.

Начните с двадцати-тридцати реальных вопросов и списка мест, где лежат ответы: на них видно, на каком шаге пути ломается ваш случай. Если нужен разбор снаружи, обследование стоит 200 000 ₽ за один набор документов и аудиторию или 350 000 ₽ за несколько источников и ролей. Оно вычитается из первого этапа, а его результат пригоден для другого подрядчика: в нём эталон, права, схема обновления и вилка бюджета. Цены и сроки ступеней собраны на странице тарифов; исходники и эталон остаются у вас по акту.

Частые вопросы

Как работает RAG-бот, если документов очень много?

Бот не читает всё подряд. Поиск по индексу выбирает несколько подходящих фрагментов, и только они попадают к модели. Число документов влияет на разбиение, обновление и качество поиска, но не на то, сколько модель «прочитает» за один ответ.

Чем RAG-бот отличается от обычного чат-бота?

Обычный бот ведёт человека по заранее написанным шагам. RAG-бот ищет ответ в документах и излагает найденное со ссылкой. Менять данные в системах он не умеет, для этого нужен бот с действиями.

Почему бот говорит «не нашёл», хотя документ есть?

Причины на разных шагах: документ не попал в индекс, разбиение разорвало условие и исключение, поиск не распознал номер, права отсекли документ. Мы разбираем отказ по шагам с помощью журнала и эталонных вопросов.

Может ли RAG-бот выдумать ответ?

Реже, чем модель без опоры на документы, но исключить это полностью нельзя. Защита состоит из инструкции отвечать только по фрагментам, проверки ссылок и чисел кодом и права отказаться. Для ответственных случаев ответ идёт черновиком с подтверждением человека.

Как бот понимает, что документ устарел?

По метаданным: у документа есть дата и статус редакции, отменённые версии исключаются из поиска. Статус кто-то должен проставлять, поэтому у каждого раздела базы есть владелец.

Где хранится история вопросов?

На ваших серверах. Состав журнала и срок хранения решаются заранее по вашей политике обработки персональных данных: можно хранить идентификаторы фрагментов без текста вопроса. Юридические вопросы решает юрист заказчика.

Сколько стоит построить RAG-бот?

Обследование стоит 200 000 ₽ или 350 000 ₽ при нескольких источниках и ролях. Лёгкий пилот обходится в 150 000–400 000 ₽ за 2–8 недель, тяжёлый в 400 000–1 200 000 ₽ за 2–3 месяца. Вывод в эксплуатацию начинается от 1 500 000 ₽ этапами по 300 000–700 000 ₽.

С чего начать, если документы в плохом состоянии?

С эталона: двадцать-тридцать реальных вопросов и места, где лежат ответы. По ним видно, на каком шаге ломается ваш случай. Чаще всего это первые шаги и сами документы, а не модель, и тогда сначала наводят порядок в базе.