Как работает RAG-бот, проще всего объяснить на одном вопросе. Человек пишет в чат, бот проверяет, какие документы тому доступны, находит в них несколько подходящих фрагментов, просит языковую модель ответить только по ним, проверяет ссылки на источники и показывает ответ. Если на любом шаге опоры нет, бот говорит «не нашёл», а не отвечает по памяти модели. Всё занимает секунды и состоит из десяти шагов.
Статья идёт по этому пути на условном примере и показывает, как бот отвечает по документам на каждом шаге. Устройство конвейера для разработчика описано в статье «Как устроен RAG-пайплайн», сам подход — в статье «Что такое RAG». Здесь разговор о пути вопроса: где он может свернуть не туда и как мы это проверяем. Продуктовая сторона собрана на странице RAG-бот для бизнеса.
RAG простыми словами для бизнеса и условный пример
RAG простыми словами для бизнеса: языковая модель, которой перед каждым ответом дают прочитать нужные страницы ваших документов. Модель регламенты не запоминает, поэтому ответ можно подтвердить ссылкой, а документ обновить без переобучения.
Условный пример без реального клиента. В компании три документа про отпуска: действующее «Положение об отпусках», его прежняя редакция (отменена, файл остался) и «Памятка руководителям» (сотрудникам не показывается). Ещё есть таблица «График отпусков отдела», которую видит только отдел. Сотрудница отдела продаж пишет в корпоративный мессенджер: «Согласованный отпуск хочу перенести на две недели позже. Что делать?»
Из положения понадобятся два пункта. П. 4.2: перенос по инициативе сотрудника согласуется с руководителем не позднее чем за 14 календарных дней до начала, заявление подаётся в кадровой системе. П. 4.5: при болезни или командировке перенос оформляет отдел кадров. В прежней редакции в п. 4.2 стоит 7 дней. Содержание придумано для иллюстрации, это не описание чьих-то правил и не юридическая консультация.
Как работает RAG-бот: шаги 1–3, кто спрашивает и о чём именно
Шаг 1. Приём вопроса
Сообщение приходит с идентификатором отправителя. Бот ограничивает длину, отбрасывает лишнее и заводит запись сессии. Сотрудницу опознаёт ваша система входа, а не имя в чате: имя можно написать любое.
Шаг 2. Проверка прав
Бот узнаёт группы пользователя в вашем каталоге: «сотрудник», «отдел продаж», не «руководитель». По группам определяется набор документов, к которым бот вправе обращаться: положение и график отдела, без памятки руководителям. Этот набор становится условием поиска на шаге 4, а не фильтром после выдачи. Если бы вопрос пришёл с публичного сайта без входа, набор свёлся бы к публичному слою, где положения нет.
Шаг 3. Понимание и переформулировка
«Что делать?» без контекста для поиска бесполезно. Бот собирает самостоятельный вопрос из истории и реплики: «как перенести согласованный отпуск на более поздний срок по инициативе сотрудника». Заодно проверяется тема: отпуск не входит в список «только человек». Переформулировка тоже вызов модели и тоже может исказить смысл («перенести» превратится в «отменить»), поэтому результат пишется в журнал и проверяется на эталоне.
Шаги 4–6: поиск, отбор фрагментов и сборка запроса
Шаг 4. Поиск
Идут два поиска сразу. Поиск по смыслу находит «перенос отпуска» там, где написано «изменение сроков ежегодного отпуска», поиск по словам находит «п. 4.2» и номера форм. Условие прав входит в сам запрос к индексу, поэтому чужие фрагменты в выдачу не попадают. На выходе несколько десятков кандидатов.
Шаг 5. Отбор фрагментов
Вторая модель пересортировывает кандидатов, слабые отсекаются по порогу, дубли сворачиваются. Прежняя редакция отсеивается по метаданным: у неё статус «утратила силу», и даже если по словам она подошла лучше, её не берут. К п. 4.2 добавляется п. 4.5, потому что условие и исключение стоят рядом. Остаётся три-пять фрагментов: именно эти страницы бот «читает».
Шаг 6. Сборка запроса
В запрос к модели входят инструкция (отвечай только по фрагментам, ссылайся на номера, при отсутствии ответа скажи об этом), сами фрагменты с названием документа, пунктом и датой редакции, краткая история и самостоятельный вопрос. Инструкция лежит в репозитории с номером версии. Текст документов считается данными: если в нём встретится «игнорируй правила», это просто строка.
Шаги 7–10: ответ, проверка, журнал и оценка
Шаг 7. Ответ модели
Модель формирует ответ в заданном виде: «Перенос согласуется с руководителем не позднее чем за 14 календарных дней до начала отпуска, заявление подаётся в кадровой системе [1]. Если причина — болезнь или командировка, перенос оформляет отдел кадров [2]». В скобках номера фрагментов.
Шаг 8. Проверка и фильтры
Обычный код, а не модель, проверяет, что [1] и [2] есть среди переданных фрагментов, что «14 календарных дней» действительно стоит в п. 4.2 и формат соблюдён. Числа и даты сверяются отдельно: это самые дорогие ошибки. Выходные фильтры убирают то, чего показывать нельзя: лишние персональные данные, запретные темы. Не прошло проверку, ответ не показывается, бот говорит «не нашёл» или зовёт человека.
Шаг 9. Показ и журнал
Сотрудница видит ответ, под ним названия документов, номера пунктов, дату редакции, ссылку на нужное место и кнопки «помогло», «не помогло», «позвать человека». В журнал идут идентификатор запроса, группа пользователя, переформулированный вопрос, идентификаторы фрагментов и версий, версии инструкции и модели, исход. Хранить ли текст вопроса, решается заранее по вашей политике.
Шаг 10. Оценка и разбор
Оценка привязана к ответу. Раз в неделю владелец раздела просматривает выборку ответов и все «не помогло», а найденная ошибка становится новой строкой эталона: после правки её прогоняют, чтобы она не вернулась. Журнал превращается в источник задач, а не в архив.
Как работает RAG-бот и где он ломается: шаг, сбой, проверка
Эта таблица читается сверху вниз как список вопросов к подрядчику. Если на какой-то шаг у него нет проверки, ошибка найдёт вас сама.
| Шаг | Что может пойти не так | Как проверяем |
|---|---|---|
| 1. Приём | Человека опознали по имени в чате; слишком длинное сообщение вытеснило контекст | Тест подмены имени; предел длины на приёмке |
| 2. Права | Набор документов шире, чем у роли; кэш помнит права уволенного | Вопросы про закрытое из-под каждой роли; проверка после отзыва доступа |
| 3. Переформулировка | Смысл исказился; подставлен чужой контекст | Выборка пар «реплика в диалоге — самостоятельный вопрос», разметка человеком |
| 4. Поиск | Нужный пункт не найден: слова разные или номер не распознан | Доля вопросов эталона, где нужный фрагмент среди найденных |
| 5. Отбор | Прежняя редакция вытеснила действующую; условие без исключения | Вопросы с известными редакциями; проверка соседних пунктов |
| 6. Сборка запроса | Фрагментов много, важное потерялось; после правки инструкция стала мягче | Прогон эталона после каждой правки; версия шаблона в журнале |
| 7. Ответ модели | Дополняет общими знаниями; смешивает два пункта | Вопросы, ответа на которые в базе нет; сверка ответа с фрагментами |
| 8. Проверка | Ссылка есть, но ничего не подтверждает; число взято из отменённой редакции | Автопроверка чисел и ссылок плюс ручная выборка |
| 9. Показ и журнал | Ссылка не открывает нужное место; в журнал попали лишние персональные данные | Открыть ссылки у выборки; просмотреть состав записей |
| 10. Оценка | Оценок мало, они смещены; ошибки не возвращаются в эталон | Еженедельный разбор, доля найденных ошибок, ставших строками эталона |
Что видит человек, когда бот не нашёл ответ
Отказ можно получить на трёх шагах, и человек должен видеть разное.
- На шаге 2, если прав нет. Бот не признаёт, что закрытый документ существует: ответ «у вас нет доступа» уже выдаёт сам факт. Он говорит, что в доступных материалах ответа нет.
- На шаге 5, если после отбора пусто. Бот прямо пишет, что в материалах ответа нет, предлагает переформулировать или позвать человека, а вопрос попадает в список пробелов базы. Владелец раздела решает, писать ли документ.
- На шаге 8, если проверка не прошла. Неподтверждённый ответ человеку не показывается. В журнале запись помечена «отклонён проверкой», и по таким записям видно, где модель нарушает правила.
Три разные причины дают три разных следа в журнале. Без них «не нашёл» превращается в общий шум, из которого нельзя понять, что чинить.
Кто настраивает RAG-бот: роли и что они меняют без программиста
Часть настроек должна быть доступна тем, кто знает предметную область. Остальное меняется только с прогоном эталона.
| Роль | Что делает каждую неделю | Что меняет без разработчика |
|---|---|---|
| Владелец раздела | Отвечает на пробелы базы, помечает действующие редакции, снимает устаревшее | Документы и статусы редакций |
| Рецензент ответов | Просматривает выборку, открывает ссылки, размечает ошибки | Строки эталона |
| Администратор бота | Следит за долей отказов и передач, читает «не помогло» | Тексты отказов, запретные темы, подсказки в интерфейсе |
| Оператор или менеджер | Принимает передачи, отмечает причину | Ничего в боте: его отметки идут в разбор |
Модель, разбиение документов, шаблон запроса и порог отбора меняет разработчик, и каждая такая правка начинается с прогона эталона, чтобы качество не ухудшилось незаметно.
Что делаем мы и с чего начать
Мы делаем RAG-ботов для клиентов, сотрудников, партнёров и операторов в вашем контуре, с правами, источником под каждым ответом и проверкой качества на вашей выборке. Описание услуги и аудитории бота: RAG-бот для бизнеса.
Начните с двадцати-тридцати реальных вопросов и списка мест, где лежат ответы: на них видно, на каком шаге пути ломается ваш случай. Если нужен разбор снаружи, обследование стоит 200 000 ₽ за один набор документов и аудиторию или 350 000 ₽ за несколько источников и ролей. Оно вычитается из первого этапа, а его результат пригоден для другого подрядчика: в нём эталон, права, схема обновления и вилка бюджета. Цены и сроки ступеней собраны на странице тарифов; исходники и эталон остаются у вас по акту.
Частые вопросы
Как работает RAG-бот, если документов очень много?
Бот не читает всё подряд. Поиск по индексу выбирает несколько подходящих фрагментов, и только они попадают к модели. Число документов влияет на разбиение, обновление и качество поиска, но не на то, сколько модель «прочитает» за один ответ.
Чем RAG-бот отличается от обычного чат-бота?
Обычный бот ведёт человека по заранее написанным шагам. RAG-бот ищет ответ в документах и излагает найденное со ссылкой. Менять данные в системах он не умеет, для этого нужен бот с действиями.
Почему бот говорит «не нашёл», хотя документ есть?
Причины на разных шагах: документ не попал в индекс, разбиение разорвало условие и исключение, поиск не распознал номер, права отсекли документ. Мы разбираем отказ по шагам с помощью журнала и эталонных вопросов.
Может ли RAG-бот выдумать ответ?
Реже, чем модель без опоры на документы, но исключить это полностью нельзя. Защита состоит из инструкции отвечать только по фрагментам, проверки ссылок и чисел кодом и права отказаться. Для ответственных случаев ответ идёт черновиком с подтверждением человека.
Как бот понимает, что документ устарел?
По метаданным: у документа есть дата и статус редакции, отменённые версии исключаются из поиска. Статус кто-то должен проставлять, поэтому у каждого раздела базы есть владелец.
Где хранится история вопросов?
На ваших серверах. Состав журнала и срок хранения решаются заранее по вашей политике обработки персональных данных: можно хранить идентификаторы фрагментов без текста вопроса. Юридические вопросы решает юрист заказчика.
Сколько стоит построить RAG-бот?
Обследование стоит 200 000 ₽ или 350 000 ₽ при нескольких источниках и ролях. Лёгкий пилот обходится в 150 000–400 000 ₽ за 2–8 недель, тяжёлый в 400 000–1 200 000 ₽ за 2–3 месяца. Вывод в эксплуатацию начинается от 1 500 000 ₽ этапами по 300 000–700 000 ₽.
С чего начать, если документы в плохом состоянии?
С эталона: двадцать-тридцать реальных вопросов и места, где лежат ответы. По ним видно, на каком шаге ломается ваш случай. Чаще всего это первые шаги и сами документы, а не модель, и тогда сначала наводят порядок в базе.