Критерии приёмки ИИ-пилота состоят из семи метрик и условия остановки: качество на закрытой выборке, обязательные нули, доля ручной проверки, время обработки, стоимость принятого результата, устойчивость и использование людьми. Для каждой записывают порог и действие на случай «хуже порога» до первого запуска и под подпись владельца процесса. Пока этого нет, успех пилота определяется впечатлением, а решение откладывается.
Статья отвечает на вопрос «как оценить успех ИИ-пилота» на уровне владельца процесса, а не разработчика. Как собрать тестовый набор и считать качество самих ответов, подробно описано в материале «Как оценить качество LLM-системы», а работа порога уверенности разобрана в статье «Порог уверенности модели». Сам пилот описан на странице «Пилотный проект по внедрению ИИ».
Критерии приёмки ИИ-пилота: семь метрик, условие остановки и три исхода
Метрики — не перечень «на всякий случай»: у каждой своя роль в решении.
- Качество по категориям. Доли верных, частично верных, неверных ответов и отказов на закрытой выборке отдельно по видам случаев, а не одна общая цифра.
- Обязательные нули. Ошибки, допустимое число которых ноль: чужие данные, выдуманная ссылка, действие без подтверждения, неверная сумма без проверки.
- Доля ручной проверки. Сколько случаев система отдаёт человеку и сколько результатов человек исправляет. Это нагрузка, и её нужно выдержать.
- Время обработки. От поступления случая до принятого результата, с очередью и проверкой.
- Стоимость принятого результата. Расходы на систему и часы проверки, делённые на число принятых результатов, в сравнении с ручной обработкой.
- Устойчивость. Совпадает ли результат на свежем потоке с результатом на закрытой выборке.
- Использование людьми. Принимают ли сотрудники результат или обходят систему.
- Условие остановки. Что делаем, если порог не достигнут к дате решения.
Три исхода приёмки
Принято: все пороги выполнены, нули соблюдены. Принято с условиями: нули соблюдены, не выполнены один-два порога, причина названа, есть одна доработка и дата повторного замера. Не принято: нарушен обязательный ноль после доработки либо порог не достигнут и устранимой причины нет. Безусловного «продолжим ещё немного» среди исходов нет: у него нет условия, по которому оно закончится.
Таблица критериев: метрика, как считаем, порог, что делаем, если хуже порога
Это шаблон: строки и пороги у вас будут свои, но почти все семь строк нужны. Метрики считаются на закрытой части выборки, которую не открывали при настройке.
| Метрика | Как считаем | Как задать порог | Если хуже порога |
|---|---|---|---|
| Качество по категориям | Доли верных, частично верных, неверных и отказов по категориям; поиск и ответ раздельно, если система ищет по документам | Свой для каждой категории: от цены ошибки и от того, как ошибаются люди сейчас | Разбор ошибок по причинам, одна доработка, повторный замер на новой закрытой части; иначе остановка |
| Обязательные нули | Число недопустимых ошибок на закрытой выборке и в параллельном прогоне | Ноль | Одного случая достаточно для «не принято»; причину исправляют, замер повторяют целиком |
| Доля ручной проверки | Доля случаев, ушедших человеку по порогу уверенности, и доля результатов, исправленных человеком | От того, какую очередь отдел разбирает за смену | Порог ослабляют, только пока нули соблюдены; иначе сужают сценарий |
| Время обработки | Медиана и верхняя граница от поступления до принятого результата, с очередью и проверкой | Ручное время минус снижение, которое оправдывает вложения | Ищем, где теряется время: ожидание, очередь проверки, передачи |
| Стоимость принятого результата | (Расходы на систему + часы проверки и разбора) / число принятых результатов за период | Не выше ручной обработки единицы работы при рабочем объёме | Сужаем объём до случаев, где выгодно, либо останавливаем |
| Устойчивость | Расхождение на свежем потоке с закрытой выборкой и разброс повторных прогонов | Расхождение не больше обычного разброса повторных прогонов | Добавляем в рабочий набор случаи нового типа и замеряем заново |
| Использование людьми | Доля случаев, где сотрудник принял результат, и доля обходов системы | Договаривается с владельцем: что считается «работает» | Меняем точку входа в процесс либо останавливаемся |
Как выбрать пороги: пол, цель и точка остановки
Порог не берут из желания «побольше». Его определяют два числа: как работают люди сейчас и сколько стоит ошибка. Люди тоже ошибаются, и сравнивать нужно с их показателем, а не со ста из ста. Базовые значения берут из журналов: сколько случаев возвращалось, сколько минут занимала операция. Если замера нет, его снимают до пилота; как это сделать самим, описано в статье «Аудит бизнес-процессов: как проводить перед внедрением ИИ».
У каждой метрики три значения.
- Пол. Ниже него не принимаем. Выбирается так, чтобы работа с системой была не хуже, чем без неё.
- Цель. Выше неё принимаем без обсуждения. Между полом и целью лежит приёмка с условиями.
- Точка остановки. Если значение ниже неё к дате решения, это уже не доработка, а остановка.
Порог называет владелец процесса до того, как увидел результаты. Число, назначенное после, подогнано, и приёмка превращается в оформление. Разработчик может предложить способ подсчёта, но число называет не он.
Порог уверенности и доля ручной проверки: как они связаны
Порог уверенности делит случаи на те, что система решает сама, и те, что она отдаёт человеку. Чем строже порог, тем меньше неверных результатов проходит без проверки и тем больше работы остаётся человеку. Выбирают порог не по лучшей точности, а по тому, что выдерживает процесс.
Условный пример без реального клиента: закрытая выборка из 200 случаев и три положения порога.
| Порог | Решает система | Из них неверных | Уходит человеку | Что это значит |
|---|---|---|---|---|
| Мягкий | 170 случаев | 14 ошибок | 30 случаев | Меньше всего ручной работы, но примерно каждый двенадцатый результат неверный |
| Средний | 140 случаев | 5 ошибок | 60 случаев | Неверен каждый двадцать восьмой результат, человеку достаются три случая из десяти |
| Строгий | 90 случаев | 1 ошибка | 110 случаев | Неверных почти нет, но человек разбирает больше половины случаев, и выигрыш по времени тает |
Какой вариант принять, решают две записанные цифры: допустимая доля неверных среди решённых системой и очередь, которую отдел способен выдержать. Если неверный результат дорог, строгий порог с большой очередью лучше мягкого. Если ошибку ловит следующий шаг, подойдёт средний. Порог подбирают на рабочей части выборки, а проверяют на закрытой.
Время и стоимость запроса: как посчитать до масштабирования
На десятке примеров всё быстро и дёшево, на рабочем потоке цифры другие. Поэтому время и стоимость считают на объёме, близком к рабочему.
Время
Считайте от поступления случая до принятого результата, включая очередь и проверку человеком. Показывайте медиану и верхнюю границу: время тяжёлых случаев определяет, как люди относятся к системе. Отдельно замерьте пик: сколько случаев приходит одновременно и как меняется время ответа.
Стоимость
Мерой служит стоимость принятого результата: расходы на систему за период плюс часы людей на проверку и разбор, делённые на число принятых результатов. У частной модели на ваших серверах в расходы входит доля серверов и обслуживания, у внешнего интерфейса — оплата обращений. Цен на оборудование и сервисы мы не называем: берите свои. Если пользователи отклоняют половину результатов, стоимость принятого результата вдвое выше стоимости запроса; формулу и определения разбирает статья «Себестоимость ИИ-сервиса: как считать затраты». Сравнивайте с ручной обработкой единицы работы тем же способом подсчёта, ставку часа подставьте свою.
Критерии остановки: что записать до старта
Остановка по записанному правилу дешевле незаписанного продолжения. До старта фиксируют четыре вещи: дату решения, число доработок (обычно одна), значения, при которых прекращают без доработки, и того, кто принимает решение. Типовые условия:
- Нарушен обязательный ноль после доработки.
- Порог по качеству не достигнут к дате решения, а причина не в данных, которые можно быстро исправить.
- Время с проверкой человеком не ниже ручного: выигрыш съели исключения.
- Стоимость принятого результата выше ручной обработки при рабочем объёме.
- Эксперты не сошлись, каким должен быть правильный ответ: пилот измеряет несогласие людей, а не качество.
- Люди обходят систему: делают по-старому, хотя результат лежит рядом.
Решений у владельца три: доработать один раз до даты, сузить или сменить сценарий, остановиться. Как отличить зависший пилот от пилота, которому нужно ещё немного времени, описано в статье «Когда останавливать пилот ИИ-проекта».
Критерии приёмки ИИ-пилота на примере: лист приёмки для распределения заявок
Условный пример без реального клиента. Служба эксплуатации распределяет входящие заявки по пяти очередям и отмечает аварийные. Диспетчер тратит на заявку около 3 минут и ошибается с очередью примерно в каждой двенадцатой. Система решает сама те заявки, где уверена, остальные отдаёт диспетчеру. Закрытая выборка — 250 заявок, из них 31 аварийная. Лист на дату решения:
| Критерий | Порог | Результат | Итог |
|---|---|---|---|
| Ошибки среди решённых системой | Не чаще одной на 25 решённых заявок | 6 на 190 решённых | Выполнено |
| Обязательный ноль: аварийная заявка без пометки «срочно» | Ни одной | 0 из 31 аварийных | Выполнено |
| Доля заявок, ушедших диспетчеру | Не более 88 из 250 | 60 из 250 | Выполнено |
| Время до маршрута, медиана с диспетчером | Не выше 2 минут при ручных 3 | 1,5 минуты | Выполнено |
| Стоимость принятого результата | Не выше ручной при потоке около 150 заявок в день | Ниже ручной по формуле | Выполнено |
| Устойчивость на свежем потоке за две недели | Ошибки не чаще, чем на закрытой выборке, с допуском на разброс | 9 ошибок на 120 решённых заявок | Не выполнено |
Решение: принято с условиями. Последний пункт не выполнен из-за нового типа заявок после смены подрядчика по обслуживанию: в выборке его не было. Условия: добавить 40 новых заявок в рабочий набор и повторить замер на новой закрытой части через три недели; если ошибки на свежем потоке не вернутся в допуск, ограничить сценарий прежними типами заявок. Обязательные нули соблюдены, поэтому остановки нет, а решение с датой записано в акте.
Ошибки целеполагания: семь формулировок, которые не работают
| Ошибка | Как выглядит | К чему приводит | Как исправить |
|---|---|---|---|
| Цель без базовой точки | «Ускорить обработку» без текущего времени | Любой результат можно назвать успехом | Снять базовое значение по журналам до пилота |
| Одна общая цифра качества | «Точность девять из десяти» | Прячет категорию с дорогой ошибкой | Пороги по категориям и обязательные нули |
| Порог после результатов | Число назначили, когда увидели замер | Приёмка становится оформлением | Подпись владельца до первого запуска |
| Метрика, которую улучшают без пользы | Доля решённых системой растёт при мягком пороге | Растёт и число неверных результатов | Парная метрика: ошибки среди решённых |
| Выборка из лучших примеров | Аккуратные документы, понятные вопросы | Замер завышен | Случайные случаи потока, опасные отдельно |
| Качество без времени и стоимости | Приняли по точности, не посчитав проверку | Система точна и дороже ручной работы | Время и стоимость принятого результата в листе приёмки |
| Приёмку ведёт разработчик | Он выбирает метрики и сам считает | Критерии подгоняются под систему | Владелец подписывает, разработчик показывает расчёт |
Что делаем мы и с чего начать
Критерии приёмки мы пишем вместе с владельцем процесса до первого кода: метрики, пороги, обязательные нули, условие остановки и дата решения. Они входят в обследование: 200 000 ₽ и 2–3 недели за один-два процесса, 350 000 ₽ и 3–4 недели при нескольких системах, 500 000 ₽ и 4–6 недель для производства или контура. Сумма вычитается из первого этапа, если продолжаете с нами, а документом можно пользоваться без нас. Цены и сроки всех ступеней — на странице тарифов.
Дальше идёт пилот: лёгкий 150 000–400 000 ₽ и 2–8 недель, тяжёлый 400 000–1 200 000 ₽ и 2–3 месяца. Наборы и прогон считаем на ваших данных и оставляем вам; если нужна только оценка качества готовой системы, смотрите страницу «Оценка качества LLM-систем». Мы не обещаем заранее, что пилот пройдёт: его задача — выяснить это на ваших данных. Остановиться можно после любой ступени, всё сделанное остаётся у вас по акту.
Частые вопросы
Что входит в критерии приёмки ИИ-пилота?
Качество по категориям на закрытой выборке, обязательные нули, доля ручной проверки, время обработки, стоимость принятого результата, устойчивость, использование людьми и условие остановки. К каждой метрике записывают порог и действие на случай, если результат хуже. Документ подписывает владелец процесса до первого запуска.
Как оценить успех ИИ-пилота, если деньги появятся позже?
Успех пилота — это выполнение записанных порогов: он отвечает на вопрос, работает ли решение на ваших данных. Денежный эффект считается отдельно по потолку экономии и стоимости принятого результата и подтверждается на рабочем объёме после вывода в эксплуатацию. Обещать цифру эффекта до замера нельзя.
Какой порог качества ставить?
Единого числа нет. Порог зависит от цены ошибки и от того, как ошибаются люди при ручной работе, поэтому для каждой категории он свой. Сначала берут базовое значение из журналов, затем владелец называет пол, цель и точку остановки. Для опасных ошибок порог — ноль.
Сколько случаев нужно в закрытой выборке?
Достаточно, чтобы в каждой категории отличить улучшение от случайного колебания, и больше там, где ошибка дорога. Круглого числа мы не называем: его определяет разнообразие ваших данных. Проверьте, насколько прыгают цифры при повторных прогонах без правок: разница меньше этого разброса ничего не значит.
Можно ли менять критерии по ходу пилота?
Можно письменно и до того, как открыта закрытая часть выборки, если обстоятельства изменились: новый тип случаев, смена требований безопасности. Менять пороги после просмотра результатов нельзя: тогда замер превращается в подгонку. Изменение подписывает тот же владелец.
Кто подписывает приёмку пилота?
Владелец процесса, чей показатель изменится. ИТ подтверждает работоспособность и встроенность, служба безопасности — размещение данных и права, но решение об успехе принимает бизнес. Разработчик показывает расчёт и не подписывает приёмку своей работы.
Какие метрики ИИ-пилота нужны, кроме точности?
Доля ручной проверки, время обработки с очередью, стоимость принятого результата, устойчивость на свежем потоке и использование людьми. Отдельно записывают обязательные нули. Точность без этих метрик может оказаться высокой у системы, которая дороже и медленнее ручной работы.
Как принимать пилот агента с действиями?
К этим метрикам добавляют список разрешённых действий, права отдельной учётной записи, подтверждения, лимиты, журнал и откат. Обязательный ноль формулируется как «ни одного действия вне разрешённого набора». Проверка идёт на тестовой копии систем, а тест на опасные ситуации входит в лист приёмки.