Критерии приёмки ИИ-пилота состоят из семи метрик и условия остановки: качество на закрытой выборке, обязательные нули, доля ручной проверки, время обработки, стоимость принятого результата, устойчивость и использование людьми. Для каждой записывают порог и действие на случай «хуже порога» до первого запуска и под подпись владельца процесса. Пока этого нет, успех пилота определяется впечатлением, а решение откладывается.

Статья отвечает на вопрос «как оценить успех ИИ-пилота» на уровне владельца процесса, а не разработчика. Как собрать тестовый набор и считать качество самих ответов, подробно описано в материале «Как оценить качество LLM-системы», а работа порога уверенности разобрана в статье «Порог уверенности модели». Сам пилот описан на странице «Пилотный проект по внедрению ИИ».

Коротко. Запишите до старта: закрытую выборку, на которой считаем, семь метрик с порогами, ошибки, недопустимые совсем, действие при значении хуже порога и дату решения. Порог называет владелец процесса, отталкиваясь от того, как работают люди сегодня. Исходов три: принято, принято с условиями, не принято.

Критерии приёмки ИИ-пилота: семь метрик, условие остановки и три исхода

Метрики — не перечень «на всякий случай»: у каждой своя роль в решении.

  • Качество по категориям. Доли верных, частично верных, неверных ответов и отказов на закрытой выборке отдельно по видам случаев, а не одна общая цифра.
  • Обязательные нули. Ошибки, допустимое число которых ноль: чужие данные, выдуманная ссылка, действие без подтверждения, неверная сумма без проверки.
  • Доля ручной проверки. Сколько случаев система отдаёт человеку и сколько результатов человек исправляет. Это нагрузка, и её нужно выдержать.
  • Время обработки. От поступления случая до принятого результата, с очередью и проверкой.
  • Стоимость принятого результата. Расходы на систему и часы проверки, делённые на число принятых результатов, в сравнении с ручной обработкой.
  • Устойчивость. Совпадает ли результат на свежем потоке с результатом на закрытой выборке.
  • Использование людьми. Принимают ли сотрудники результат или обходят систему.
  • Условие остановки. Что делаем, если порог не достигнут к дате решения.

Три исхода приёмки

Принято: все пороги выполнены, нули соблюдены. Принято с условиями: нули соблюдены, не выполнены один-два порога, причина названа, есть одна доработка и дата повторного замера. Не принято: нарушен обязательный ноль после доработки либо порог не достигнут и устранимой причины нет. Безусловного «продолжим ещё немного» среди исходов нет: у него нет условия, по которому оно закончится.

Таблица критериев: метрика, как считаем, порог, что делаем, если хуже порога

Это шаблон: строки и пороги у вас будут свои, но почти все семь строк нужны. Метрики считаются на закрытой части выборки, которую не открывали при настройке.

МетрикаКак считаемКак задать порогЕсли хуже порога
Качество по категориямДоли верных, частично верных, неверных и отказов по категориям; поиск и ответ раздельно, если система ищет по документамСвой для каждой категории: от цены ошибки и от того, как ошибаются люди сейчасРазбор ошибок по причинам, одна доработка, повторный замер на новой закрытой части; иначе остановка
Обязательные нулиЧисло недопустимых ошибок на закрытой выборке и в параллельном прогонеНольОдного случая достаточно для «не принято»; причину исправляют, замер повторяют целиком
Доля ручной проверкиДоля случаев, ушедших человеку по порогу уверенности, и доля результатов, исправленных человекомОт того, какую очередь отдел разбирает за сменуПорог ослабляют, только пока нули соблюдены; иначе сужают сценарий
Время обработкиМедиана и верхняя граница от поступления до принятого результата, с очередью и проверкойРучное время минус снижение, которое оправдывает вложенияИщем, где теряется время: ожидание, очередь проверки, передачи
Стоимость принятого результата(Расходы на систему + часы проверки и разбора) / число принятых результатов за периодНе выше ручной обработки единицы работы при рабочем объёмеСужаем объём до случаев, где выгодно, либо останавливаем
УстойчивостьРасхождение на свежем потоке с закрытой выборкой и разброс повторных прогоновРасхождение не больше обычного разброса повторных прогоновДобавляем в рабочий набор случаи нового типа и замеряем заново
Использование людьмиДоля случаев, где сотрудник принял результат, и доля обходов системыДоговаривается с владельцем: что считается «работает»Меняем точку входа в процесс либо останавливаемся

Как выбрать пороги: пол, цель и точка остановки

Порог не берут из желания «побольше». Его определяют два числа: как работают люди сейчас и сколько стоит ошибка. Люди тоже ошибаются, и сравнивать нужно с их показателем, а не со ста из ста. Базовые значения берут из журналов: сколько случаев возвращалось, сколько минут занимала операция. Если замера нет, его снимают до пилота; как это сделать самим, описано в статье «Аудит бизнес-процессов: как проводить перед внедрением ИИ».

У каждой метрики три значения.

  • Пол. Ниже него не принимаем. Выбирается так, чтобы работа с системой была не хуже, чем без неё.
  • Цель. Выше неё принимаем без обсуждения. Между полом и целью лежит приёмка с условиями.
  • Точка остановки. Если значение ниже неё к дате решения, это уже не доработка, а остановка.

Порог называет владелец процесса до того, как увидел результаты. Число, назначенное после, подогнано, и приёмка превращается в оформление. Разработчик может предложить способ подсчёта, но число называет не он.

Порог уверенности и доля ручной проверки: как они связаны

Порог уверенности делит случаи на те, что система решает сама, и те, что она отдаёт человеку. Чем строже порог, тем меньше неверных результатов проходит без проверки и тем больше работы остаётся человеку. Выбирают порог не по лучшей точности, а по тому, что выдерживает процесс.

Условный пример без реального клиента: закрытая выборка из 200 случаев и три положения порога.

ПорогРешает системаИз них неверныхУходит человекуЧто это значит
Мягкий170 случаев14 ошибок30 случаевМеньше всего ручной работы, но примерно каждый двенадцатый результат неверный
Средний140 случаев5 ошибок60 случаевНеверен каждый двадцать восьмой результат, человеку достаются три случая из десяти
Строгий90 случаев1 ошибка110 случаевНеверных почти нет, но человек разбирает больше половины случаев, и выигрыш по времени тает

Какой вариант принять, решают две записанные цифры: допустимая доля неверных среди решённых системой и очередь, которую отдел способен выдержать. Если неверный результат дорог, строгий порог с большой очередью лучше мягкого. Если ошибку ловит следующий шаг, подойдёт средний. Порог подбирают на рабочей части выборки, а проверяют на закрытой.

Время и стоимость запроса: как посчитать до масштабирования

На десятке примеров всё быстро и дёшево, на рабочем потоке цифры другие. Поэтому время и стоимость считают на объёме, близком к рабочему.

Время

Считайте от поступления случая до принятого результата, включая очередь и проверку человеком. Показывайте медиану и верхнюю границу: время тяжёлых случаев определяет, как люди относятся к системе. Отдельно замерьте пик: сколько случаев приходит одновременно и как меняется время ответа.

Стоимость

Мерой служит стоимость принятого результата: расходы на систему за период плюс часы людей на проверку и разбор, делённые на число принятых результатов. У частной модели на ваших серверах в расходы входит доля серверов и обслуживания, у внешнего интерфейса — оплата обращений. Цен на оборудование и сервисы мы не называем: берите свои. Если пользователи отклоняют половину результатов, стоимость принятого результата вдвое выше стоимости запроса; формулу и определения разбирает статья «Себестоимость ИИ-сервиса: как считать затраты». Сравнивайте с ручной обработкой единицы работы тем же способом подсчёта, ставку часа подставьте свою.

Критерии остановки: что записать до старта

Остановка по записанному правилу дешевле незаписанного продолжения. До старта фиксируют четыре вещи: дату решения, число доработок (обычно одна), значения, при которых прекращают без доработки, и того, кто принимает решение. Типовые условия:

  • Нарушен обязательный ноль после доработки.
  • Порог по качеству не достигнут к дате решения, а причина не в данных, которые можно быстро исправить.
  • Время с проверкой человеком не ниже ручного: выигрыш съели исключения.
  • Стоимость принятого результата выше ручной обработки при рабочем объёме.
  • Эксперты не сошлись, каким должен быть правильный ответ: пилот измеряет несогласие людей, а не качество.
  • Люди обходят систему: делают по-старому, хотя результат лежит рядом.

Решений у владельца три: доработать один раз до даты, сузить или сменить сценарий, остановиться. Как отличить зависший пилот от пилота, которому нужно ещё немного времени, описано в статье «Когда останавливать пилот ИИ-проекта».

Критерии приёмки ИИ-пилота на примере: лист приёмки для распределения заявок

Условный пример без реального клиента. Служба эксплуатации распределяет входящие заявки по пяти очередям и отмечает аварийные. Диспетчер тратит на заявку около 3 минут и ошибается с очередью примерно в каждой двенадцатой. Система решает сама те заявки, где уверена, остальные отдаёт диспетчеру. Закрытая выборка — 250 заявок, из них 31 аварийная. Лист на дату решения:

КритерийПорогРезультатИтог
Ошибки среди решённых системойНе чаще одной на 25 решённых заявок6 на 190 решённыхВыполнено
Обязательный ноль: аварийная заявка без пометки «срочно»Ни одной0 из 31 аварийныхВыполнено
Доля заявок, ушедших диспетчеруНе более 88 из 25060 из 250Выполнено
Время до маршрута, медиана с диспетчеромНе выше 2 минут при ручных 31,5 минутыВыполнено
Стоимость принятого результатаНе выше ручной при потоке около 150 заявок в деньНиже ручной по формулеВыполнено
Устойчивость на свежем потоке за две неделиОшибки не чаще, чем на закрытой выборке, с допуском на разброс9 ошибок на 120 решённых заявокНе выполнено

Решение: принято с условиями. Последний пункт не выполнен из-за нового типа заявок после смены подрядчика по обслуживанию: в выборке его не было. Условия: добавить 40 новых заявок в рабочий набор и повторить замер на новой закрытой части через три недели; если ошибки на свежем потоке не вернутся в допуск, ограничить сценарий прежними типами заявок. Обязательные нули соблюдены, поэтому остановки нет, а решение с датой записано в акте.

Ошибки целеполагания: семь формулировок, которые не работают

ОшибкаКак выглядитК чему приводитКак исправить
Цель без базовой точки«Ускорить обработку» без текущего времениЛюбой результат можно назвать успехомСнять базовое значение по журналам до пилота
Одна общая цифра качества«Точность девять из десяти»Прячет категорию с дорогой ошибкойПороги по категориям и обязательные нули
Порог после результатовЧисло назначили, когда увидели замерПриёмка становится оформлениемПодпись владельца до первого запуска
Метрика, которую улучшают без пользыДоля решённых системой растёт при мягком порогеРастёт и число неверных результатовПарная метрика: ошибки среди решённых
Выборка из лучших примеровАккуратные документы, понятные вопросыЗамер завышенСлучайные случаи потока, опасные отдельно
Качество без времени и стоимостиПриняли по точности, не посчитав проверкуСистема точна и дороже ручной работыВремя и стоимость принятого результата в листе приёмки
Приёмку ведёт разработчикОн выбирает метрики и сам считаетКритерии подгоняются под системуВладелец подписывает, разработчик показывает расчёт

Что делаем мы и с чего начать

Критерии приёмки мы пишем вместе с владельцем процесса до первого кода: метрики, пороги, обязательные нули, условие остановки и дата решения. Они входят в обследование: 200 000 ₽ и 2–3 недели за один-два процесса, 350 000 ₽ и 3–4 недели при нескольких системах, 500 000 ₽ и 4–6 недель для производства или контура. Сумма вычитается из первого этапа, если продолжаете с нами, а документом можно пользоваться без нас. Цены и сроки всех ступеней — на странице тарифов.

Дальше идёт пилот: лёгкий 150 000–400 000 ₽ и 2–8 недель, тяжёлый 400 000–1 200 000 ₽ и 2–3 месяца. Наборы и прогон считаем на ваших данных и оставляем вам; если нужна только оценка качества готовой системы, смотрите страницу «Оценка качества LLM-систем». Мы не обещаем заранее, что пилот пройдёт: его задача — выяснить это на ваших данных. Остановиться можно после любой ступени, всё сделанное остаётся у вас по акту.

Частые вопросы

Что входит в критерии приёмки ИИ-пилота?

Качество по категориям на закрытой выборке, обязательные нули, доля ручной проверки, время обработки, стоимость принятого результата, устойчивость, использование людьми и условие остановки. К каждой метрике записывают порог и действие на случай, если результат хуже. Документ подписывает владелец процесса до первого запуска.

Как оценить успех ИИ-пилота, если деньги появятся позже?

Успех пилота — это выполнение записанных порогов: он отвечает на вопрос, работает ли решение на ваших данных. Денежный эффект считается отдельно по потолку экономии и стоимости принятого результата и подтверждается на рабочем объёме после вывода в эксплуатацию. Обещать цифру эффекта до замера нельзя.

Какой порог качества ставить?

Единого числа нет. Порог зависит от цены ошибки и от того, как ошибаются люди при ручной работе, поэтому для каждой категории он свой. Сначала берут базовое значение из журналов, затем владелец называет пол, цель и точку остановки. Для опасных ошибок порог — ноль.

Сколько случаев нужно в закрытой выборке?

Достаточно, чтобы в каждой категории отличить улучшение от случайного колебания, и больше там, где ошибка дорога. Круглого числа мы не называем: его определяет разнообразие ваших данных. Проверьте, насколько прыгают цифры при повторных прогонах без правок: разница меньше этого разброса ничего не значит.

Можно ли менять критерии по ходу пилота?

Можно письменно и до того, как открыта закрытая часть выборки, если обстоятельства изменились: новый тип случаев, смена требований безопасности. Менять пороги после просмотра результатов нельзя: тогда замер превращается в подгонку. Изменение подписывает тот же владелец.

Кто подписывает приёмку пилота?

Владелец процесса, чей показатель изменится. ИТ подтверждает работоспособность и встроенность, служба безопасности — размещение данных и права, но решение об успехе принимает бизнес. Разработчик показывает расчёт и не подписывает приёмку своей работы.

Какие метрики ИИ-пилота нужны, кроме точности?

Доля ручной проверки, время обработки с очередью, стоимость принятого результата, устойчивость на свежем потоке и использование людьми. Отдельно записывают обязательные нули. Точность без этих метрик может оказаться высокой у системы, которая дороже и медленнее ручной работы.

Как принимать пилот агента с действиями?

К этим метрикам добавляют список разрешённых действий, права отдельной учётной записи, подтверждения, лимиты, журнал и откат. Обязательный ноль формулируется как «ни одного действия вне разрешённого набора». Проверка идёт на тестовой копии систем, а тест на опасные ситуации входит в лист приёмки.