Как оценить автоматизацию после запуска? Сравнить пять метрик с замером «до»: долю случаев, которые система закрыла без человека, время цикла, ошибки на проверенной выборке, ручные правки и обращения сотрудников. Смотреть их стоит три раза: через 2, 6 и 12 недель. На второй неделе вопрос в том, работает ли система в живом потоке, на шестой — держится ли качество, когда новизна прошла, на двенадцатой — окупается ли она и что делать дальше.

Без замера «до» оценка превращается в разговор о впечатлениях, а без порога тревоги, записанного заранее, любое значение можно объяснить. Ниже что записать до запуска, таблица метрик с порогами, план на 2, 6 и 12 недель, условный пример, разбор ручных правок и условия неудачи. Расчёт эффекта в часах и деньгах разобран в статье «Как посчитать эффект от автоматизации», здесь только то, что смотреть после запуска.

Коротко. До запуска запишите замер «до», пять метрик и пороги тревоги. Смотрите метрики через 2, 6 и 12 недель: сначала работает ли в потоке, затем держится ли качество, затем окупается ли. Неудачей признавайте наступление условия, записанного заранее, а не ощущение.

Что записать до запуска, чтобы оценка была возможна

Оценить после запуска можно только то, что описано до него. Нужны четыре вещи.

  • Замер «до». Время цикла, доля ошибок и число случаев за четыре недели по журналам и выборке из 20–30 случаев.
  • Определения. Что такое «обработано автоматически», «ошибка» и «ручная правка», письменно и одинаково для всех, кто считает.
  • Пороги тревоги. Значения, при которых вы реагируете. Их назначает владелец процесса до запуска, а не после того, как видны результаты.
  • Условие неудачи. Что значит «не получилось»: порог и срок, после которого автоматизацию сужают или останавливают.

Пять метрик: как оценить автоматизацию после запуска и где порог тревоги

Общих значений порогов здесь нет: они зависят от доли исключений и цены ошибки в вашем процессе и записываются по вашей выборке. В таблице правило, по которому порог срабатывает. Доля обработанных автоматически обозначена a, как в статье про расчёт эффекта.

МетрикаКак считатьПорог тревогиОткуда данные
Доля обработанных автоматически (a)Случаи, закрытые системой без запроса к человеку, делённые на все случаи за неделюНиже значения приёмки две недели подряд или снижение три недели подрядЖурнал системы
Время циклаМедиана от поступления до результата отдельно для автоматических случаев и для ушедших человеку, плюс самые долгие случаиМедиана выше замера «до» или хвост самых долгих растётЖурнал и очередь исключений
ОшибкиДоля неверных результатов на случайной выборке в 30–50 случаев в неделю, проверенной человеком; критичные отдельноВыше допуска приёмки; критичная ошибка разбирается в тот же деньНедельная выборка
Ручные правкиДоля результатов, изменённых сотрудником после системы, по видам правокРост три недели подряд или скопление на одном виде случаевЖурнал изменений
Обращения сотрудниковЧисло вопросов и жалоб на процесс в неделюК шестой неделе не снижается; всплеск после смены правила или версииЧат поддержки, почта
Очередь исключений (дополнительная)Случаи, ждущие человека, и возраст самого старогоСтарейший случай старше срока из регламента или очередь растёт при том же потокеОчередь системы

Как оценить автоматизацию после запуска через 2, 6 и 12 недель

СрокГлавный вопросЧто смотримРешение
2 неделиРаботает ли система в живом потокеОстановки и сбои, близость доли a к прогону на выборке, отсутствие критичных ошибок, понимают ли исполнители, что делать с исключениямиЧинить мелочи, правила без записи не менять, расширять рано
6 недельДержится ли качество, когда прошла новизнаТренд правок и обращений, время цикла, пересчёт эффекта по журналуЗафиксировать пороги, решить, нужен ли следующий участок
12 недельОкупается ли и что дальшеВсе метрики против замера «до», часы владельца и поддержки, расходы на сопровождениеРасширить, оставить как есть, сузить или остановить

Условный пример: маршрутизация обращений в сервисной службе за 12 недель

Условный пример без реального клиента. Сервисная служба получает 100 обращений в неделю, система определяет тему и ответственного. Замер «до»: медиана от поступления до назначения 50 минут, неверных назначений 8 на 100 случаев.

СрокЗакрыто системой (из 100)Медиана цикла, минутОшибок на 100Правок на 100 результатов системыОбращений сотрудников в неделю
До запусканет508нетнет
2 недели55227149
6 недель6815493
12 недель7114482

На второй неделе система работает, но 14 правок и девять обращений говорят, что сотрудники ей пока не доверяют. К шестой правки и обращения упали при растущей доле: качество держится. К двенадцатой доля вышла на плато и без пересмотра правил для исключений дальше не вырастет; это нормальный итог, если освобождённые часы покрывают сопровождение. Плохой сценарий выглядел бы иначе: доля растёт, а правки растут вместе с ней, то есть система берёт случаи, с которыми не справляется.

Как сравнивать с замером «до» и не обмануть себя

  • Другой период. Замер «до» сделан в обычный месяц, а запуск пришёлся на сезонный пик. Сравнивайте сопоставимые недели.
  • Другое определение. Раньше «ошибкой» считали жалобу клиента, теперь считают любую правку. Определения фиксируются до запуска и потом не меняются.
  • Перенос работы. Время освободилось у одного участка, но выросло у соседнего: проверку результата перенесли смежникам. Считайте время всей цепочки.
  • Эффект новизны. Первые недели сотрудники присматривают за системой внимательнее обычного. К шестой внимание падает, и скрытые ошибки всплывают, поэтому нужна точка на шестой неделе.

Как понять, что автоматизация работает, и кто смотрит метрики

Цифры подтверждаются поведением людей. Живые признаки: исполнители не ведут параллельную таблицу «на всякий случай», очередь исключений разбирается в срок, вопросы к владельцу сменились с «почему так» на «давайте добавим правило», изменения правил идут через владельца, а не через личные просьбы к разработчику. Тревожные признаки: результат копируют в свою таблицу и перепроверяют руками, правки делают молча, часть потока идёт мимо системы по неформальному порядку.

Ритм такой: владелец процесса смотрит метрики еженедельно первые шесть недель и раз в две недели после, а на двенадцатой неделе итог с решением «расширить, оставить, сузить или остановить» уходит руководителю. Выборку для проверки ошибок готовит система, проверяет её тот, кто знает правильный ответ.

Ручные правки: как отличить ошибку системы от изменения правила

Причина правкиКак отличитьЧто делаем
Ошибка правила или моделиОдна и та же правка повторяется на похожих случаяхМеняем правило или дообучаем на примерах, прогоняем проверочную выборку
Изменился входПоле, формат письма или справочник стали другимиЧиним источник или проверку входа, новую форму добавляем в выборку
Изменилось правило бизнесаНовая политика, цена, регионВладелец меняет правило с датой, старые случаи не пересчитываем
Предпочтение сотрудникаНа одинаковых случаях разные люди правят по-разномуВладелец выбирает стандарт; до этого правка не считается ошибкой

За качеством самой модели (смещение входных данных, откат версии, оповещения) следят отдельно: слои такого мониторинга описаны в статье «Как следить за моделью в продакшене». Здесь только метрики процесса.

Когда признавать неудачу и что делать

Условие неудачи записывается до запуска. Его применяют, если:

  • порог по доле или по ошибкам не достигнут на шестой неделе, а разбор правок не показал быстрых исправлений;
  • часы на правки, исключения и сопровождение не меньше часов, которые система освобождает;
  • критичная ошибка повторилась после исправления;
  • сотрудники обходят систему, а владелец не выделяет время на разбор.

Решений четыре: сузить область до типовой части, вернуть ручной порядок с сохранением данных, заменить модель обычным правилом или остановить и записать выводы. Остановка по записанному условию на шестой неделе дешевле незаписанного «подождём ещё месяц»; как отличить застрявший пилот от того, которому нужно немного времени, описано в статье «Когда останавливать пилот ИИ-проекта».

Что делаем мы и с чего начать

Метрики, замер «до» и пороги тревоги записываем в критерии приёмки до начала работ: на обследовании снимаем замер, в пилоте проверяем систему на вашей выборке, а на второй, шестой и двенадцатой неделях после запуска предлагаем сверку по записанным метрикам. Обследование стоит 200 000 ₽ за один-два процесса (2–3 недели) и 350 000 ₽ при нескольких системах; сумма вычитается из первого этапа.

После запуска метрики, разбор правок и обновление правил идут в рамках сопровождения: пакеты 20 000, 60 000 и 120 000 ₽ в месяц на 4, 12 и 25 часов, сверх пакета 5 000 ₽ в час, часы не сгорают в пределах квартала. Остальные ступени и условия остановки собраны на странице тарифов.

Частые вопросы

Как оценить автоматизацию после запуска, если замера «до» нет?

Восстановите его по журналам за недели до запуска: число случаев, время обработки, ошибки на выборке из 20–30 случаев. Если журналов нет, считайте первый месяц точкой отсчёта и пометьте, что сравнение с прежним порядком приблизительное.

Через сколько недель после запуска делать вывод?

Первый вывод через 2 недели: работает ли система в потоке. Основной через 6: держится ли качество после новизны. Решение о расширении или остановке через 12. О качестве раньше шестой недели судить рано.

Какие метрики автоматизации процесса считать главными?

Долю обработанных автоматически и ошибки на проверенной выборке. Время цикла, ручные правки и обращения сотрудников объясняют причину изменений, а очередь исключений показывает, не копится ли работа у человека.

Как понять, что автоматизация работает, а не просто включена?

По поведению: исполнители не ведут параллельную таблицу, очередь исключений разбирается в срок, правки не растут, правила меняются через владельца процесса.

Какой порог доли автоматической обработки считать нормальным?

Общего значения нет: оно зависит от доли исключений в вашем процессе и записывается в приёмку по выборке. Тревожит не низкое значение само по себе, а падение или рост доли вместе с ручными правками.

Что делать, если метрики хуже, чем до запуска?

Остановить расширение, найти причину по правкам и исключениям, сузить область до типовой части или вернуть ручной порядок с сохранением данных. Решение принимает владелец по условию, записанному заранее.

Кто должен смотреть метрики после запуска?

Владелец процесса, а не ИТ: он отвечает за результат. Первые шесть недель еженедельно, затем реже. Разбор правок и обновление правил можно передать на сопровождение.

Сколько стоит сопровождение, в которое входят метрики?

Пакеты 20 000, 60 000 и 120 000 ₽ в месяц на 4, 12 и 25 часов, сверх пакета 5 000 ₽ в час, часы не сгорают в пределах квартала. Какой пакет нужен, зависит от того, как часто меняются правила и входные данные.