Как оценить автоматизацию после запуска? Сравнить пять метрик с замером «до»: долю случаев, которые система закрыла без человека, время цикла, ошибки на проверенной выборке, ручные правки и обращения сотрудников. Смотреть их стоит три раза: через 2, 6 и 12 недель. На второй неделе вопрос в том, работает ли система в живом потоке, на шестой — держится ли качество, когда новизна прошла, на двенадцатой — окупается ли она и что делать дальше.
Без замера «до» оценка превращается в разговор о впечатлениях, а без порога тревоги, записанного заранее, любое значение можно объяснить. Ниже что записать до запуска, таблица метрик с порогами, план на 2, 6 и 12 недель, условный пример, разбор ручных правок и условия неудачи. Расчёт эффекта в часах и деньгах разобран в статье «Как посчитать эффект от автоматизации», здесь только то, что смотреть после запуска.
Что записать до запуска, чтобы оценка была возможна
Оценить после запуска можно только то, что описано до него. Нужны четыре вещи.
- Замер «до». Время цикла, доля ошибок и число случаев за четыре недели по журналам и выборке из 20–30 случаев.
- Определения. Что такое «обработано автоматически», «ошибка» и «ручная правка», письменно и одинаково для всех, кто считает.
- Пороги тревоги. Значения, при которых вы реагируете. Их назначает владелец процесса до запуска, а не после того, как видны результаты.
- Условие неудачи. Что значит «не получилось»: порог и срок, после которого автоматизацию сужают или останавливают.
Пять метрик: как оценить автоматизацию после запуска и где порог тревоги
Общих значений порогов здесь нет: они зависят от доли исключений и цены ошибки в вашем процессе и записываются по вашей выборке. В таблице правило, по которому порог срабатывает. Доля обработанных автоматически обозначена a, как в статье про расчёт эффекта.
| Метрика | Как считать | Порог тревоги | Откуда данные |
|---|---|---|---|
| Доля обработанных автоматически (a) | Случаи, закрытые системой без запроса к человеку, делённые на все случаи за неделю | Ниже значения приёмки две недели подряд или снижение три недели подряд | Журнал системы |
| Время цикла | Медиана от поступления до результата отдельно для автоматических случаев и для ушедших человеку, плюс самые долгие случаи | Медиана выше замера «до» или хвост самых долгих растёт | Журнал и очередь исключений |
| Ошибки | Доля неверных результатов на случайной выборке в 30–50 случаев в неделю, проверенной человеком; критичные отдельно | Выше допуска приёмки; критичная ошибка разбирается в тот же день | Недельная выборка |
| Ручные правки | Доля результатов, изменённых сотрудником после системы, по видам правок | Рост три недели подряд или скопление на одном виде случаев | Журнал изменений |
| Обращения сотрудников | Число вопросов и жалоб на процесс в неделю | К шестой неделе не снижается; всплеск после смены правила или версии | Чат поддержки, почта |
| Очередь исключений (дополнительная) | Случаи, ждущие человека, и возраст самого старого | Старейший случай старше срока из регламента или очередь растёт при том же потоке | Очередь системы |
Как оценить автоматизацию после запуска через 2, 6 и 12 недель
| Срок | Главный вопрос | Что смотрим | Решение |
|---|---|---|---|
| 2 недели | Работает ли система в живом потоке | Остановки и сбои, близость доли a к прогону на выборке, отсутствие критичных ошибок, понимают ли исполнители, что делать с исключениями | Чинить мелочи, правила без записи не менять, расширять рано |
| 6 недель | Держится ли качество, когда прошла новизна | Тренд правок и обращений, время цикла, пересчёт эффекта по журналу | Зафиксировать пороги, решить, нужен ли следующий участок |
| 12 недель | Окупается ли и что дальше | Все метрики против замера «до», часы владельца и поддержки, расходы на сопровождение | Расширить, оставить как есть, сузить или остановить |
Условный пример: маршрутизация обращений в сервисной службе за 12 недель
Условный пример без реального клиента. Сервисная служба получает 100 обращений в неделю, система определяет тему и ответственного. Замер «до»: медиана от поступления до назначения 50 минут, неверных назначений 8 на 100 случаев.
| Срок | Закрыто системой (из 100) | Медиана цикла, минут | Ошибок на 100 | Правок на 100 результатов системы | Обращений сотрудников в неделю |
|---|---|---|---|---|---|
| До запуска | нет | 50 | 8 | нет | нет |
| 2 недели | 55 | 22 | 7 | 14 | 9 |
| 6 недель | 68 | 15 | 4 | 9 | 3 |
| 12 недель | 71 | 14 | 4 | 8 | 2 |
На второй неделе система работает, но 14 правок и девять обращений говорят, что сотрудники ей пока не доверяют. К шестой правки и обращения упали при растущей доле: качество держится. К двенадцатой доля вышла на плато и без пересмотра правил для исключений дальше не вырастет; это нормальный итог, если освобождённые часы покрывают сопровождение. Плохой сценарий выглядел бы иначе: доля растёт, а правки растут вместе с ней, то есть система берёт случаи, с которыми не справляется.
Как сравнивать с замером «до» и не обмануть себя
- Другой период. Замер «до» сделан в обычный месяц, а запуск пришёлся на сезонный пик. Сравнивайте сопоставимые недели.
- Другое определение. Раньше «ошибкой» считали жалобу клиента, теперь считают любую правку. Определения фиксируются до запуска и потом не меняются.
- Перенос работы. Время освободилось у одного участка, но выросло у соседнего: проверку результата перенесли смежникам. Считайте время всей цепочки.
- Эффект новизны. Первые недели сотрудники присматривают за системой внимательнее обычного. К шестой внимание падает, и скрытые ошибки всплывают, поэтому нужна точка на шестой неделе.
Как понять, что автоматизация работает, и кто смотрит метрики
Цифры подтверждаются поведением людей. Живые признаки: исполнители не ведут параллельную таблицу «на всякий случай», очередь исключений разбирается в срок, вопросы к владельцу сменились с «почему так» на «давайте добавим правило», изменения правил идут через владельца, а не через личные просьбы к разработчику. Тревожные признаки: результат копируют в свою таблицу и перепроверяют руками, правки делают молча, часть потока идёт мимо системы по неформальному порядку.
Ритм такой: владелец процесса смотрит метрики еженедельно первые шесть недель и раз в две недели после, а на двенадцатой неделе итог с решением «расширить, оставить, сузить или остановить» уходит руководителю. Выборку для проверки ошибок готовит система, проверяет её тот, кто знает правильный ответ.
Ручные правки: как отличить ошибку системы от изменения правила
| Причина правки | Как отличить | Что делаем |
|---|---|---|
| Ошибка правила или модели | Одна и та же правка повторяется на похожих случаях | Меняем правило или дообучаем на примерах, прогоняем проверочную выборку |
| Изменился вход | Поле, формат письма или справочник стали другими | Чиним источник или проверку входа, новую форму добавляем в выборку |
| Изменилось правило бизнеса | Новая политика, цена, регион | Владелец меняет правило с датой, старые случаи не пересчитываем |
| Предпочтение сотрудника | На одинаковых случаях разные люди правят по-разному | Владелец выбирает стандарт; до этого правка не считается ошибкой |
За качеством самой модели (смещение входных данных, откат версии, оповещения) следят отдельно: слои такого мониторинга описаны в статье «Как следить за моделью в продакшене». Здесь только метрики процесса.
Когда признавать неудачу и что делать
Условие неудачи записывается до запуска. Его применяют, если:
- порог по доле или по ошибкам не достигнут на шестой неделе, а разбор правок не показал быстрых исправлений;
- часы на правки, исключения и сопровождение не меньше часов, которые система освобождает;
- критичная ошибка повторилась после исправления;
- сотрудники обходят систему, а владелец не выделяет время на разбор.
Решений четыре: сузить область до типовой части, вернуть ручной порядок с сохранением данных, заменить модель обычным правилом или остановить и записать выводы. Остановка по записанному условию на шестой неделе дешевле незаписанного «подождём ещё месяц»; как отличить застрявший пилот от того, которому нужно немного времени, описано в статье «Когда останавливать пилот ИИ-проекта».
Что делаем мы и с чего начать
Метрики, замер «до» и пороги тревоги записываем в критерии приёмки до начала работ: на обследовании снимаем замер, в пилоте проверяем систему на вашей выборке, а на второй, шестой и двенадцатой неделях после запуска предлагаем сверку по записанным метрикам. Обследование стоит 200 000 ₽ за один-два процесса (2–3 недели) и 350 000 ₽ при нескольких системах; сумма вычитается из первого этапа.
После запуска метрики, разбор правок и обновление правил идут в рамках сопровождения: пакеты 20 000, 60 000 и 120 000 ₽ в месяц на 4, 12 и 25 часов, сверх пакета 5 000 ₽ в час, часы не сгорают в пределах квартала. Остальные ступени и условия остановки собраны на странице тарифов.
Частые вопросы
Как оценить автоматизацию после запуска, если замера «до» нет?
Восстановите его по журналам за недели до запуска: число случаев, время обработки, ошибки на выборке из 20–30 случаев. Если журналов нет, считайте первый месяц точкой отсчёта и пометьте, что сравнение с прежним порядком приблизительное.
Через сколько недель после запуска делать вывод?
Первый вывод через 2 недели: работает ли система в потоке. Основной через 6: держится ли качество после новизны. Решение о расширении или остановке через 12. О качестве раньше шестой недели судить рано.
Какие метрики автоматизации процесса считать главными?
Долю обработанных автоматически и ошибки на проверенной выборке. Время цикла, ручные правки и обращения сотрудников объясняют причину изменений, а очередь исключений показывает, не копится ли работа у человека.
Как понять, что автоматизация работает, а не просто включена?
По поведению: исполнители не ведут параллельную таблицу, очередь исключений разбирается в срок, правки не растут, правила меняются через владельца процесса.
Какой порог доли автоматической обработки считать нормальным?
Общего значения нет: оно зависит от доли исключений в вашем процессе и записывается в приёмку по выборке. Тревожит не низкое значение само по себе, а падение или рост доли вместе с ручными правками.
Что делать, если метрики хуже, чем до запуска?
Остановить расширение, найти причину по правкам и исключениям, сузить область до типовой части или вернуть ручной порядок с сохранением данных. Решение принимает владелец по условию, записанному заранее.
Кто должен смотреть метрики после запуска?
Владелец процесса, а не ИТ: он отвечает за результат. Первые шесть недель еженедельно, затем реже. Разбор правок и обновление правил можно передать на сопровождение.
Сколько стоит сопровождение, в которое входят метрики?
Пакеты 20 000, 60 000 и 120 000 ₽ в месяц на 4, 12 и 25 часов, сверх пакета 5 000 ₽ в час, часы не сгорают в пределах квартала. Какой пакет нужен, зависит от того, как часто меняются правила и входные данные.