Эксперты не сошлись
Два специалиста дают разные ответы на одних и тех же случаях. Пока нет единого правила, пилот измеряет несогласие людей, а не качество системы.
Пилотный проект по внедрению ИИ — это один сценарий, который работает на ваших данных рядом с людьми и принимается по критериям, записанным до первого запуска. Через 2–8 недель (лёгкий пилот) или 2–3 месяца (тяжёлый) у вас на руках протокол с цифрами и решение: вывести в эксплуатацию, доработать до даты или остановиться.
Лёгкий пилот 150 000–400 000 ₽, тяжёлый 400 000–1 200 000 ₽Критерии приёмки и условие остановки подписываются до первого запускаОстановка по протоколу тоже результат: всё сделанное остаётся у вас
Пилотный проект по внедрению ИИ бывает двух размеров, и размер определяется не амбицией, а тем, что система должна уметь к дате решения.
Сценарий выбирают по проверяемости, а не по выгоде: через несколько недель должно стать ясно, работает ли идея на ваших данных. Если объём и время операции неизвестны, их сначала замеряют: так устроен аудит процессов для внедрения ИИ. Быстрый отбор описан в статье «Что автоматизировать с помощью ИИ в первую очередь». Примеры условные.
Выборка состоит из случаев вашего потока, а не из подготовленных примеров, и собирается вместе с вашим экспертом до начала настройки. Сколько случаев нужно, называем по вашим данным: размер задаёт разнообразие, а не круглое число.
Параллельный прогон — это работа системы рядом с людьми на свежем потоке. Сотрудник выполняет операцию как обычно, система выполняет её же, но ничего не записывает в учёт и не отправляет клиентам. Раз в неделю сравниваются два результата, и расхождения разбираются вместе с вашим экспертом.
Расхождение не равно ошибке системы. В части случаев прав человек, в части система, а в части правильного ответа нет, потому что правило нигде не записано. Последняя группа самая ценная: она показывает, что нужно описать до автоматизации. Если она велика, настройка ждёт, пока эксперт запишет правило.
У тяжёлого пилота прогон дольше и завершается режимом с подтверждением. Права, подтверждения и откат для агентов описаны в статье «Как ограничить ИИ-агента».
Условный пример без реального клиента. Числа учебные, у вас они будут другими.
Пилот заканчивается решением владельца по протоколу, и любой из трёх исходов нормален, если записан в акте. Продолжение описано на странице вывода ИИ-пилота в эксплуатацию.
Почему пилоты застревают после запуска, разобрано в статье «Почему ИИ-пилоты не доходят до продуктива», признаки остановки в материале «Когда останавливать пилот ИИ-проекта».
Два специалиста дают разные ответы на одних и тех же случаях. Пока нет единого правила, пилот измеряет несогласие людей, а не качество системы.
Время с проверкой не ниже ручного: выигрыш съедают исключения и недоверие.
Стоимость принятого результата выше ручной на рабочем потоке. На десятке примеров этого не видно.
Данные нельзя отправлять во внешний сервис, а модель в контуре не набирает порог. Тогда меняется схема или задача.
Суммы взяты из тарифов. Цена внутри вилки зависит от числа систем, состояния данных и требований контура и сужается по мере уточнения требований.
Если сценарий не выбран или нет цифр по процессу: замер, выбор, критерии. Вычитается из первого этапа.
Один сценарий вроде ответов по базе знаний, обмена с 1С или чтения документов: карточка, выборка, параллельный прогон, протокол.
Агент с действиями или интеграция контура: к протоколу добавляются права, подтверждения, откат и регламент эксплуатации.
Приёмка этапами, опытная эксплуатация на живом потоке, передача исходников и инструкций.
Замер на закрытой выборке по расписанию, обращения, доработки. Сверх пакета 5 000 ₽ в час.
Сценарий, границы, владелец, выборка, пороги и условие остановки на одной странице. Владелец подписывает её до первого кода.
Собираем случаи из потока, делим на рабочую и закрытую части, замеряем, как работа выполняется сейчас: время, доля правок, ошибки.
Собираем сценарий, считаем таблицу по категориям на рабочей части, разбираем ошибки по причинам. Закрытую часть не трогаем.
Система работает рядом с людьми и ничего не записывает. Раз в неделю разбираем расхождения с вашим экспертом.
Один прогон на закрытой части, расчёт времени и стоимости принятого результата, сравнение с порогами.
Вывести, доработать до даты или остановиться; запись в акте. У тяжёлого пилота этапы те же, но длиннее: права, подтверждения и откат добавляются после первого замера.
Как записать пороги, обязательные нули и условия остановки так, чтобы их можно было проверить, разобрано в статье «Критерии приёмки ИИ-пилота: как поставить цели».
Метрики с порогами, порог уверенности, доля ручной проверки, время и стоимость, критерии остановки.
Метрика успеха, срок решения, владелец и критерий провала, которые записывают до запуска.
Десять причин с ранними признаками и вопросами, которые стоит задать на старте.
Лёгкий пилот стоит 150 000–400 000 ₽ и занимает 2–8 недель, тяжёлый 400 000–1 200 000 ₽ и 2–3 месяца. Где именно в вилке окажется ваш, определяют число систем, состояние данных и требования контура. Если сценарий не выбран, перед пилотом идёт обследование за 200 000 ₽, которое вычитается из первого этапа.
Владелец процесса, доступ к реальным случаям из потока и эксперт, который разметит закрытую часть. Критерии приёмки пишем вместе с вами до первого кода.
Демонстрация показывает возможности на подготовленных примерах, и оценивают её по впечатлению. Пилот работает на случайных случаях вашего потока, с закрытой выборкой и порогами, записанными заранее, а принимают его по числам из протокола.
Для открытых и обезличенных данных внешний программный интерфейс возможен. Для данных ограниченного доступа облачные модели чаще не подходят по требованиям заказчика, и тогда модель работает на ваших серверах. Решение о контуре принимается до пилота и записывается в карточке сценария.
Решение принимает владелец по правилу, записанному заранее. Если причина названа и устранима, делается одна доработка и повторный замер на новой закрытой части. Если причины не видно или она в данных, которые быстро не исправить, пилот останавливается, а выборки и протокол остаются у вас.
Владельцу процесса нужно время на карточку и решение, эксперту на разметку закрытой части и разбор расхождений раз в неделю. Точные часы называем по вашему процессу: они зависят от разнообразия случаев.
Вам. Исходный код лежит в вашем репозитории с первого коммита, выборки, разметка и скрипты замера передаются по акту. Если вы остановитесь после пилота, всё сделанное останется у вас, включая протокол для другого подрядчика.
Мы в Ростове-на-Дону, работаем с заказчиками по всей России: удалённо и в вашем контуре. Доступ к системам и обследование согласуем на старте с вашей службой безопасности.