Пилотный проект по внедрению ИИ: один сценарий на ваших данных и решение по протоколу

Пилотный проект по внедрению ИИ — это один сценарий, который работает на ваших данных рядом с людьми и принимается по критериям, записанным до первого запуска. Через 2–8 недель (лёгкий пилот) или 2–3 месяца (тяжёлый) у вас на руках протокол с цифрами и решение: вывести в эксплуатацию, доработать до даты или остановиться.

Лёгкий пилот 150 000–400 000 ₽, тяжёлый 400 000–1 200 000 ₽Критерии приёмки и условие остановки подписываются до первого запускаОстановка по протоколу тоже результат: всё сделанное остаётся у вас

Размер пилота

Пилотный проект по внедрению ИИ: лёгкий или тяжёлый, таблица выбора

Пилотный проект по внедрению ИИ бывает двух размеров, и размер определяется не амбицией, а тем, что система должна уметь к дате решения.

Что сравниваем
Лёгкий пилот
Тяжёлый пилот
Что решает выбор
Что сравниваемБюджет, срок, результат
Лёгкий пилот150 000–400 000 ₽, 2–8 недель. Протокол испытаний на ваших данных
Тяжёлый пилот400 000–1 200 000 ₽, 2–3 месяца. То же плюс интеграция с боевыми системами и регламент эксплуатации
Что решает выборЕсли для проверки нужна интеграция с боевой системой, идея велика для первого шага
Что сравниваемЧто делает системароль в процессе
Лёгкий пилотЧитает и предлагает: ответ со ссылкой, поля документа, черновик. Записывает человек
Тяжёлый пилотВыполняет шаги в системах: заводит карточки, меняет статусы, готовит документы
Что решает выборЦена ошибки: если ошибку ловит человек на следующем шаге, хватает лёгкого
Что сравниваемГде работаетконтур и доступы
Лёгкий пилотНа выборке и копии потока в вашем контуре, боевые системы только на чтение или совсем без них
Тяжёлый пилотПодключена к боевым системам отдельной учётной записью с правами, лимитами и журналом
Что решает выборЕсть ли у ваших систем интерфейс и кто согласует доступ
Что сравниваемТиповые сценарии
Лёгкий пилотОтветы по базе знаний, типовой обмен с 1С, распознавание документов на выборке
Тяжёлый пилотАгент с действиями, интеграция контура, зрение на линии, участок производственной системы
Что решает выборЕсли сценарий сразу из правой колонки, сначала пробуем его уменьшенную версию
Что сравниваемКогда останавливаемсяусловие записано до старта
Лёгкий пилотПорог не достигнут к дате решения, причина не в данных, которые быстро исправить
Тяжёлый пилотТо же, а также когда права, откат или подтверждения не удаётся описать так, чтобы приняла служба безопасности
Что решает выборУсловия подписывают обе стороны, меняют только письменно
Сценарий

Как выбирается сценарий: четыре примера сужения широкой идеи до пилота

Сценарий выбирают по проверяемости, а не по выгоде: через несколько недель должно стать ясно, работает ли идея на ваших данных. Если объём и время операции неизвестны, их сначала замеряют: так устроен аудит процессов для внедрения ИИ. Быстрый отбор описан в статье «Что автоматизировать с помощью ИИ в первую очередь». Примеры условные.

Широкая идея
Версия для пилота
Что она докажет
Что откладываем
Широкая идеяАссистент по всем регламентамидея
Версия для пилотаОдин блок регламентов, например закупки, и вопросы, которые сотрудники уже задавали в почте
Что она докажетНаходит ли нужный пункт, называет ли источник, отказывается ли, когда ответа нет
Что откладываемОстальные подразделения, права по ролям, обновление базы
Широкая идеяПриёмка всех документов в учётидея
Версия для пилотаОдин тип документа от нескольких поставщиков, три-пять полей
Что она докажетВерны ли поля и ловит ли проверка по суммам неверные значения
Что откладываемОстальные типы документов, запись в учёт без оператора
Широкая идеяАгент ведёт заявки в CRMидея
Версия для пилотаАгент разбирает входящие и предлагает карточку, записывает менеджер
Что она докажетВерно ли определены тип заявки, дубль и ответственный
Что откладываемЗапись в CRM, напоминания, коммерческие предложения
Широкая идеяПрогноз по всему ассортиментуидея
Версия для пилотаОдна товарная группа с историей за два года и отложенные недели для проверки
Что она докажетТочнее ли прогноз текущего планирования на неделях, которых модель не видела
Что откладываемОстальные группы, акции и сезонные пики
Выборка

Выборка пилота: рабочая, закрытая, свежий поток и опасные случаи

Выборка состоит из случаев вашего потока, а не из подготовленных примеров, и собирается вместе с вашим экспертом до начала настройки. Сколько случаев нужно, называем по вашим данным: размер задаёт разнообразие, а не круглое число.

Часть
Откуда берём
Для чего служит
Чего с ней делать нельзя
ЧастьРабочаяоткрыта для настройки
Откуда берёмСлучайные случаи за обычный период, включая плохие сканы и письма без темы
Для чего служитПодбор шаблонов запросов, порогов и правил, разбор ошибок
Чего с ней делать нельзяИспользовать для финального замера: цифры будут завышены
ЧастьЗакрытаяне открывается до решения
Откуда берёмОтдельная часть того же периода; эксперт размечает её независимо от рабочей
Для чего служитФинальный замер качества по категориям
Чего с ней делать нельзяПоказывать исполнителю и подгонять систему под неё
ЧастьСвежий потокдля параллельного прогона
Откуда берёмСлучаи, которые приходят во время пилота
Для чего служитПроверка на данных, которых система не видела, и расхождения с решениями людей
Чего с ней делать нельзяЗаписывать результат в учёт или отвечать клиентам
ЧастьОпасные случаидобавляются нарочно
Откуда берёмПисьмо с инструкцией внутри текста, запрос чужих данных, вопрос без ответа в базе, документ нового формата
Для чего служитПроверка границ: отказ, передача человеку, отсутствие действий вне разрешённых
Чего с ней делать нельзяСмешивать с типовыми при подсчёте долей
Проверка

Параллельный прогон на ваших примерах: как он устроен

Параллельный прогон — это работа системы рядом с людьми на свежем потоке. Сотрудник выполняет операцию как обычно, система выполняет её же, но ничего не записывает в учёт и не отправляет клиентам. Раз в неделю сравниваются два результата, и расхождения разбираются вместе с вашим экспертом.

Что фиксируется по каждому случаю

  • Результат системы, результат человека и вывод эксперта, кто из них прав.
  • Уверенность системы и то, ушёл ли случай человеку по порогу.
  • Время обработки и причина расхождения: данные, правило, модель или процесс.

Как читать расхождения

Расхождение не равно ошибке системы. В части случаев прав человек, в части система, а в части правильного ответа нет, потому что правило нигде не записано. Последняя группа самая ценная: она показывает, что нужно описать до автоматизации. Если она велика, настройка ждёт, пока эксперт запишет правило.

У тяжёлого пилота прогон дольше и завершается режимом с подтверждением. Права, подтверждения и откат для агентов описаны в статье «Как ограничить ИИ-агента».

Пример

Условный пример: пилот по накладным от карточки до решения

Условный пример без реального клиента. Числа учебные, у вас они будут другими.

Записано до старта
  • Сценарий: шесть полей из товарных накладных; оператор проверяет и записывает в учёт сам.
  • Выборка: 150 накладных из потока за три месяца, 100 рабочих и 50 закрытых.
  • Базовое значение: ручной ввод, 4 минуты на накладную.
  • Порог по качеству: номер, дата и поставщик верны не менее чем в 48 из 50 закрытых накладных; неверной суммы среди прошедших без проверки не должно быть ни одной.
  • Порог по времени: медиана с проверкой оператором не выше 2 минут.
  • Остановка: нарушен порог по сумме либо время не достигнуто после одной доработки.
Посчитано на дату решения
  • Закрытая выборка: поля верны в 49 из 50. По порогу уверенности прошла 41 накладная, неверных сумм среди них нет, остальные 9 ушли оператору.
  • Параллельный прогон: 80 свежих накладных за две недели, расхождений 11: в 6 прав человек, в 3 система, в 2 правило не описано.
  • Время: медиана с проверкой 2,5 минуты при цели 2. По разбору, девять накладных из 50 ушли оператору из-за качества сканов.
  • Решение: принято с условиями. Улучшаем предобработку сканов и повторяем замер на новых 50 накладных через три недели. Если медиана не опустится до 2 минут, сужаем сценарий до поставщиков с читаемыми сканами или останавливаемся.
После пилота

Что бывает после пилота: три исхода и что остаётся у вас

Пилот заканчивается решением владельца по протоколу, и любой из трёх исходов нормален, если записан в акте. Продолжение описано на странице вывода ИИ-пилота в эксплуатацию.

Исход
Когда выбираем
Что остаётся у вас
Что дальше и сколько стоит
ИсходВывод в эксплуатациюпороги достигнуты
Когда выбираемОбязательные нули соблюдены, владелец принимает результат
Что остаётся у васРаботающий сценарий, выборки, протокол, исходники в вашем репозитории
Что дальше и сколько стоитЭтапы по 300 000–700 000 ₽, от 1 500 000 ₽ в сумме, от 3 месяцев; у каждого своя приёмка
ИсходДоработка до датыодин порог не достигнут
Когда выбираемПричина названа и устранима, например качество сканов
Что остаётся у васПротокол с причинами и список исправлений
Что дальше и сколько стоитОдна доработка и повторный замер на новой закрытой части; второй раз без нового условия не продлеваем
ИсходОстановкапорог не достигнут
Когда выбираемПричина не в данных, которые быстро исправить; нарушен обязательный ноль; не сходится экономика
Что остаётся у васВыборки, карточка сценария и протокол: хватит для следующего кандидата или другого подрядчика
Что дальше и сколько стоитДальше ничего не покупаете: платите за сделанное по акту, вернуться можно при смене данных или объёма
Остановка

Типовые причины остановки пилота

Почему пилоты застревают после запуска, разобрано в статье «Почему ИИ-пилоты не доходят до продуктива», признаки остановки в материале «Когда останавливать пилот ИИ-проекта».

Эксперты не сошлись

Два специалиста дают разные ответы на одних и тех же случаях. Пока нет единого правила, пилот измеряет несогласие людей, а не качество системы.

Люди правят дольше, чем делали бы сами

Время с проверкой не ниже ручного: выигрыш съедают исключения и недоверие.

Экономика не сходится на объёме

Стоимость принятого результата выше ручной на рабочем потоке. На десятке примеров этого не видно.

Схема не проходит по безопасности

Данные нельзя отправлять во внешний сервис, а модель в контуре не набирает порог. Тогда меняется схема или задача.

Что делаем

Сколько стоит пилотный проект по внедрению ИИ и из чего состоит работа

Суммы взяты из тарифов. Цена внутри вилки зависит от числа систем, состояния данных и требований контура и сужается по мере уточнения требований.

Обследование перед пилотом

Если сценарий не выбран или нет цифр по процессу: замер, выбор, критерии. Вычитается из первого этапа.

200 000 ₽ · 2–3 недели

Лёгкий пилот

Один сценарий вроде ответов по базе знаний, обмена с 1С или чтения документов: карточка, выборка, параллельный прогон, протокол.

150 000–400 000 ₽ · 2–8 недель

Тяжёлый пилот

Агент с действиями или интеграция контура: к протоколу добавляются права, подтверждения, откат и регламент эксплуатации.

400 000–1 200 000 ₽ · 2–3 месяца

Вывод в эксплуатацию

Приёмка этапами, опытная эксплуатация на живом потоке, передача исходников и инструкций.

от 1 500 000 ₽ этапами по 300 000–700 000 ₽ · от 3 месяцев

Сопровождение

Замер на закрытой выборке по расписанию, обращения, доработки. Сверх пакета 5 000 ₽ в час.

20 000 / 60 000 / 120 000 ₽ в месяц
Процесс

Как идёт пилот: от карточки до решения

Неделя 0 — Карточка и критерии

Сценарий, границы, владелец, выборка, пороги и условие остановки на одной странице. Владелец подписывает её до первого кода.

Недели 1–2 — Выборка и базовое значение

Собираем случаи из потока, делим на рабочую и закрытую части, замеряем, как работа выполняется сейчас: время, доля правок, ошибки.

Настройка и первые замеры

Собираем сценарий, считаем таблицу по категориям на рабочей части, разбираем ошибки по причинам. Закрытую часть не трогаем.

Параллельный прогон на живом потоке

Система работает рядом с людьми и ничего не записывает. Раз в неделю разбираем расхождения с вашим экспертом.

Финальный замер и протокол

Один прогон на закрытой части, расчёт времени и стоимости принятого результата, сравнение с порогами.

Решение владельца

Вывести, доработать до даты или остановиться; запись в акте. У тяжёлого пилота этапы те же, но длиннее: права, подтверждения и откат добавляются после первого замера.

Контроль

Что остаётся у вас после пилота и чего мы не делаем

Остаётся у вас

  • Код сценария в вашем репозитории с первого коммита.
  • Выборки, разметка и скрипты замера: финальный прогон можно повторить без нас.
  • Карточка сценария, критерии и протокол, подписанные владельцем.
  • Развёртывание на вашем оборудовании и инструкция, по которой его можно повторить.
  • Остановиться можно после любой ступени, а всё сделанное остаётся у вас по акту.

Мы этого не делаем

  • Не показываем демонстрацию на подготовленных примерах вместо пилота.
  • Не обещаем качество и экономию до замера на ваших данных.
  • Не подгоняем порог под результат: пороги записаны до первого запуска.
  • Не выводим пилот в эксплуатацию без отдельной приёмки: это следующая ступень.
  • Лицензии ФСТЭК у нас нет, аттестацию не проводим. Дежурства 24/7 нет, работы дешевле 150 000 ₽ не берём.
Подготовка

Чек-лист: что должно быть записано до старта пилота

  • Сценарий на одной странице и процесс, к которому он относится.
  • Владелец процесса с правом принять результат и остановить пилот.
  • Выборка из реального потока, разделённая на рабочую и закрытую части.
  • Базовое значение: как выполняется работа сейчас, по журналам, а не по ощущениям.
  • Пороги и обязательные нули, названные до просмотра результатов.
  • Условие остановки и дата решения.
  • Класс данных и место, где работает модель, согласованные со службой безопасности.

Как записать пороги, обязательные нули и условия остановки так, чтобы их можно было проверить, разобрано в статье «Критерии приёмки ИИ-пилота: как поставить цели».

Материалы

Материалы по теме

Статья

Критерии приёмки ИИ-пилота: как поставить цели и пороги

Метрики с порогами, порог уверенности, доля ручной проверки, время и стоимость, критерии остановки.

  • Метрики
  • Пороги
  • Условный пример
Читать →
Статья

Когда останавливать пилот ИИ-проекта

Метрика успеха, срок решения, владелец и критерий провала, которые записывают до запуска.

  • Срок решения
  • Владелец
  • Остановка
Читать →
Статья

Почему ИИ-пилоты не доходят до продуктива

Десять причин с ранними признаками и вопросами, которые стоит задать на старте.

  • Десять причин
  • Критерии продуктива
  • Чек-лист
Читать →
Заявка

Выберем сценарий и размер пилота на ваших данных

Сорок минут созвона: какой процесс хотите проверить, какие данные и системы есть, кто примет результат. По итогам скажем, лёгкий или тяжёлый пилот вам нужен, нужен ли замер процесса до него и какая вилка бюджета.

или оставьте заявку

Спасибо, заявка отправлена. Ответим в течение рабочего дня.

Не удалось отправить. Напишите в Telegram или MAX, или позвоните.

Вопросы

Частые вопросы: пилотный проект по внедрению ИИ

Сколько стоит пилотный проект по внедрению ИИ?

Лёгкий пилот стоит 150 000–400 000 ₽ и занимает 2–8 недель, тяжёлый 400 000–1 200 000 ₽ и 2–3 месяца. Где именно в вилке окажется ваш, определяют число систем, состояние данных и требования контура. Если сценарий не выбран, перед пилотом идёт обследование за 200 000 ₽, которое вычитается из первого этапа.

Что должно быть у нас готово до старта пилота?

Владелец процесса, доступ к реальным случаям из потока и эксперт, который разметит закрытую часть. Критерии приёмки пишем вместе с вами до первого кода.

Чем пилот отличается от демонстрации?

Демонстрация показывает возможности на подготовленных примерах, и оценивают её по впечатлению. Пилот работает на случайных случаях вашего потока, с закрытой выборкой и порогами, записанными заранее, а принимают его по числам из протокола.

Можно ли провести пилот на облачной модели?

Для открытых и обезличенных данных внешний программный интерфейс возможен. Для данных ограниченного доступа облачные модели чаще не подходят по требованиям заказчика, и тогда модель работает на ваших серверах. Решение о контуре принимается до пилота и записывается в карточке сценария.

Что делать, если пилот не достиг порога?

Решение принимает владелец по правилу, записанному заранее. Если причина названа и устранима, делается одна доработка и повторный замер на новой закрытой части. Если причины не видно или она в данных, которые быстро не исправить, пилот останавливается, а выборки и протокол остаются у вас.

Сколько времени нужно нашим сотрудникам?

Владельцу процесса нужно время на карточку и решение, эксперту на разметку закрытой части и разбор расхождений раз в неделю. Точные часы называем по вашему процессу: они зависят от разнообразия случаев.

Кому принадлежит результат пилота?

Вам. Исходный код лежит в вашем репозитории с первого коммита, выборки, разметка и скрипты замера передаются по акту. Если вы остановитесь после пилота, всё сделанное останется у вас, включая протокол для другого подрядчика.

Вы работаете только в Ростове-на-Дону?

Мы в Ростове-на-Дону, работаем с заказчиками по всей России: удалённо и в вашем контуре. Доступ к системам и обследование согласуем на старте с вашей службой безопасности.