Как выбрать подрядчика по внедрению ИИ: сравнивайте не презентации, а то, что исполнитель согласен записать в договор до начала работ. Цена первой ступени, письменный критерий приёмки на вашей выборке, место обработки данных, исходники и право остановиться проверяются вопросами и бумагами, а не доверием. Если предложения не сравниваются, сначала приведите к одному виду задачу, выборку и состав работ и только потом смотрите на цену.

Ниже: как выровнять предложения, двенадцать критериев и вопросы подрядчику по внедрению ИИ в трёх таблицах (деньги и состав, качество и данные, владение и выход), порядок сравнительного обследования и пример таблицы оценки для трёх безымянных кандидатов. Критерии одинаково применимы к любому исполнителю, включая нас. Если вы ищете исполнителя для обычной программы, начните со статьи «Как выбрать подрядчика на разработку ПО». Если решаете, кого вообще брать, агентство, свою команду или фрилансера, откройте статью «ИИ-агентство, своя команда или фрилансер». Эта статья о другом: как сравнить конкретные предложения по внедрению ИИ и не ошибиться с выбором.

Коротко. Выровняйте предложения по одной задаче, одной выборке и одному составу. Проверьте двенадцать критериев письменно: ответ, который нельзя записать в договор, считайте красным флагом. Если разница неочевидна, закажите двум-трём кандидатам одинаковое платное обследование и сравните документы по таблице оценки с весами.

Как выбрать подрядчика по внедрению ИИ: сначала выровняйте предложения

Как сравнить предложения по внедрению ИИ, если они описывают разное? Два предложения на «внедрение ИИ в отдел продаж» могут быть про разные работы: одно про ассистента для менеджеров, другое про автоматическую рассылку; одно с проверкой на ваших данных, другое с показом на примерах исполнителя. Суммы таких предложений сравнивать нельзя. Перед ценой выравнивают шесть параметров.

ПараметрКак записать одинаково для всехЧто будет, если не выровнять
ЗадачаОдна операция: кто делает, как часто, сколько минут, что считается ошибкойКаждый исполнитель оценивает свою версию задачи
ВыборкаОткуда берутся примеры, сколько их, кто размечает, какая часть закрыта от настройкиКачество меряется на разном материале, и числа несопоставимы
Критерий приёмкиМетрика, порог, способ замера, кто запускаетОдин пишет «высокая точность», другой называет число; сравнивать нечего
Состав ценыЧто входит и что нет: оборудование, лицензии, внешние сервисы, часы ваших людейДешёвое предложение окажется дороже после добавления исключённых статей
ЭтапностьСтупени, у каждой цена, срок и приёмка; что остаётся у вас при остановкеОдна цена за проект скрывает, что уйти посередине нельзя
КонтурГде работает модель, что уходит наружу, какие нужны доступыОдно предложение требует облака, другое вашего контура, и сравнивается несравнимое

Отправьте всем кандидатам один и тот же запрос из шести пунктов и попросите ответить письменно. Сравнивайте ответы, а не презентации: письменный ответ можно приложить к договору, а слова на созвоне нельзя.

Деньги и состав работ: критерии 1–4

Первая группа вопросов подрядчику по внедрению ИИ отвечает на вопрос, за что именно вы платите и можно ли уйти посередине.

КритерийЧто спроситьХороший ответКрасный флаг
1. Цена первой ступениКакая сумма и какой срок фиксируются до начала, а что называется вилкой?У первой ступени цена и срок в договоре; дальше вилка, которая сужается по мере уточнения требований; выход за срок не требует доплатыТочная цена всего проекта на первом созвоне без вопросов о данных; вилка без объяснения, от чего она зависит
2. Состав работКакие результаты вы получите в конце каждой ступени, назовите их предметами?Список: документ, протокол замера, код, инструкция, выборка, регламентСостав описан общими словами вроде «настройка ИИ» без перечня результатов
3. Что вне ценыЧто оплачиваю я отдельно: оборудование, лицензии, внешние сервисы, время своих сотрудников?Перечень статей с владельцем каждой; конфигурация оборудования рассчитана до закупкиПеречень не назван; оборудование «включено» без расчёта нагрузки
4. Этапы и остановкаМожно ли остановиться после любого этапа и что останется у меня?У этапа своя цена и приёмка; остановка не лишает сделанного, результаты передаются по актуОдна цена за проект и передача результатов «после полной оплаты»

Качество и данные: критерии 5–8

Вторая группа проверяет, как исполнитель собирается доказывать, что система работает, и где при этом окажутся ваши данные.

КритерийЧто спроситьХороший ответКрасный флаг
5. Письменный критерий приёмкиКакая метрика, какой порог и как замер повторит наш сотрудник без вас?Критерий записан до начала работ; замер запускает ваш сотрудник по инструкции на закрытой части выборки«Высокая точность», «по итогам демонстрации»; число, которое вы не можете воспроизвести
6. Проверка на вашей выборкеКто собирает выборку и размечает её, какая часть закрыта от настройки?Выборка из ваших реальных данных, разметка ваших специалистов, часть выборки исполнитель при настройке не видитПроверка на примерах исполнителя или на открытых наборах данных
7. Где обрабатываются данныеГде физически работает модель и что уходит за периметр?Схема потоков данных; для данных ограниченного доступа система работает в вашем контуре; исключения перечислены письменноФраза «всё безопасно» без схемы; обработка у исполнителя без вашего решения
8. Неуверенность и ошибкаЧто делает система, когда не уверена, и как исправляются ошибки?Порог записан и настраивается, спорное уходит человеку, исправленные случаи пополняют выборку, ведётся журналВопрос не обсуждался; обещание, что модель не ошибается

Владение, люди и выход: критерии 9–12

Третья группа отвечает на вопрос, что будет, когда проект закончится или исполнитель исчезнет.

КритерийЧто спроситьХороший ответКрасный флаг
9. Исходники и праваВ чьём репозитории код с первого коммита и что передаётся по акту: код, настройки модели, промпты, выборка?Репозиторий в вашем аккаунте; перечень передаваемого; список лицензий открытых компонентовАрхив в конце; закрытый каркас, без которого систему не запустить
10. Кто отвечает за качествоКто назван ответственным за качество до приёмки и кто будет им после запуска?Роли записаны: у вас владелец качества, у исполнителя ответственный за ступеньОтветственность «на команде»; после запуска метрики никто не смотрит
11. Люди и субподрядКто работает на проекте, как происходит замена и привлекаются ли субподрядчики?Роли и имена, правило замены; субподряд только с вашего согласия и с тем же режимом для данныхПродаёт один человек, делает другой; «команда экспертов» без имён
12. Сопровождение и выходКто сопровождает после запуска, сколько часов, какая реакция, что будет, если вы захотите уйти?Пакет часов, время реакции и цена названы; документации достаточно, чтобы передать систему другому исполнителюСопровождение «по запросу» без цены; без исполнителя система не поднимается

Сравнительное обследование: как выбрать подрядчика по внедрению ИИ, если предложения похожи

Когда письменные ответы выглядят одинаково, разницу показывает работа. Сравнительное обследование — это одна и та же задача для двух-трёх кандидатов на одинаковых условиях, оплаченная каждому. Платность важна: бесплатный «пилот» мотивирует показать красивое, а не честное.

ШагЧто вы делаетеНа что смотрите
1. ПакетГотовите описание операции, 30–50 обезличенных примеров входных данных, список систем и срок в 2–3 неделиВсе получают один и тот же пакет; персональные данные закрыты, соглашение о неразглашении подписано до передачи
2. ВопросыОтвечаете на вопросы кандидатов письменно и пересылаете ответ всемО чём спрашивают: об ошибках, данных и владельце процесса или сразу о решении
3. ДокументКаждый сдаёт карту процесса, критерий приёмки, оценку по ступеням и список допущенийСовпадает ли описание с реальностью; названы ли границы и то, чего исполнитель не знает
4. РазборВстреча с каждым, одни и те же вопросы из двенадцати критериевГотов ли исполнитель записать критерий и право остановиться
5. ОценкаСводите документы в одну таблицу с весамиРешают критерии, которые позже не исправить

Что не нарушать

  • Платите всем кандидатам одинаково и одновременно.
  • Давайте один набор данных и один срок. Преимущество одному кандидату делает сравнение бессмысленным.
  • Не пересылайте цены и документы одних кандидатов другим.
  • Реальные персональные данные и коммерческие тайны не передавайте: нужны обезличенные примеры, похожие на настоящие.

Условный пример: таблица оценки трёх предложений

Условный пример без реальных компаний. Три безымянных кандидата, А, Б и В, прошли сравнительное обследование. Вес критерия от 1 до 3 вы назначаете до чтения документов. Оценка кандидата: 0, если ответа нет или его нельзя записать в договор, 1, если ответ частичный, 2, если полный и записан.

КритерийВесАБВ
Цена первой ступени2210
Критерий приёмки3211
Проверка на вашей выборке3201
Где обрабатываются данные3122
Исходники и права2220
Право остановиться2210
Сопровождение1121
Люди и субподряд1112
Сумма вес × оценка, максимум 34292015

Читайте результат так. Кандидат А впереди за счёт критериев, которые позже не исправить: приёмка, выборка, исходники. Кандидату Б можно вернуть документ на уточнение, если он готов записать критерий и проверку на вашей выборке: там у него 1 и 0. Кандидат В сильнее всех по людям, но нули по исходникам и праву остановиться делают его выбор опасным независимо от суммы.

Правило исключения: ноль по критерию, который вы считаете обязательным, снимает кандидата, сколько бы очков он ни набрал по остальным. Цену в таблицу кладите отдельной строкой с небольшим весом: сравнивать суммы имеет смысл, когда составы выровнены.

Если предложение одно или выбирать пока рано

Как выбрать компанию для внедрения ИИ, если предложение одно? Так бывает, когда исполнителя рекомендовали или когда времени на сравнение нет. Тогда используйте двенадцать критериев как анкету. Отправьте её письменно и попросите приложить к договору те ответы, которые вы считаете обязательными. Если оценить ответы самостоятельно трудно, разбор можно поручить независимому консультанту. Такая работа есть и в нашем консалтинге по внедрению ИИ, цену называем на созвоне.

Выбирать исполнителя рано, если никто у вас не отвечает за процесс или задача описана одной фразой. В этом случае первая ступень нужна не для выбора, а для описания: пусть это будет обследование с фиксированной ценой и документом, которым можно пользоваться с любым исполнителем. Платить за проект целиком до такого документа не нужно.

Что делаем мы и с чего начать

Мы — заинтересованная сторона, поэтому применяйте эти критерии и к нам. Что записывается в договор у нас: цена и срок обследования, критерий приёмки до начала работ, исходники в вашем репозитории с первого коммита, право остановиться после любой ступени, место обработки данных по требованиям вашего контура. Чего у нас нет: круглосуточного дежурства, лицензии ФСТЭК и внедрения систем предприятия целиком. Об этом мы говорим до договора. О том, как мы устроены, написано на странице ИИ-агентство.

Первая ступень у нас — обследование: от 200 000 ₽ и 2–3 недели за один-два процесса, дороже и дольше за несколько систем и производство. Если вы продолжаете с нами, оно засчитывается в первый этап. Документ написан так, чтобы им можно было пользоваться без нас: с ним можно идти к другим исполнителям и сравнивать предложения по тем же критериям. Когда выбор сделан, шаги заказа расписаны на странице «Заказать внедрение ИИ в бизнес», а суммы ступеней сверяйте с тарифами.

Частые вопросы

Как выбрать подрядчика по внедрению ИИ, если у всех кандидатов кейсы закрыты?

Кейсы под соглашениями о неразглашении проверить нельзя, и их отсутствие не признак слабости. Смотрите на то, что кандидат готов записать: критерий приёмки, место обработки данных, исходники, право остановиться. И на то, какие вопросы он задаёт про ваши данные и ошибки.

Сколько предложений стоит собрать?

Два-три. Каждое следующее добавляет работу по выравниванию и почти ничего не добавляет к пониманию. Если разница между двумя финалистами неочевидна, лучше заказать им сравнительное обследование, чем собирать пятое предложение.

Нужно ли платить за сравнительное обследование всем кандидатам?

Да. Платная работа делает сравнение честным: исполнитель не вынужден продавать следующий этап, чтобы окупить бесплатную работу. Условия одинаковы для всех: один пакет данных, один срок, одни вопросы.

Можно ли выбирать по цене?

Только после выравнивания составов. Дешёвое предложение часто просто короче: в нём нет выборки, приёмки или передачи исходников. Цену ставьте в таблицу оценки отдельной строкой с небольшим весом и сравнивайте её, когда остальные строки сопоставимы.

Как проверить подрядчика, если у нас нет своего ИИ-специалиста?

Опирайтесь на письменные ответы по двенадцати критериям и назначьте владельца качества: достаточно человека, который понимает, как замеряется результат на выборке. При необходимости закажите независимый разбор предложения в рамках консалтинга.

Какие вопросы задать подрядчику на первом звонке?

Четыре. Что вы будете измерять и на какой выборке? Что останется у нас, если мы остановимся после первой ступени? Где работает модель и что уходит за периметр? Какие задачи вы не возьмёте? По ответам видно, понимает ли исполнитель вашу задачу.

Что делать, если подрядчик не хочет записывать критерий приёмки?

Считать это красным флагом. Число порога можно утвердить после первого замера на вашей выборке, но способ его получения и срок утверждения записываются сразу. Если исполнитель отказывается и от этого, приёмка превратится в спор о впечатлениях.

Можно ли проверить вас по этим же критериям?

Нужно. Мы небольшая инженерная команда и заинтересованная сторона. Часть ответов записана в наших публичных условиях: цена и срок обследования, критерий приёмки до начала работ, исходники с первого коммита, право остановиться. По остальным критериям мы отвечаем письменно по запросу, и задать эти вопросы нам стоит так же, как остальным кандидатам.