Как выбрать подрядчика по внедрению ИИ: сравнивайте не презентации, а то, что исполнитель согласен записать в договор до начала работ. Цена первой ступени, письменный критерий приёмки на вашей выборке, место обработки данных, исходники и право остановиться проверяются вопросами и бумагами, а не доверием. Если предложения не сравниваются, сначала приведите к одному виду задачу, выборку и состав работ и только потом смотрите на цену.
Ниже: как выровнять предложения, двенадцать критериев и вопросы подрядчику по внедрению ИИ в трёх таблицах (деньги и состав, качество и данные, владение и выход), порядок сравнительного обследования и пример таблицы оценки для трёх безымянных кандидатов. Критерии одинаково применимы к любому исполнителю, включая нас. Если вы ищете исполнителя для обычной программы, начните со статьи «Как выбрать подрядчика на разработку ПО». Если решаете, кого вообще брать, агентство, свою команду или фрилансера, откройте статью «ИИ-агентство, своя команда или фрилансер». Эта статья о другом: как сравнить конкретные предложения по внедрению ИИ и не ошибиться с выбором.
Как выбрать подрядчика по внедрению ИИ: сначала выровняйте предложения
Как сравнить предложения по внедрению ИИ, если они описывают разное? Два предложения на «внедрение ИИ в отдел продаж» могут быть про разные работы: одно про ассистента для менеджеров, другое про автоматическую рассылку; одно с проверкой на ваших данных, другое с показом на примерах исполнителя. Суммы таких предложений сравнивать нельзя. Перед ценой выравнивают шесть параметров.
| Параметр | Как записать одинаково для всех | Что будет, если не выровнять |
|---|---|---|
| Задача | Одна операция: кто делает, как часто, сколько минут, что считается ошибкой | Каждый исполнитель оценивает свою версию задачи |
| Выборка | Откуда берутся примеры, сколько их, кто размечает, какая часть закрыта от настройки | Качество меряется на разном материале, и числа несопоставимы |
| Критерий приёмки | Метрика, порог, способ замера, кто запускает | Один пишет «высокая точность», другой называет число; сравнивать нечего |
| Состав цены | Что входит и что нет: оборудование, лицензии, внешние сервисы, часы ваших людей | Дешёвое предложение окажется дороже после добавления исключённых статей |
| Этапность | Ступени, у каждой цена, срок и приёмка; что остаётся у вас при остановке | Одна цена за проект скрывает, что уйти посередине нельзя |
| Контур | Где работает модель, что уходит наружу, какие нужны доступы | Одно предложение требует облака, другое вашего контура, и сравнивается несравнимое |
Отправьте всем кандидатам один и тот же запрос из шести пунктов и попросите ответить письменно. Сравнивайте ответы, а не презентации: письменный ответ можно приложить к договору, а слова на созвоне нельзя.
Деньги и состав работ: критерии 1–4
Первая группа вопросов подрядчику по внедрению ИИ отвечает на вопрос, за что именно вы платите и можно ли уйти посередине.
| Критерий | Что спросить | Хороший ответ | Красный флаг |
|---|---|---|---|
| 1. Цена первой ступени | Какая сумма и какой срок фиксируются до начала, а что называется вилкой? | У первой ступени цена и срок в договоре; дальше вилка, которая сужается по мере уточнения требований; выход за срок не требует доплаты | Точная цена всего проекта на первом созвоне без вопросов о данных; вилка без объяснения, от чего она зависит |
| 2. Состав работ | Какие результаты вы получите в конце каждой ступени, назовите их предметами? | Список: документ, протокол замера, код, инструкция, выборка, регламент | Состав описан общими словами вроде «настройка ИИ» без перечня результатов |
| 3. Что вне цены | Что оплачиваю я отдельно: оборудование, лицензии, внешние сервисы, время своих сотрудников? | Перечень статей с владельцем каждой; конфигурация оборудования рассчитана до закупки | Перечень не назван; оборудование «включено» без расчёта нагрузки |
| 4. Этапы и остановка | Можно ли остановиться после любого этапа и что останется у меня? | У этапа своя цена и приёмка; остановка не лишает сделанного, результаты передаются по акту | Одна цена за проект и передача результатов «после полной оплаты» |
Качество и данные: критерии 5–8
Вторая группа проверяет, как исполнитель собирается доказывать, что система работает, и где при этом окажутся ваши данные.
| Критерий | Что спросить | Хороший ответ | Красный флаг |
|---|---|---|---|
| 5. Письменный критерий приёмки | Какая метрика, какой порог и как замер повторит наш сотрудник без вас? | Критерий записан до начала работ; замер запускает ваш сотрудник по инструкции на закрытой части выборки | «Высокая точность», «по итогам демонстрации»; число, которое вы не можете воспроизвести |
| 6. Проверка на вашей выборке | Кто собирает выборку и размечает её, какая часть закрыта от настройки? | Выборка из ваших реальных данных, разметка ваших специалистов, часть выборки исполнитель при настройке не видит | Проверка на примерах исполнителя или на открытых наборах данных |
| 7. Где обрабатываются данные | Где физически работает модель и что уходит за периметр? | Схема потоков данных; для данных ограниченного доступа система работает в вашем контуре; исключения перечислены письменно | Фраза «всё безопасно» без схемы; обработка у исполнителя без вашего решения |
| 8. Неуверенность и ошибка | Что делает система, когда не уверена, и как исправляются ошибки? | Порог записан и настраивается, спорное уходит человеку, исправленные случаи пополняют выборку, ведётся журнал | Вопрос не обсуждался; обещание, что модель не ошибается |
Владение, люди и выход: критерии 9–12
Третья группа отвечает на вопрос, что будет, когда проект закончится или исполнитель исчезнет.
| Критерий | Что спросить | Хороший ответ | Красный флаг |
|---|---|---|---|
| 9. Исходники и права | В чьём репозитории код с первого коммита и что передаётся по акту: код, настройки модели, промпты, выборка? | Репозиторий в вашем аккаунте; перечень передаваемого; список лицензий открытых компонентов | Архив в конце; закрытый каркас, без которого систему не запустить |
| 10. Кто отвечает за качество | Кто назван ответственным за качество до приёмки и кто будет им после запуска? | Роли записаны: у вас владелец качества, у исполнителя ответственный за ступень | Ответственность «на команде»; после запуска метрики никто не смотрит |
| 11. Люди и субподряд | Кто работает на проекте, как происходит замена и привлекаются ли субподрядчики? | Роли и имена, правило замены; субподряд только с вашего согласия и с тем же режимом для данных | Продаёт один человек, делает другой; «команда экспертов» без имён |
| 12. Сопровождение и выход | Кто сопровождает после запуска, сколько часов, какая реакция, что будет, если вы захотите уйти? | Пакет часов, время реакции и цена названы; документации достаточно, чтобы передать систему другому исполнителю | Сопровождение «по запросу» без цены; без исполнителя система не поднимается |
Сравнительное обследование: как выбрать подрядчика по внедрению ИИ, если предложения похожи
Когда письменные ответы выглядят одинаково, разницу показывает работа. Сравнительное обследование — это одна и та же задача для двух-трёх кандидатов на одинаковых условиях, оплаченная каждому. Платность важна: бесплатный «пилот» мотивирует показать красивое, а не честное.
| Шаг | Что вы делаете | На что смотрите |
|---|---|---|
| 1. Пакет | Готовите описание операции, 30–50 обезличенных примеров входных данных, список систем и срок в 2–3 недели | Все получают один и тот же пакет; персональные данные закрыты, соглашение о неразглашении подписано до передачи |
| 2. Вопросы | Отвечаете на вопросы кандидатов письменно и пересылаете ответ всем | О чём спрашивают: об ошибках, данных и владельце процесса или сразу о решении |
| 3. Документ | Каждый сдаёт карту процесса, критерий приёмки, оценку по ступеням и список допущений | Совпадает ли описание с реальностью; названы ли границы и то, чего исполнитель не знает |
| 4. Разбор | Встреча с каждым, одни и те же вопросы из двенадцати критериев | Готов ли исполнитель записать критерий и право остановиться |
| 5. Оценка | Сводите документы в одну таблицу с весами | Решают критерии, которые позже не исправить |
Что не нарушать
- Платите всем кандидатам одинаково и одновременно.
- Давайте один набор данных и один срок. Преимущество одному кандидату делает сравнение бессмысленным.
- Не пересылайте цены и документы одних кандидатов другим.
- Реальные персональные данные и коммерческие тайны не передавайте: нужны обезличенные примеры, похожие на настоящие.
Условный пример: таблица оценки трёх предложений
Условный пример без реальных компаний. Три безымянных кандидата, А, Б и В, прошли сравнительное обследование. Вес критерия от 1 до 3 вы назначаете до чтения документов. Оценка кандидата: 0, если ответа нет или его нельзя записать в договор, 1, если ответ частичный, 2, если полный и записан.
| Критерий | Вес | А | Б | В |
|---|---|---|---|---|
| Цена первой ступени | 2 | 2 | 1 | 0 |
| Критерий приёмки | 3 | 2 | 1 | 1 |
| Проверка на вашей выборке | 3 | 2 | 0 | 1 |
| Где обрабатываются данные | 3 | 1 | 2 | 2 |
| Исходники и права | 2 | 2 | 2 | 0 |
| Право остановиться | 2 | 2 | 1 | 0 |
| Сопровождение | 1 | 1 | 2 | 1 |
| Люди и субподряд | 1 | 1 | 1 | 2 |
| Сумма вес × оценка, максимум 34 | 29 | 20 | 15 |
Читайте результат так. Кандидат А впереди за счёт критериев, которые позже не исправить: приёмка, выборка, исходники. Кандидату Б можно вернуть документ на уточнение, если он готов записать критерий и проверку на вашей выборке: там у него 1 и 0. Кандидат В сильнее всех по людям, но нули по исходникам и праву остановиться делают его выбор опасным независимо от суммы.
Правило исключения: ноль по критерию, который вы считаете обязательным, снимает кандидата, сколько бы очков он ни набрал по остальным. Цену в таблицу кладите отдельной строкой с небольшим весом: сравнивать суммы имеет смысл, когда составы выровнены.
Если предложение одно или выбирать пока рано
Как выбрать компанию для внедрения ИИ, если предложение одно? Так бывает, когда исполнителя рекомендовали или когда времени на сравнение нет. Тогда используйте двенадцать критериев как анкету. Отправьте её письменно и попросите приложить к договору те ответы, которые вы считаете обязательными. Если оценить ответы самостоятельно трудно, разбор можно поручить независимому консультанту. Такая работа есть и в нашем консалтинге по внедрению ИИ, цену называем на созвоне.
Выбирать исполнителя рано, если никто у вас не отвечает за процесс или задача описана одной фразой. В этом случае первая ступень нужна не для выбора, а для описания: пусть это будет обследование с фиксированной ценой и документом, которым можно пользоваться с любым исполнителем. Платить за проект целиком до такого документа не нужно.
Что делаем мы и с чего начать
Мы — заинтересованная сторона, поэтому применяйте эти критерии и к нам. Что записывается в договор у нас: цена и срок обследования, критерий приёмки до начала работ, исходники в вашем репозитории с первого коммита, право остановиться после любой ступени, место обработки данных по требованиям вашего контура. Чего у нас нет: круглосуточного дежурства, лицензии ФСТЭК и внедрения систем предприятия целиком. Об этом мы говорим до договора. О том, как мы устроены, написано на странице ИИ-агентство.
Первая ступень у нас — обследование: от 200 000 ₽ и 2–3 недели за один-два процесса, дороже и дольше за несколько систем и производство. Если вы продолжаете с нами, оно засчитывается в первый этап. Документ написан так, чтобы им можно было пользоваться без нас: с ним можно идти к другим исполнителям и сравнивать предложения по тем же критериям. Когда выбор сделан, шаги заказа расписаны на странице «Заказать внедрение ИИ в бизнес», а суммы ступеней сверяйте с тарифами.
Частые вопросы
Как выбрать подрядчика по внедрению ИИ, если у всех кандидатов кейсы закрыты?
Кейсы под соглашениями о неразглашении проверить нельзя, и их отсутствие не признак слабости. Смотрите на то, что кандидат готов записать: критерий приёмки, место обработки данных, исходники, право остановиться. И на то, какие вопросы он задаёт про ваши данные и ошибки.
Сколько предложений стоит собрать?
Два-три. Каждое следующее добавляет работу по выравниванию и почти ничего не добавляет к пониманию. Если разница между двумя финалистами неочевидна, лучше заказать им сравнительное обследование, чем собирать пятое предложение.
Нужно ли платить за сравнительное обследование всем кандидатам?
Да. Платная работа делает сравнение честным: исполнитель не вынужден продавать следующий этап, чтобы окупить бесплатную работу. Условия одинаковы для всех: один пакет данных, один срок, одни вопросы.
Можно ли выбирать по цене?
Только после выравнивания составов. Дешёвое предложение часто просто короче: в нём нет выборки, приёмки или передачи исходников. Цену ставьте в таблицу оценки отдельной строкой с небольшим весом и сравнивайте её, когда остальные строки сопоставимы.
Как проверить подрядчика, если у нас нет своего ИИ-специалиста?
Опирайтесь на письменные ответы по двенадцати критериям и назначьте владельца качества: достаточно человека, который понимает, как замеряется результат на выборке. При необходимости закажите независимый разбор предложения в рамках консалтинга.
Какие вопросы задать подрядчику на первом звонке?
Четыре. Что вы будете измерять и на какой выборке? Что останется у нас, если мы остановимся после первой ступени? Где работает модель и что уходит за периметр? Какие задачи вы не возьмёте? По ответам видно, понимает ли исполнитель вашу задачу.
Что делать, если подрядчик не хочет записывать критерий приёмки?
Считать это красным флагом. Число порога можно утвердить после первого замера на вашей выборке, но способ его получения и срок утверждения записываются сразу. Если исполнитель отказывается и от этого, приёмка превратится в спор о впечатлениях.
Можно ли проверить вас по этим же критериям?
Нужно. Мы небольшая инженерная команда и заинтересованная сторона. Часть ответов записана в наших публичных условиях: цена и срок обследования, критерий приёмки до начала работ, исходники с первого коммита, право остановиться. По остальным критериям мы отвечаем письменно по запросу, и задать эти вопросы нам стоит так же, как остальным кандидатам.