Требования меняются быстрее, чем тест-кейсы
Наборы случаев не успевают за правками. Помощник готовит черновик новых случаев, тестировщик выбирает нужные.
ИИ для тестирования ПО — это локальная модель, подключённая к вашим требованиям, репозиторию, сборке и баг-трекеру. Она готовит черновики: тест-кейсы по требованиям, заготовки автотестов, обезличенные тестовые данные, гипотезы о причинах падений, подсказки о дублях в отчётах. Результат принимают ваши тестировщики и разработчики: помощник не заменяет тестировщика и не решает, готов ли релиз. Для сгенерированного теста критерий один: он должен упасть на дефекте.
Лёгкий пилот — 150 000–400 000 ₽, 2–8 недельТребования, код и отчёты об ошибках остаются в вашем контуреКачество замеряем на ваших прошлых дефектах
Наборы случаев не успевают за правками. Помощник готовит черновик новых случаев, тестировщик выбирает нужные.
Код накопился без тестов, рук на заготовки не хватает. Помощник пишет каркасы, но проверять их нужно иначе, чем обычный код.
На стенде копия боевой базы с персональными данными либо пять записей, на которых ничего не поймать.
Часть падений — дефекты, часть — нестабильные тесты и стенд. Журналы читают вместо того, чтобы писать тесты.
Одну ошибку заводят трое, шагов воспроизведения нет ни у кого.
Требования, исходники и журналы стенда не должны попасть в публичный сервис. Нужна модель внутри контура.
Перечень условный: на вашем продукте строки будут другими. Решение в каждой строке принимает тот, кто отвечает за тесты.
Из требования помощник выводит случаи, и это его сильная сторона: он не устаёт перебирать граничные значения. Слабая сторона — всё, чего в тексте нет.
Раскладывает текст на классы входных данных, граничные значения, отрицательные сценарии, комбинации ролей и состояний. Условный пример: «Заказ от 100 единиц доставляется бесплатно». Помощник предложит проверить 99, 100 и 101, пустой заказ, возврат части заказа после расчёта доставки, смену валюты и округление. Часть случаев вы назвали бы сами, часть забыли бы в спешке: ради второй части и стоит запускать.
Что считать «единицами»: штуки или рубли, с НДС или без, входят ли отменённые позиции. Хороший результат здесь не набор случаев с придуманными ответами, а список вопросов к аналитику. Поэтому ожидаемый результат берётся только из текста; если его нет, строка помечается «не определено в требованиях» и уходит в вопросы. Выдуманный ответ вреднее пустого поля: его принимают за истину и закрепляют в автотесте.
В принятом наборе каждый случай ссылается на пункт требования, повторы объединены, случаи для автоматизации отмечены отдельно, вопросы к аналитику заведены в трекер.
Тест от помощника ревьюит человек, как код любого автора. Покрытие кода не цель: тест без проверки поднимает покрытие и ничего не ловит. Принимается тест, выдержавший все четыре проверки; виды бесполезных тестов разобраны в статье.
Число в проверке можно показать в требовании или в примере аналитика. Если оно вычислено той же формулой, что в коде, тест повторяет код и подтверждает его ошибки.
В копии кода вносится поломка: знак сравнения меняется, условие убирается. Хотя бы один тест обязан покраснеть. Для основных языков это делает инструмент мутационного тестирования, для критичных функций — человек.
Тест запускается отдельно, повторно и в другом порядке, дата и случайные числа зафиксированы. Нестабильному тесту перестают верить.
Тест смотрит на вход и выход, а не на то, какие внутренние функции вызваны. Иначе он ломается при каждой правке.
Модель не должна видеть настоящие записи, а тестовый стенд не должен их хранить. Обе задачи решаются вместе.
Имена, телефоны, адреса и реквизиты заменяются значениями с тем же форматом: ИНН остаётся числом с верной контрольной цифрой, иначе проверки формата отклонят запись. Одно настоящее значение везде заменяется одним вымышленным, чтобы связи между таблицами не порвались. Свободный текст (комментарии, примечания) очищают целиком либо проверяет человек выборочно. Подмена имён не делает набор безопасным: по сочетанию города, должности и даты человека иногда можно узнать, поэтому стенд закрыт почти как боевая система, а правовую оценку даёт юрист заказчика.
По схеме базы и правилам (диапазоны, обязательные поля, связи) строятся типовые, граничные (пустое поле, предельная длина, спецсимволы, даты на стыке года) и тяжёлые (много позиций в заказе) наборы. Модель описывает правила, записи создаёт обычный скрипт: набор воспроизводится при каждом запуске и не содержит выдуманных связей.
Набор загружается на стенд, связи целы, граничные случаи действительно граничные. Номера, адреса и названия из боевой базы ищем в обезличенной копии: каждое совпадение разбираем как возможную утечку.
Помощник получает журнал прогона, список изменений и историю теста и называет класс причины: дефект продукта, нестабильный тест, стенд или данные, изменение требования. К ответу прилагается фрагмент журнала, на который он опирается, и следующий шаг: повторить, сравнить с прошлым зелёным прогоном, открыть коммит. Нестабильный тест выдаёт история: падал и проходил на том же коде. Слова «это дефект» появляются после того, как человек воспроизвёл падение.
Новый отчёт сравнивается с карточками по смыслу, а не по словам. Порог подбираем по карточкам, которые вы уже объединили вручную: слишком низкий склеивает разные дефекты, слишком высокий пропускает дубли. По журналу готовится черновик: шаги, ожидаемый и фактический результат, версия, окружение. Серьёзность ставит человек.
По изменённым файлам и карте «какой тест какой код запускает» помощник предлагает, с чего начать прогон. Карта строится из данных о покрытии прошлых запусков и всегда неполна, поэтому полный прогон по расписанию остаётся: подсказка сокращает ожидание, но не заменяет проверку.
Чужие рейтинги ничего не говорят о вашем коде и ваших требованиях, поэтому эталоны берём из вашей истории. Порядок замера описан на странице оценки качества LLM-систем.
Цены — по тарифам. Цену внутри вилки двигают число языков и сред тестов, качество требований (если они нигде не записаны, первые недели уходят на их запись), состояние сборки и стенда и закрытый контур. Оборудование в цену не входит: если у вас уже работает локальная модель для разработчиков, пробуем её. Остановиться можно после любой ступени.
Как тестируют сейчас, где лежат требования, код и отчёты об ошибках, как устроена сборка. Набор прошлых дефектов для замера, ограничения контура, правила использования, вилка бюджета. Вычитается из первого этапа.
Несколько продуктов, трекеров и сегментов сети, разные языки тестов: раздельные индексы, права из ваших систем.
Одна задача из таблицы выше на одном продукте, например тест-кейсы по требованиям или разбор упавших прогонов. Замер на ваших данных, отчёт об ошибках помощника.
Автотесты в песочнице, обезличенные данные, поиск дублей, подсказки для регрессии, подключение к трекеру и сборке, журнал, права из ваших систем.
Опытная эксплуатация в командах, регламент обновления модели и повторного замера, передача исходников.
Обновление модели, повторный замер после смены продукта или языка, разбор обращений. Сверх пакета — 5 000 ₽ в час.
Смотрим, где живут требования, как запускаются тесты, какие ошибки доходили до пользователей. Из прошлых дефектов, готовых тест-кейсов и разобранных падений собираем набор для замера, часть набора закрываем от настройки. Выбираем один сценарий и человека, который принимает результат.
Модель и индекс на стенде, замер, разбор ошибок. Одна команда работает с помощником на одном сценарии; мы смотрим принятое, исправленное и отклонённое и правим запросы и пороги.
Сценарии подключаются к сборке и трекеру по одному, каждый после своего замера. Автотесты пишутся в песочнице: отдельная ветка, список разрешённых команд, подтверждение человеком перед слиянием.
Остальные команды и продукты по этапам, регламент обновления модели и повторного замера, передача исходников. Если замер не дошёл до порога, остановка тоже результат: вы узнали, что на ваших данных помощник не помогает.
Дописывание кода, чат по кодовой базе и ревью описаны на странице ИИ-помощника для разработчиков. Поиск уязвимостей — это secure code review, SAST, DAST и SCA и DevSecOps, правки старого кода — рефакторинг legacy, изолированная сеть — локальная LLM. Здесь только тестирование.
Что отдавать модели, что проверять человеку и какие тесты зелёные, но ничего не ловят.
Как собрать эталон из вашей истории и замерять помощника до запуска, а не после первых жалоб.
Правила для режима, где помощник сам пишет тест, запускает его и правит.
Начинаем с обследования: 200 000 ₽ за одну команду и один продукт, 350 000 ₽ за несколько команд и систем. Лёгкий пилот — 150 000–400 000 ₽, тяжёлый — 400 000–1 200 000 ₽, вывод в эксплуатацию от 1 500 000 ₽ этапами по 300 000–700 000 ₽, сопровождение от 20 000 ₽ в месяц. Оборудование в цену не входит. Обследование вычитается из первого этапа, если продолжаете с нами.
Не заменит. Помощник готовит черновики и берёт рутину, но не знает, как должна вести себя система, если этого нет в требованиях, не оценивает серьёзность дефекта и не отвечает за выпуск. Меняется состав работы: меньше набора случаев, больше проверки результата и вопросов к аналитику.
Для открытого кода и учебных примеров можно, если внешний сервис разрешила служба безопасности. Для исходников, требований и журналов стенда с данными клиентов такой путь чаще не подходит по требованиям заказчика. Проверки результата в обоих случаях одни и те же.
Внести в код дефект: хотя бы один тест должен упасть. Ещё три проверки: ожидаемое значение взято из требования, результат не зависит от порядка и времени, тест смотрит на поведение, а не на устройство кода. Не прошедший все четыре тест в репозиторий не попадает.
С теми, что умеет выбранная модель. Насколько хорошо она знает ваши языки и фреймворки, показывает замер на вашем коде, а не рейтинги: на распространённых языках результат обычно сильнее, чем на редких. Результат замера вы видите до решения о запуске.
Боевые данные попадают на стенд только обезличенными, а модель их не видит. Подмена имён не делает набор безопасным, поэтому стенд закрывается по правилам вашей службы безопасности; правовую оценку даёт ваш юрист.
С того, что даёт отдачу без него: тест-кейсы по требованиям и тестовые данные. Автотесты добавляем, когда в сборке появится автоматический запуск: помощнику нужно, на чём проверять результат.
Мы в Ростове-на-Дону, работаем с заказчиками по всей России: удалённо и в вашем контуре. Доступ к системам и обследование согласуем на старте с вашей службой безопасности.