ИИ в тестировании и QA полезен как автор черновиков, а не как исполнитель. Он быстро раскладывает требование на случаи, пишет каркас автотеста, готовит данные для проверки и предлагает причину упавшей сборки. Хуже всего он справляется с тем, чего нет в тексте: ожидаемый результат, правила предметной области, смысл дефекта. Поэтому результат проверяет человек, а сгенерированный тест принимают только тогда, когда он падает на дефекте.

Ниже: что отдавать модели и что проверять, какие тесты выглядят правильно и ничего не ловят, как работать с данными и когда модели место внутри вашего контура. Как мы подключаем такого помощника к вашей сборке, описано на странице «ИИ для тестирования ПО».

Коротко. Отдавайте модели черновики: случаи по требованию, каркасы тестов, данные, гипотезы о падениях. Человеку оставляйте то, что требует знания, как должно быть: ожидаемый результат, серьёзность дефекта, решение о выпуске. Сгенерированный тест проверяйте на падение: внесите в код дефект, и тест должен покраснеть. Требования, исходники и журналы ограниченного доступа в публичный сервис лучше не отправлять.

Что ИИ делает в тестировании хорошо, а что плохо

Граница проходит по одному признаку: нужно ли для задачи знать, как должно быть. Если нет, модель работает как быстрый и неутомимый помощник. Если нужно, а в тексте этого нет, она подставляет правдоподобное.

  • Хорошо: перебор граничных значений и отрицательных сценариев, каркасы тестов по образцу соседних, преобразование записей (ручной сценарий в шаги автотеста, формат одного трекера в формат другого), описание генераторов данных, краткое изложение длинного журнала, поиск похожих отчётов по смыслу.
  • Плохо: ожидаемый результат при неполных требованиях, правила предметной области, которых нет в тексте, оценка серьёзности дефекта, решение «можно выпускать», причина падения, если её не видно в журнале.
  • Опасно: уверенный тон. Неверное предположение звучит так же убедительно, как верное, поэтому каждую гипотезу сначала воспроизводят.

Отсюда правило: модель предлагает, человек принимает. Для тестов принимать нужно строже, чем для обычного кода: ошибка в продукте проявится у пользователя, а ошибка в тесте не проявится нигде и создаст ложное чувство безопасности.

Задача, что отдаём модели, что проверяет человек

Рабочая раскладка для команды, которая начинает. Строки условные: в вашей команде набор задач будет другим.

ЗадачаЧто отдаём моделиЧто получаемЧто проверяет человек
Случаи по требованиюТекст требования и правила предметной области; просим отдельно отметить, чего не хватаетСписок случаев со ссылкой на пункт и список вопросовОжидаемый результат взят из текста, а не придуман; лишнее вычеркнуто
Данные для проверкиСхему, форматы и правила связей, но не боевые записиОписание генератораНабор принимается системой, связи целы, граничные случаи действительно граничные
Разбор паденияЖурнал, список изменений, историю тестаКласс причины и подтверждающий фрагментПадение воспроизведено, причина подтверждена, а не принята на веру
Дубли в трекереНовый отчёт и существующие карточкиСписок похожих и черновик с шагамиКарточки действительно об одном дефекте; серьёзность выбрана вами
Каркас автотестаФункцию, требование и два-три существующих теста как образец стиляЗаготовка с параметрами и заглушкамиОжидаемое значение пришло из требования; тест падает на внесённом дефекте
Порядок регрессииИзменённые файлы и карту «тест — код»Список тестов для быстрого запускаПолный прогон по расписанию остался

Ловушки: пять видов тестов, которые зелёные и бесполезные

Опасность сгенерированных тестов не в том, что они красные, а в том, что они зелёные. Такой тест поднимает покрытие, успокаивает команду и ничего не ловит.

ЛовушкаКак выглядитК чему приводитКак поймать
Тест повторяет кодОжидаемое значение вычислено той же формулой, что в программеКод неверен, а тест зелёный: он подтверждает ошибкуВзять ожидаемое из требования или из примера аналитика, пересчитать вручную на двух значениях
Тест проверяет заглушкуВызов внешней службы заменён, и проверяется ответ самой заглушкиТест проходит при любой логике внутриСломать функцию в копии: если тест остался зелёным, он проверял не её
Тест без проверкиФункция вызвана, утверждений нет или они всегда истинныРастёт покрытие, ловли нетПравило ревью: у каждого теста есть проверка результата; поиск пустых утверждений
Тест зависит от порядка и времениИспользует текущую дату, случайные числа или состояние соседнего тестаЗелёный днём, красный ночью: красному перестают веритьЗапускать отдельно, повторно и в обратном порядке; время и случайность фиксировать
Тест на устройство, а не на поведениеПроверяет, какие внутренние функции вызваныЛомается при каждой правке и мешает рефакторингуПроверять вход и выход, внутренние вызовы не фиксировать

Проверка за пять минут

  1. Найдите в тесте ожидаемое значение и скажите, откуда оно: из требования, из примера или из самого кода.
  2. В копии кода сломайте функцию: смените знак сравнения или уберите условие. Тест должен покраснеть.
  3. Верните код: тест должен позеленеть.
  4. Запустите тест отдельно и дважды подряд. Результат не должен меняться.
  5. Посмотрите, что в тесте заменено заглушками: проверяемая функция заменена быть не должна.

Второй и третий шаги можно поручить инструменту мутационного тестирования: он сам вносит мелкие поломки, возвращает код и показывает, сколько поломок тесты не заметили. Для критичных функций стоит сделать то же вручную.

Тестовые данные: что можно брать из боевой базы

Самый частый способ испортить тестирование с ИИ — отправить модели боевую выгрузку «для примера». Правила простые.

  • Боевые записи в запрос не попадают. Модели нужны схема, форматы и правила связей, а не значения. Обычно описания структуры без данных достаточно.
  • Обезличивание сохраняет формат и связи. Телефон остаётся телефоном, ИНН — числом с верной контрольной цифрой, а одно настоящее значение везде заменяется одним вымышленным.
  • Записи создаёт скрипт, а не модель. Модель описывает правила генератора, скрипт выдаёт одинаковый набор при каждом запуске. Записи, написанные моделью вручную, расходятся по связям и не воспроизводятся.
  • Свободный текст чистят отдельно. В комментариях и примечаниях встречаются имена, номера и адреса, которые поиск по шаблону не находит.
  • Стенд закрыт. Подмена имён не делает набор безопасным: человека иногда можно узнать по сочетанию города, должности и даты. Правовую оценку обезличивания даёт юрист заказчика.

Технические меры защиты данных в самом приложении собраны в статье «Защита персональных данных в веб-приложении: меры».

Упавшая сборка и отчёты об ошибках: гипотеза не вердикт

В разборе падений модель экономит время на чтении длинного журнала: находит первую ошибку, отделяет следствия от причины и предлагает класс причины. Пользоваться ответом нужно как подсказкой.

  • Класс причины. Дефект продукта, нестабильный тест, стенд или данные, изменение требования. Пока падение не повторили, это предположение.
  • Нестабильные тесты. Их выдаёт история: тест падал и проходил на том же коде. Такой тест чинят или отключают с записью в трекере; перезапускать прогон до зелёного нельзя.
  • Дубли. Сравнение по смыслу находит отчёты, написанные разными словами. Порог подбирают по карточкам, которые уже объединили вручную: слишком низкий склеивает разные дефекты.
  • Черновик отчёта. По журналу модель готовит шаги, ожидаемый и фактический результат; серьёзность и приоритет ставит человек.

Простая оценка этой работы — доля верных классов причины на прогонах, которые вы уже разобрали. Порядок замера описан в статье «Как оценить качество LLM-системы».

Локальная или внешняя модель: что решает

Выбор определяется материалом, который уходит в запрос, а не удобством. Универсального ответа нет, ниже порядок решения.

Материал в запросеЧто в нём может бытьВнешний сервисЧто делать до отправки
Открытый код, учебные примерыНичего ограниченногоДопустим, если разрешила служба безопасностиУбедиться, что в примере нет ключей и внутренних адресов
Требования и описания функцийКоммерческая тайна, условия договоров, имена клиентовЧаще не подходит по требованиям заказчикаРешить, какие документы можно отправлять, остальное обрабатывать внутри контура
Исходный кодВнутренние библиотеки, ключи в истории, логика расчётовЧаще не подходитНайти секреты в репозитории, модель держать внутри контура
Журналы стенда и прогоновТокены, персональные данные, адреса системНе подходит без очисткиОчистить журнал, модель держать внутри контура
Выгрузки из базыПерсональные и коммерческие данныеЧаще не подходит по требованиям заказчикаНе отправлять; передавать схему и правила, а не значения

Модель внутри контура работает на ваших серверах и не требует выхода в интернет. Как её запустить, описано в статье «Как запустить языковую модель без интернета», а оборудование считают до закупки. Цена такого решения — ваши серверы и эксплуатация, а качество на вашем коде приходится замерять, а не принимать на веру. Внешний сервис удобен на открытых примерах: на них можно понять, годится ли сам подход.

Как начать: один сценарий и один замер

  1. Выберите один сценарий. Подойдёт тот, где ошибку помощника дёшево заметить: случаи по новому требованию или разбор упавших прогонов. Автотесты в песочнице — второй шаг.
  2. Соберите эталон из своей истории. Исправленные дефекты с версией кода до правки, готовые наборы тест-кейсов, разобранные падения. Часть оставьте закрытой: на ней результат не настраивают.
  3. Запишите критерий заранее. Что считается успехом, кто проверяет, когда останавливаемся. Без критерия, записанного до замера, спор о результате неизбежен.
  4. Запустите на одной команде. Смотрите три числа: принято, исправлено, отклонено. Много отклонённого значит, что помощник мешает.
  5. Решите: расширять, настраивать или остановиться. Остановка после замера — нормальный результат.

Если автоматического запуска тестов в сборке ещё нет, начните с него: помощнику нужно, на чём проверять. Если требования нигде не записаны, первым шагом станет их запись, а не подключение модели.

Что делаем мы и с чего начать

Мы подключаем локальную модель к вашим требованиям, репозиторию, сборке и трекеру и замеряем её на ваших прошлых дефектах и наборах тест-кейсов. Первый шаг — обследование: 200 000 ₽ и 2–3 недели за одну команду и один продукт, 350 000 ₽ и 3–4 недели за несколько команд и систем. На выходе описание процесса тестирования, набор для замера, правила использования и вилка бюджета. Сумма вычитается из первого этапа, если вы продолжаете с нами, а документом можно пользоваться без нас.

Дальше лёгкий пилот (150 000–400 000 ₽, 2–8 недель) или тяжёлый (400 000–1 200 000 ₽, 2–3 месяца), вывод в эксплуатацию от 1 500 000 ₽ этапами по 300 000–700 000 ₽ и сопровождение от 20 000 ₽ в месяц. Оборудование в цену не входит. Все цены и сроки на странице «Тарифы», услуга описана на странице «ИИ для тестирования ПО», помощник для самих разработчиков — на странице «ИИ-помощник для разработчиков».

Частые вопросы

Может ли ИИ полностью заменить тестировщика?

Нет. Он готовит черновики и берёт рутину, но не знает, как должна вести себя система, если этого нет в требованиях, не оценивает серьёзность дефекта и не отвечает за решение о выпуске. Меняется состав работы тестировщика: меньше набора случаев, больше проверки результата и вопросов к аналитику.

Как использовать ИИ для генерации тест-кейсов?

Передайте требование целиком, попросите вывести случаи со ссылкой на пункт и отдельно перечислить, чего в требовании не хватает. Ожидаемый результат должен браться только из текста: если его нет, строка уходит в вопросы к аналитику. Лишнее вычёркивает тестировщик.

Можно ли доверять юнит-тестам, написанным ИИ?

Только после проверки. Внесите в код дефект: хотя бы один тест должен упасть. Сверьте ожидаемое значение с требованием, а не с кодом, и убедитесь, что тест не зависит от порядка и времени.

Можно ли отправлять требования и код в публичный чат?

Открытый код и учебные примеры можно, если внешний сервис разрешила служба безопасности. Требования с коммерческой тайной, исходники и журналы стенда для публичных сервисов чаще не подходят по требованиям заказчика: нужна модель внутри контура.

Что такое мутационное тестирование и при чём здесь ИИ?

Инструмент вносит в код мелкие поломки и проверяет, замечают ли их тесты. Он отвечает на вопрос «падает ли тест на дефекте» без участия человека. К ИИ он не относится, но хорошо проверяет тесты, которые написала модель. Для распространённых языков такие инструменты есть.

Подходит ли ИИ для нагрузочного тестирования и проверки безопасности?

С каркасом сценариев и разбором результатов модель может помочь, но не заменяет расчёт профиля нагрузки. Безопасность проверяют анализаторами кода и зависимостей и ревью кода, об этом страницы про SAST, DAST, SCA и secure code review. Боевые системы мы не атакуем.

Сколько стоит внедрение ИИ в тестирование?

Обследование — 200 000 ₽ за одну команду и один продукт, 350 000 ₽ за несколько команд и систем. Лёгкий пилот 150 000–400 000 ₽ за 2–8 недель, тяжёлый 400 000–1 200 000 ₽ за 2–3 месяца, вывод в эксплуатацию от 1 500 000 ₽ этапами по 300 000–700 000 ₽, сопровождение от 20 000 ₽ в месяц.

С чего начать, если автотестов почти нет?

С того, что даёт отдачу без них: тест-кейсы по требованиям и тестовые данные. Автотесты добавляют, когда в сборке появится автоматический запуск. Помощнику нужно, на чём проверять результат.