ИИ в тестировании и QA полезен как автор черновиков, а не как исполнитель. Он быстро раскладывает требование на случаи, пишет каркас автотеста, готовит данные для проверки и предлагает причину упавшей сборки. Хуже всего он справляется с тем, чего нет в тексте: ожидаемый результат, правила предметной области, смысл дефекта. Поэтому результат проверяет человек, а сгенерированный тест принимают только тогда, когда он падает на дефекте.
Ниже: что отдавать модели и что проверять, какие тесты выглядят правильно и ничего не ловят, как работать с данными и когда модели место внутри вашего контура. Как мы подключаем такого помощника к вашей сборке, описано на странице «ИИ для тестирования ПО».
Что ИИ делает в тестировании хорошо, а что плохо
Граница проходит по одному признаку: нужно ли для задачи знать, как должно быть. Если нет, модель работает как быстрый и неутомимый помощник. Если нужно, а в тексте этого нет, она подставляет правдоподобное.
- Хорошо: перебор граничных значений и отрицательных сценариев, каркасы тестов по образцу соседних, преобразование записей (ручной сценарий в шаги автотеста, формат одного трекера в формат другого), описание генераторов данных, краткое изложение длинного журнала, поиск похожих отчётов по смыслу.
- Плохо: ожидаемый результат при неполных требованиях, правила предметной области, которых нет в тексте, оценка серьёзности дефекта, решение «можно выпускать», причина падения, если её не видно в журнале.
- Опасно: уверенный тон. Неверное предположение звучит так же убедительно, как верное, поэтому каждую гипотезу сначала воспроизводят.
Отсюда правило: модель предлагает, человек принимает. Для тестов принимать нужно строже, чем для обычного кода: ошибка в продукте проявится у пользователя, а ошибка в тесте не проявится нигде и создаст ложное чувство безопасности.
Задача, что отдаём модели, что проверяет человек
Рабочая раскладка для команды, которая начинает. Строки условные: в вашей команде набор задач будет другим.
| Задача | Что отдаём модели | Что получаем | Что проверяет человек |
|---|---|---|---|
| Случаи по требованию | Текст требования и правила предметной области; просим отдельно отметить, чего не хватает | Список случаев со ссылкой на пункт и список вопросов | Ожидаемый результат взят из текста, а не придуман; лишнее вычеркнуто |
| Данные для проверки | Схему, форматы и правила связей, но не боевые записи | Описание генератора | Набор принимается системой, связи целы, граничные случаи действительно граничные |
| Разбор падения | Журнал, список изменений, историю теста | Класс причины и подтверждающий фрагмент | Падение воспроизведено, причина подтверждена, а не принята на веру |
| Дубли в трекере | Новый отчёт и существующие карточки | Список похожих и черновик с шагами | Карточки действительно об одном дефекте; серьёзность выбрана вами |
| Каркас автотеста | Функцию, требование и два-три существующих теста как образец стиля | Заготовка с параметрами и заглушками | Ожидаемое значение пришло из требования; тест падает на внесённом дефекте |
| Порядок регрессии | Изменённые файлы и карту «тест — код» | Список тестов для быстрого запуска | Полный прогон по расписанию остался |
Ловушки: пять видов тестов, которые зелёные и бесполезные
Опасность сгенерированных тестов не в том, что они красные, а в том, что они зелёные. Такой тест поднимает покрытие, успокаивает команду и ничего не ловит.
| Ловушка | Как выглядит | К чему приводит | Как поймать |
|---|---|---|---|
| Тест повторяет код | Ожидаемое значение вычислено той же формулой, что в программе | Код неверен, а тест зелёный: он подтверждает ошибку | Взять ожидаемое из требования или из примера аналитика, пересчитать вручную на двух значениях |
| Тест проверяет заглушку | Вызов внешней службы заменён, и проверяется ответ самой заглушки | Тест проходит при любой логике внутри | Сломать функцию в копии: если тест остался зелёным, он проверял не её |
| Тест без проверки | Функция вызвана, утверждений нет или они всегда истинны | Растёт покрытие, ловли нет | Правило ревью: у каждого теста есть проверка результата; поиск пустых утверждений |
| Тест зависит от порядка и времени | Использует текущую дату, случайные числа или состояние соседнего теста | Зелёный днём, красный ночью: красному перестают верить | Запускать отдельно, повторно и в обратном порядке; время и случайность фиксировать |
| Тест на устройство, а не на поведение | Проверяет, какие внутренние функции вызваны | Ломается при каждой правке и мешает рефакторингу | Проверять вход и выход, внутренние вызовы не фиксировать |
Проверка за пять минут
- Найдите в тесте ожидаемое значение и скажите, откуда оно: из требования, из примера или из самого кода.
- В копии кода сломайте функцию: смените знак сравнения или уберите условие. Тест должен покраснеть.
- Верните код: тест должен позеленеть.
- Запустите тест отдельно и дважды подряд. Результат не должен меняться.
- Посмотрите, что в тесте заменено заглушками: проверяемая функция заменена быть не должна.
Второй и третий шаги можно поручить инструменту мутационного тестирования: он сам вносит мелкие поломки, возвращает код и показывает, сколько поломок тесты не заметили. Для критичных функций стоит сделать то же вручную.
Тестовые данные: что можно брать из боевой базы
Самый частый способ испортить тестирование с ИИ — отправить модели боевую выгрузку «для примера». Правила простые.
- Боевые записи в запрос не попадают. Модели нужны схема, форматы и правила связей, а не значения. Обычно описания структуры без данных достаточно.
- Обезличивание сохраняет формат и связи. Телефон остаётся телефоном, ИНН — числом с верной контрольной цифрой, а одно настоящее значение везде заменяется одним вымышленным.
- Записи создаёт скрипт, а не модель. Модель описывает правила генератора, скрипт выдаёт одинаковый набор при каждом запуске. Записи, написанные моделью вручную, расходятся по связям и не воспроизводятся.
- Свободный текст чистят отдельно. В комментариях и примечаниях встречаются имена, номера и адреса, которые поиск по шаблону не находит.
- Стенд закрыт. Подмена имён не делает набор безопасным: человека иногда можно узнать по сочетанию города, должности и даты. Правовую оценку обезличивания даёт юрист заказчика.
Технические меры защиты данных в самом приложении собраны в статье «Защита персональных данных в веб-приложении: меры».
Упавшая сборка и отчёты об ошибках: гипотеза не вердикт
В разборе падений модель экономит время на чтении длинного журнала: находит первую ошибку, отделяет следствия от причины и предлагает класс причины. Пользоваться ответом нужно как подсказкой.
- Класс причины. Дефект продукта, нестабильный тест, стенд или данные, изменение требования. Пока падение не повторили, это предположение.
- Нестабильные тесты. Их выдаёт история: тест падал и проходил на том же коде. Такой тест чинят или отключают с записью в трекере; перезапускать прогон до зелёного нельзя.
- Дубли. Сравнение по смыслу находит отчёты, написанные разными словами. Порог подбирают по карточкам, которые уже объединили вручную: слишком низкий склеивает разные дефекты.
- Черновик отчёта. По журналу модель готовит шаги, ожидаемый и фактический результат; серьёзность и приоритет ставит человек.
Простая оценка этой работы — доля верных классов причины на прогонах, которые вы уже разобрали. Порядок замера описан в статье «Как оценить качество LLM-системы».
Локальная или внешняя модель: что решает
Выбор определяется материалом, который уходит в запрос, а не удобством. Универсального ответа нет, ниже порядок решения.
| Материал в запросе | Что в нём может быть | Внешний сервис | Что делать до отправки |
|---|---|---|---|
| Открытый код, учебные примеры | Ничего ограниченного | Допустим, если разрешила служба безопасности | Убедиться, что в примере нет ключей и внутренних адресов |
| Требования и описания функций | Коммерческая тайна, условия договоров, имена клиентов | Чаще не подходит по требованиям заказчика | Решить, какие документы можно отправлять, остальное обрабатывать внутри контура |
| Исходный код | Внутренние библиотеки, ключи в истории, логика расчётов | Чаще не подходит | Найти секреты в репозитории, модель держать внутри контура |
| Журналы стенда и прогонов | Токены, персональные данные, адреса систем | Не подходит без очистки | Очистить журнал, модель держать внутри контура |
| Выгрузки из базы | Персональные и коммерческие данные | Чаще не подходит по требованиям заказчика | Не отправлять; передавать схему и правила, а не значения |
Модель внутри контура работает на ваших серверах и не требует выхода в интернет. Как её запустить, описано в статье «Как запустить языковую модель без интернета», а оборудование считают до закупки. Цена такого решения — ваши серверы и эксплуатация, а качество на вашем коде приходится замерять, а не принимать на веру. Внешний сервис удобен на открытых примерах: на них можно понять, годится ли сам подход.
Как начать: один сценарий и один замер
- Выберите один сценарий. Подойдёт тот, где ошибку помощника дёшево заметить: случаи по новому требованию или разбор упавших прогонов. Автотесты в песочнице — второй шаг.
- Соберите эталон из своей истории. Исправленные дефекты с версией кода до правки, готовые наборы тест-кейсов, разобранные падения. Часть оставьте закрытой: на ней результат не настраивают.
- Запишите критерий заранее. Что считается успехом, кто проверяет, когда останавливаемся. Без критерия, записанного до замера, спор о результате неизбежен.
- Запустите на одной команде. Смотрите три числа: принято, исправлено, отклонено. Много отклонённого значит, что помощник мешает.
- Решите: расширять, настраивать или остановиться. Остановка после замера — нормальный результат.
Если автоматического запуска тестов в сборке ещё нет, начните с него: помощнику нужно, на чём проверять. Если требования нигде не записаны, первым шагом станет их запись, а не подключение модели.
Что делаем мы и с чего начать
Мы подключаем локальную модель к вашим требованиям, репозиторию, сборке и трекеру и замеряем её на ваших прошлых дефектах и наборах тест-кейсов. Первый шаг — обследование: 200 000 ₽ и 2–3 недели за одну команду и один продукт, 350 000 ₽ и 3–4 недели за несколько команд и систем. На выходе описание процесса тестирования, набор для замера, правила использования и вилка бюджета. Сумма вычитается из первого этапа, если вы продолжаете с нами, а документом можно пользоваться без нас.
Дальше лёгкий пилот (150 000–400 000 ₽, 2–8 недель) или тяжёлый (400 000–1 200 000 ₽, 2–3 месяца), вывод в эксплуатацию от 1 500 000 ₽ этапами по 300 000–700 000 ₽ и сопровождение от 20 000 ₽ в месяц. Оборудование в цену не входит. Все цены и сроки на странице «Тарифы», услуга описана на странице «ИИ для тестирования ПО», помощник для самих разработчиков — на странице «ИИ-помощник для разработчиков».
Частые вопросы
Может ли ИИ полностью заменить тестировщика?
Нет. Он готовит черновики и берёт рутину, но не знает, как должна вести себя система, если этого нет в требованиях, не оценивает серьёзность дефекта и не отвечает за решение о выпуске. Меняется состав работы тестировщика: меньше набора случаев, больше проверки результата и вопросов к аналитику.
Как использовать ИИ для генерации тест-кейсов?
Передайте требование целиком, попросите вывести случаи со ссылкой на пункт и отдельно перечислить, чего в требовании не хватает. Ожидаемый результат должен браться только из текста: если его нет, строка уходит в вопросы к аналитику. Лишнее вычёркивает тестировщик.
Можно ли доверять юнит-тестам, написанным ИИ?
Только после проверки. Внесите в код дефект: хотя бы один тест должен упасть. Сверьте ожидаемое значение с требованием, а не с кодом, и убедитесь, что тест не зависит от порядка и времени.
Можно ли отправлять требования и код в публичный чат?
Открытый код и учебные примеры можно, если внешний сервис разрешила служба безопасности. Требования с коммерческой тайной, исходники и журналы стенда для публичных сервисов чаще не подходят по требованиям заказчика: нужна модель внутри контура.
Что такое мутационное тестирование и при чём здесь ИИ?
Инструмент вносит в код мелкие поломки и проверяет, замечают ли их тесты. Он отвечает на вопрос «падает ли тест на дефекте» без участия человека. К ИИ он не относится, но хорошо проверяет тесты, которые написала модель. Для распространённых языков такие инструменты есть.
Подходит ли ИИ для нагрузочного тестирования и проверки безопасности?
С каркасом сценариев и разбором результатов модель может помочь, но не заменяет расчёт профиля нагрузки. Безопасность проверяют анализаторами кода и зависимостей и ревью кода, об этом страницы про SAST, DAST, SCA и secure code review. Боевые системы мы не атакуем.
Сколько стоит внедрение ИИ в тестирование?
Обследование — 200 000 ₽ за одну команду и один продукт, 350 000 ₽ за несколько команд и систем. Лёгкий пилот 150 000–400 000 ₽ за 2–8 недель, тяжёлый 400 000–1 200 000 ₽ за 2–3 месяца, вывод в эксплуатацию от 1 500 000 ₽ этапами по 300 000–700 000 ₽, сопровождение от 20 000 ₽ в месяц.
С чего начать, если автотестов почти нет?
С того, что даёт отдачу без них: тест-кейсы по требованиям и тестовые данные. Автотесты добавляют, когда в сборке появится автоматический запуск. Помощнику нужно, на чём проверять результат.