ИИ для тестирования ПО: тест-кейсы, автотесты и разбор падений на локальной модели

ИИ для тестирования ПО — это локальная модель, подключённая к вашим требованиям, репозиторию, сборке и баг-трекеру. Она готовит черновики: тест-кейсы по требованиям, заготовки автотестов, обезличенные тестовые данные, гипотезы о причинах падений, подсказки о дублях в отчётах. Результат принимают ваши тестировщики и разработчики: помощник не заменяет тестировщика и не решает, готов ли релиз. Для сгенерированного теста критерий один: он должен упасть на дефекте.

Лёгкий пилот — 150 000–400 000 ₽, 2–8 недельТребования, код и отчёты об ошибках остаются в вашем контуреКачество замеряем на ваших прошлых дефектах

С чем приходят

Когда помощнику есть работа в тестировании

Требования меняются быстрее, чем тест-кейсы

Наборы случаев не успевают за правками. Помощник готовит черновик новых случаев, тестировщик выбирает нужные.

Автотестов мало, а ручная проверка не успевает

Код накопился без тестов, рук на заготовки не хватает. Помощник пишет каркасы, но проверять их нужно иначе, чем обычный код.

Тестовых данных нет или они настоящие

На стенде копия боевой базы с персональными данными либо пять записей, на которых ничего не поймать.

Сборка красная, и разбор отнимает часы

Часть падений — дефекты, часть — нестабильные тесты и стенд. Журналы читают вместо того, чтобы писать тесты.

В трекере дубли и пустые карточки

Одну ошибку заводят трое, шагов воспроизведения нет ни у кого.

Требования и код нельзя отправлять наружу

Требования, исходники и журналы стенда не должны попасть в публичный сервис. Нужна модель внутри контура.

Задачи

Что получает помощник, что отдаёт и где ошибается

Перечень условный: на вашем продукте строки будут другими. Решение в каждой строке принимает тот, кто отвечает за тесты.

Задача
Что получает на вход
Что отдаёт
Ошибки и проверка
ЗадачаТест-кейсыпо требованиям
Что получает на входТекст требования, макет, правила предметной области
Что отдаётСлучаи: типовые, граничные, отрицательные; вопросы к аналитику
Ошибки и проверкаПридумывает ожидаемый результат, которого в тексте нет. Человек вычёркивает лишнее и отвечает на вопросы
ЗадачаАвтотестыпо коду
Что получает на входФункция, требование, соседние тесты как образец
Что отдаётКаркас теста, параметры, заглушки
Ошибки и проверкаПишет тест по поведению кода, а не по требованию. Человек сверяет ожидаемое с требованием и проверяет падение на дефекте
ЗадачаТестовые данныеобезличивание, синтетика
Что получает на входСхема базы, правила связей, форматы полей
Что отдаётОписание генератора, правила замены значений
Ошибки и проверкаРвёт связи, пропускает контрольные цифры реквизитов. Человек загружает набор на стенд
ЗадачаРазбор паденийгипотеза о причине
Что получает на входЖурнал прогона, список изменений, история теста
Что отдаётКласс причины и подтверждающий фрагмент журнала
Ошибки и проверкаУверенно называет неверную причину. Человек воспроизводит падение
ЗадачаОтчёты об ошибкахдубли и черновик
Что получает на входНовый отчёт, журнал, карточки трекера
Что отдаётПохожие карточки, черновик с шагами
Ошибки и проверкаСклеивает разные дефекты со схожим текстом. Человек объединяет карточки
ЗадачаРегрессияс чего начать прогон
Что получает на входИзменённые файлы, карта «тест — код», история падений
Что отдаётПорядок запуска, короткий список
Ошибки и проверкаНе видит связей, которых нет в карте. Полный прогон остаётся
Требования

Тест-кейсы по требованиям: как не получить список очевидного

Из требования помощник выводит случаи, и это его сильная сторона: он не устаёт перебирать граничные значения. Слабая сторона — всё, чего в тексте нет.

Что он делает с требованием

Раскладывает текст на классы входных данных, граничные значения, отрицательные сценарии, комбинации ролей и состояний. Условный пример: «Заказ от 100 единиц доставляется бесплатно». Помощник предложит проверить 99, 100 и 101, пустой заказ, возврат части заказа после расчёта доставки, смену валюты и округление. Часть случаев вы назвали бы сами, часть забыли бы в спешке: ради второй части и стоит запускать.

Чего в требовании нет, он не знает

Что считать «единицами»: штуки или рубли, с НДС или без, входят ли отменённые позиции. Хороший результат здесь не набор случаев с придуманными ответами, а список вопросов к аналитику. Поэтому ожидаемый результат берётся только из текста; если его нет, строка помечается «не определено в требованиях» и уходит в вопросы. Выдуманный ответ вреднее пустого поля: его принимают за истину и закрепляют в автотесте.

В принятом наборе каждый случай ссылается на пункт требования, повторы объединены, случаи для автоматизации отмечены отдельно, вопросы к аналитику заведены в трекер.

Автотесты

Генерация тестов с ИИ: четыре проверки перед приёмкой

Тест от помощника ревьюит человек, как код любого автора. Покрытие кода не цель: тест без проверки поднимает покрытие и ничего не ловит. Принимается тест, выдержавший все четыре проверки; виды бесполезных тестов разобраны в статье.

Ожидаемое взято из требования

Число в проверке можно показать в требовании или в примере аналитика. Если оно вычислено той же формулой, что в коде, тест повторяет код и подтверждает его ошибки.

Тест падает на дефекте

В копии кода вносится поломка: знак сравнения меняется, условие убирается. Хотя бы один тест обязан покраснеть. Для основных языков это делает инструмент мутационного тестирования, для критичных функций — человек.

Результат не зависит от порядка и времени

Тест запускается отдельно, повторно и в другом порядке, дата и случайные числа зафиксированы. Нестабильному тесту перестают верить.

Проверяется поведение, а не устройство

Тест смотрит на вход и выход, а не на то, какие внутренние функции вызваны. Иначе он ломается при каждой правке.

Данные

Тестовые данные: обезличивание боевой копии и синтетические наборы

Модель не должна видеть настоящие записи, а тестовый стенд не должен их хранить. Обе задачи решаются вместе.

Обезличивание боевой копии

Имена, телефоны, адреса и реквизиты заменяются значениями с тем же форматом: ИНН остаётся числом с верной контрольной цифрой, иначе проверки формата отклонят запись. Одно настоящее значение везде заменяется одним вымышленным, чтобы связи между таблицами не порвались. Свободный текст (комментарии, примечания) очищают целиком либо проверяет человек выборочно. Подмена имён не делает набор безопасным: по сочетанию города, должности и даты человека иногда можно узнать, поэтому стенд закрыт почти как боевая система, а правовую оценку даёт юрист заказчика.

Синтетические наборы

По схеме базы и правилам (диапазоны, обязательные поля, связи) строятся типовые, граничные (пустое поле, предельная длина, спецсимволы, даты на стыке года) и тяжёлые (много позиций в заказе) наборы. Модель описывает правила, записи создаёт обычный скрипт: набор воспроизводится при каждом запуске и не содержит выдуманных связей.

Как проверяем

Набор загружается на стенд, связи целы, граничные случаи действительно граничные. Номера, адреса и названия из боевой базы ищем в обезличенной копии: каждое совпадение разбираем как возможную утечку.

Сборка и трекер

Разбор падений, дубли в трекере и подсказки для регрессии

Упавшая сборка: гипотеза с доказательством

Помощник получает журнал прогона, список изменений и историю теста и называет класс причины: дефект продукта, нестабильный тест, стенд или данные, изменение требования. К ответу прилагается фрагмент журнала, на который он опирается, и следующий шаг: повторить, сравнить с прошлым зелёным прогоном, открыть коммит. Нестабильный тест выдаёт история: падал и проходил на том же коде. Слова «это дефект» появляются после того, как человек воспроизвёл падение.

Дубли и черновик отчёта

Новый отчёт сравнивается с карточками по смыслу, а не по словам. Порог подбираем по карточкам, которые вы уже объединили вручную: слишком низкий склеивает разные дефекты, слишком высокий пропускает дубли. По журналу готовится черновик: шаги, ожидаемый и фактический результат, версия, окружение. Серьёзность ставит человек.

Подсказки для регрессии

По изменённым файлам и карте «какой тест какой код запускает» помощник предлагает, с чего начать прогон. Карта строится из данных о покрытии прошлых запусков и всегда неполна, поэтому полный прогон по расписанию остаётся: подсказка сокращает ожидание, но не заменяет проверку.

Замер

Как проверяем помощника на вашем продукте до запуска

Чужие рейтинги ничего не говорят о вашем коде и ваших требованиях, поэтому эталоны берём из вашей истории. Порядок замера описан на странице оценки качества LLM-систем.

Задача
Откуда эталон
Что считаем
Чего не показывает
ЗадачаАвтотестыпрошлые ошибки
Откуда эталонИсправленные дефекты с версией кода до правки
Что считаемДолю случаев, где тест падает до исправления и проходит после
Чего не показываетПользу на новом коде, где ошибки ещё не найдены
ЗадачаТест-кейсываши наборы
Откуда эталонНаборы, которые тестировщики уже написали
Что считаемДолю ваших случаев, предложенных помощником, и долю лишних или с выдуманным результатом
Чего не показываетСлучаи, которых не придумал никто
ЗадачаПадения и отчётыизвестные причины, слитые карточки
Откуда эталонПрогоны с выясненной причиной и карточки, которые вы уже объединили
Что считаемДолю верных классов причины; найденные дубли и ложные склейки при выбранном пороге
Чего не показываетРедкие причины и скорость работы команды
ЗадачаТестовые данныезагрузка на стенд
Откуда эталонНаборы, которые принимает ваша система
Что считаемДолю наборов, принятых с первого раза; значения из боевой базы в копии
Чего не показываетУтечки в полях вне проверки
Что делаем

Из чего состоит работа и сколько она стоит

Цены — по тарифам. Цену внутри вилки двигают число языков и сред тестов, качество требований (если они нигде не записаны, первые недели уходят на их запись), состояние сборки и стенда и закрытый контур. Оборудование в цену не входит: если у вас уже работает локальная модель для разработчиков, пробуем её. Остановиться можно после любой ступени.

Обследование: одна команда и один продукт

Как тестируют сейчас, где лежат требования, код и отчёты об ошибках, как устроена сборка. Набор прошлых дефектов для замера, ограничения контура, правила использования, вилка бюджета. Вычитается из первого этапа.

200 000 ₽ · 2–3 недели

Обследование: несколько команд и систем

Несколько продуктов, трекеров и сегментов сети, разные языки тестов: раздельные индексы, права из ваших систем.

350 000 ₽ · 3–4 недели

Лёгкий пилот: один сценарий

Одна задача из таблицы выше на одном продукте, например тест-кейсы по требованиям или разбор упавших прогонов. Замер на ваших данных, отчёт об ошибках помощника.

150 000–400 000 ₽ · 2–8 недель

Тяжёлый пилот: несколько сценариев в сборке

Автотесты в песочнице, обезличенные данные, поиск дублей, подсказки для регрессии, подключение к трекеру и сборке, журнал, права из ваших систем.

400 000–1 200 000 ₽ · 2–3 месяца

Вывод в эксплуатацию

Опытная эксплуатация в командах, регламент обновления модели и повторного замера, передача исходников.

от 1 500 000 ₽ этапами по 300 000–700 000 ₽

Сопровождение

Обновление модели, повторный замер после смены продукта или языка, разбор обращений. Сверх пакета — 5 000 ₽ в час.

20 000 / 60 000 / 120 000 ₽ в месяц
Процесс

Как идёт работа

2–3 недели — Обследование

Смотрим, где живут требования, как запускаются тесты, какие ошибки доходили до пользователей. Из прошлых дефектов, готовых тест-кейсов и разобранных падений собираем набор для замера, часть набора закрываем от настройки. Выбираем один сценарий и человека, который принимает результат.

2–8 недель — Лёгкий пилот

Модель и индекс на стенде, замер, разбор ошибок. Одна команда работает с помощником на одном сценарии; мы смотрим принятое, исправленное и отклонённое и правим запросы и пороги.

2–3 месяца — Тяжёлый пилот

Сценарии подключаются к сборке и трекеру по одному, каждый после своего замера. Автотесты пишутся в песочнице: отдельная ветка, список разрешённых команд, подтверждение человеком перед слиянием.

От 3 месяцев — Эксплуатация

Остальные команды и продукты по этапам, регламент обновления модели и повторного замера, передача исходников. Если замер не дошёл до порога, остановка тоже результат: вы узнали, что на ваших данных помощник не помогает.

Контроль

Что остаётся у вас и чего мы не делаем

Дописывание кода, чат по кодовой базе и ревью описаны на странице ИИ-помощника для разработчиков. Поиск уязвимостей — это secure code review, SAST, DAST и SCA и DevSecOps, правки старого кода — рефакторинг legacy, изолированная сеть — локальная LLM. Здесь только тестирование.

Остаётся у вас

  • Исходный код помощника, скриптов генерации и подключений в вашем репозитории с первого коммита.
  • Набор для замера, протокол замера, правила использования и список лицензий моделей и компонентов.
  • Принятые тесты и тест-кейсы лежат у вас в обычном виде и не зависят от помощника: если его отключить, они продолжат работать.
  • Право остановиться после любой ступени: сделанное остаётся у вас по акту.

Мы этого не делаем

  • Не заменяем тестировщика и не решаем, готов ли релиз: результат принимает человек.
  • Не тестируем ваш продукт силами нашей команды: настраиваем помощника и замер, тестируют ваши сотрудники.
  • Не обещаем рост покрытия или ускорение тестирования в процентах: выигрыш зависит от продукта и требований.
  • Не атакуем боевые системы, не проводим пентест и нагрузочные испытания на них.
  • Не продаём лицензии на платформы автотестов и чужие ассистенты, не даём юридических заключений о лицензиях и об обезличенных данных.
  • Не берём работы дешевле 150 000 ₽, не дежурим круглосуточно, лицензии ФСТЭК нет, аттестацию не проводим.
Инструменты

На чём собираем

Модели и данные
  • Открытые модели для текста и кода, лицензия весов проверяется до выбора
  • Сервер инференса с открытым кодом на вашем оборудовании
  • Индекс требований и карточек трекера, векторный поиск в PostgreSQL
Подключения и сборка
  • Система контроля версий и трекер через их программный интерфейс
  • Запуск тестов в вашей сборке, песочница в отдельной ветке; генераторы данных на Python
  • Мутационное тестирование для основных языков, Docker, Linux
Материалы

Материалы по теме

Статья

ИИ для тестирования ПО: как использовать и где ошибается

Что отдавать модели, что проверять человеку и какие тесты зелёные, но ничего не ловят.

  • Задачи и проверки
  • Тесты, которые не падают
  • Локальная модель
Читать →
Статья

Как оценить качество LLM-системы: тестовый набор и метрики

Как собрать эталон из вашей истории и замерять помощника до запуска, а не после первых жалоб.

  • Тестовый набор
  • Метрики
  • Порог приёмки
Читать →
Статья

Как ограничить ИИ-агента: права, подтверждения, откат

Правила для режима, где помощник сам пишет тест, запускает его и правит.

  • Права
  • Подтверждения
  • Откат
Читать →
Заявка

Расскажите, как тестируете сейчас, и мы скажем, что замерять

Сорок минут созвона: на чём написан продукт, где живут требования и тесты, сколько человек в команде. По итогам скажем, с какой ступени начинать и в какую вилку это укладывается.

или оставьте заявку

Спасибо, заявка отправлена. Ответим в течение рабочего дня.

Не удалось отправить. Напишите в Telegram или MAX, или позвоните.

Вопросы

Частые вопросы: ии для тестирования по

Сколько стоит ИИ для тестирования ПО?

Начинаем с обследования: 200 000 ₽ за одну команду и один продукт, 350 000 ₽ за несколько команд и систем. Лёгкий пилот — 150 000–400 000 ₽, тяжёлый — 400 000–1 200 000 ₽, вывод в эксплуатацию от 1 500 000 ₽ этапами по 300 000–700 000 ₽, сопровождение от 20 000 ₽ в месяц. Оборудование в цену не входит. Обследование вычитается из первого этапа, если продолжаете с нами.

Что делает ИИ в QA и заменит ли он тестировщика?

Не заменит. Помощник готовит черновики и берёт рутину, но не знает, как должна вести себя система, если этого нет в требованиях, не оценивает серьёзность дефекта и не отвечает за выпуск. Меняется состав работы: меньше набора случаев, больше проверки результата и вопросов к аналитику.

Можно ли просто попросить публичный чат написать тесты?

Для открытого кода и учебных примеров можно, если внешний сервис разрешила служба безопасности. Для исходников, требований и журналов стенда с данными клиентов такой путь чаще не подходит по требованиям заказчика. Проверки результата в обоих случаях одни и те же.

Как понять, что сгенерированный тест чего-то стоит?

Внести в код дефект: хотя бы один тест должен упасть. Ещё три проверки: ожидаемое значение взято из требования, результат не зависит от порядка и времени, тест смотрит на поведение, а не на устройство кода. Не прошедший все четыре тест в репозиторий не попадает.

С какими языками и фреймворками работает помощник?

С теми, что умеет выбранная модель. Насколько хорошо она знает ваши языки и фреймворки, показывает замер на вашем коде, а не рейтинги: на распространённых языках результат обычно сильнее, чем на редких. Результат замера вы видите до решения о запуске.

Что с персональными данными в тестовых данных?

Боевые данные попадают на стенд только обезличенными, а модель их не видит. Подмена имён не делает набор безопасным, поэтому стенд закрывается по правилам вашей службы безопасности; правовую оценку даёт ваш юрист.

С чего начать, если автоматического запуска тестов в сборке нет?

С того, что даёт отдачу без него: тест-кейсы по требованиям и тестовые данные. Автотесты добавляем, когда в сборке появится автоматический запуск: помощнику нужно, на чём проверять результат.

Вы работаете только в Ростове-на-Дону?

Мы в Ростове-на-Дону, работаем с заказчиками по всей России: удалённо и в вашем контуре. Доступ к системам и обследование согласуем на старте с вашей службой безопасности.