В прошлый вторник патч агента превратил каждые 404 в 403. Все тесты пройдены. Патч изменил обработчик ошибок после выполнения утверждений. Это не провал теста. Это слепое пятно. Большинство наборов тестов подтверждают только то, что вы запомнили. Э...
В прошлый вторник патч агента превратил каждые 404 в 403. Все тесты пройдены. Патч изменил обработчик ошибок после выполнения утверждений. Это не провал теста. Это слепое пятно.
Большинство наборов тестов подтверждают только то, что вы запомнили. Они не могут видеть тени. Агентские патчи любят тени. Они перемещают код. Они переименовывают символы. Они меняют порядок ветвей. Поведение остается прежним до тех пор, пока оно не изменится.
Я использую поведенческие снимки, чтобы уловить этот дрейф. Идея до боли скучная. Запишите выходные данные фиксированных датчиков. Запустите те же пробы после патча. Сравните отпечатки пальцев. Если они отличаются, значит, патч изменил что-то непреднамеренное. Вы получаете разницу. Никаких догадок. Никаких липовых тестов.
Раскрытие информации: эта статья была подготовлена в рамках информационно-пропагандистской программы MonkeyCode.
Инфраструктура намеренно дешевая. Я запускаю программу на бесплатном сервере MonkeyCode. Я использую пул токенов бесплатной модели, состоящий из 10 миллионов токенов, для генерации входных данных зонда. Этот пул платит за крайние случаи. Никакого графического процессора не требуется. Нет платного CI-раннера.
Основная часть — это один скрипт Python. Он читает файлы фикстур. Он выполняет вашу функцию в подпроцессе. Он хэширует вывод JSON. Вот код.
импортировать JSON
импортировать хеш-библиотеку
импортировать подпроцессы