Чего автоматизация DevOps не может сделать в 3 часа ночи

У каждой оперативной группы есть своя версия одной и той же истории. Модуль Terraform каждый раз предоставляет один и тот же стек. Рабочий процесс GitHub Actions запускает тесты и отправляется при слиянии. Правило PagerDuty направляет оповещение тому, кто находится на связи. Все это работает. Затем что-то будит этого человека в 3 часа ночи, и ничего не помогает, потому что инцидент не является той проблемой, для решения которой были созданы эти инструменты. Где заканчивается детерминированная автоматизация Автоматизация на основе правил отлично подходит для случаев, которые вы уже достаточно хорошо поняли, чтобы их записать. Если загрузка ЦП остается выше 90 процентов в течение пяти минут, увеличьте масштаб. Если проверка работоспособности не удалась три раза, перезапустите модуль. Если диск превышает 85 процентов, запустите задание очистки. Этот детерминизм — это особенность, а не ограничение, и он должен оставаться там, где он есть. Проблема в том, что правила нарушаются там, где их автор не предвидел. Скачок до 95 процентов может быть законным всплеском, который исчезнет через тридцать секунд, или это может быть первый видимый симптом утечки, которая приведет к отключению службы через час. Правильный ответ зависит от того, что еще изменилось, что было добавлено недавно и что та же метрика сделала в прошлый вторник. Одиночный порог ничего из этого не видит, поэтому он