At 3 a.m., every dashboard in your monitoring stack is green. CPU is fine. Memory is fine. The load balancer is healthy, the database is responding, the p99 latency is sitting comfortably under its threshold. If you got paged right now, you...
В 3 часа ночи все панели мониторинга в вашем стеке мониторинга становятся зелеными.
Процессор в порядке. Память в порядке. Балансировщик нагрузки исправен, база данных отвечает, задержка p99 находится ниже порогового значения. Если бы вам позвонили прямо сейчас, вы бы разозлились, потому что все в порядке.
И все же где-то там покупатель смотрит на спиннер. Другой получает ответ 200 с пустым массивом, где должны быть их данные. Третий попытался что-то сохранить, увидел, что кнопка сохранения стала серой, и предположил, что он сделал что-то не так.
Никто из них не подаст билет. Они просто закроют вкладку.
«Вверх» — неправильный вопрос
Мы построили всю нашу культуру мониторинга вокруг двоичного файла: он работает или нет? Этот вопрос имел смысл, когда произошел громкий сбой в инфраструктуре — сбой процесса, сбой диска, обрыв соединения. Раньше машины выходили из строя по очевидным причинам.
Теперь они терпят неудачу вежливо.
Служба возвращает 200. Текст ответа — действительный JSON. Это просто неправильно. Флаг функции перевернулся, и 20% пользователей видят неработающий вариант. Сторонний API, от которого вы зависите, начал возвращать пустые результаты вместо ошибки, поэтому ваш пользовательский интерфейс послушно отображает пустое состояние, которое