Инцидент · сложно

Латентность скачет

API каталога то и дело ловит таймауты от Redis: лимит у клиента 10 мс, а большинство запросов укладываются в 1–2 мс. Ошибки идут волнами каждые несколько секунд, нагрузка на сервис при этом обычная. Найди, что тормозит Redis, и убери причину, ничего не сломав.

Наблюдается

В /var/log/app/api.log периодически — «redis timeout after 10ms»; redis-cli --latency показывает среднее около миллисекунды и редкие пики в десятки миллисекунд

Сложность
сложно
Проверки
4 проверки
Сессия
до 60 минут
Подсказки
нет

Как проходит инцидент

  1. Сервер уже сломан

    Песочница — настоящий Linux с root-доступом, сломанный ровно так, как в легенде. Ничего не нужно ставить.

  2. Расследуй

    Логи, процессы, конфиги, сеть — как на дежурстве. Подсказок нет: только легенда и симптом.

  3. Почини и проверь

    Проверки скажут, что ещё не так с системой, но не скажут почему. Инцидент закрыт, когда проходят все.

  4. Сдался — разбор

    Можно сдаться: откроется разбор корневой причины, а инцидент вернётся через сутки, с чистого состояния.

Что тренирует

  • искать причину, а не латать симптом
  • читать логи и журналы служб
  • разбираться в процессах, портах и конфигах
  • проверять, что починка ничего не сломала рядом