Практическое задание

Эта задача — шаг 8 курса «Контейнеры изнутри: namespaces и cgroups»

Отчёт, который съедает память: memory.max

средне~12 мин

Квартальный отчёт /opt/report/build.py на кривых данных начинает есть память без предела. В прошлый раз OOM-killer ядра выбрал жертвой не его, а базу на том же сервере. Пока разработчики чинят скрипт, ограничь его средствами ядра:

  1. Создай cgroup v2 report (каталог в /sys/fs/cgroup) с лимитом памяти 64 МиБ и запрети группе своп.
  2. Запусти /opt/report/build.py внутри этой группы и убедись, что ядро убило его внутри группы — а остальной сервер не заметил.

Без лимита скрипт не запускай: на боевом сервере он съел бы всю память. В лаборатории у него есть предохранитель — вне группы с маленьким лимитом он остановится сам на 256 МиБ, но OOM-kill внутри группы тогда не случится. cgroup v2 смонтирована в /sys/fs/cgroup, контроллеры для дочерних групп уже включены.

Что потренируешь:
  • cgroups
  • cgroup v2
  • memory.max
  • OOM killer

Разбор темы

cgroup (control group) — механизм ядра, который ограничивает и считает ресурсы группы процессов: память, процессор, ввод-вывод, число процессов. В cgroup v2 все группы — одно дерево каталогов в /sys/fs/cgroup: создать группу — mkdir, перенести процесс — записать его PID в cgroup.procs, а его потомки рождаются уже в той же группе. Лимит памяти ставит memory.max. Когда группа упирается в лимит и память не освобождается, OOM-killer срабатывает внутри группы: убивает процесс из неё, а не первый попавшийся на сервере. Счётчики oom и oom_kill в memory.events показывают, что это случилось. Флаг --memory у docker run и limits.memory в Kubernetes — это тот же memory.max группы контейнера.

Что проверяется

  1. Группа report создана
  2. Лимит памяти группы — 64 МиБ
  3. Своп группе запрещён
  4. Ядро убило процесс внутри группы по лимиту памяти
  5. Отчёт не работает вне группы report

Как это выглядит