AlmaLinux 10 OOM 排查实战:内存水位、overcommit、oom_score 与 systemd-oomd(容器取证)
This content is not available in your language yet.
在 almalinux:10 容器(aarch64;10.2「Lavender Lion」,镜像 almalinux:10@sha256:5a4b41a4…cfe8,2026-11-01)中实际执行的是读取面取证:dnf list systemd-oomd、/proc/meminfo 关键字段采样、/proc/sys/vm/{overcommit_memory,panic_on_oom,min_free_kbytes}、/proc/self/{oom_score,oom_score_adj} 与进程级采样、dmesg / journalctl -k 的 OOM 记录检索、ulimit -c。原始日志:plans/content-expansion/evidence/logs/alma-oom-triage.log(sha256 18536f10…,脚本 alma-oom-triage-run.sh 可复现)。
一个必须先讲清的边界:容器与宿主共享内核。uname -r 在容器里读到的是宿主内核(本环境为 OrbStack 7.2.12-orbstack-00394-gbecdd6130068),所以 /proc/sys/vm/*、/proc/meminfo、dmesg 的数值只代表这台宿主的当前状态,不是 AlmaLinux 10 内核的默认值——本页把「读法」与「当前值」分开陈述,EL10 默认口径一律标注文献出处。EL10 内核 6.12 系列(6.12.0-211.64.1.el10_2)的口径取自既有 x86_64 VM 日志(alma-bonding-vlan.log 等)。
本页没有做:实际触发 OOM(需要可控内存压力,容器共享宿主内核、压测会波及宿主)、systemd-oomd 运行时验证(容器无 systemd)、EL10 默认参数值核验——这些在文末「未验证事项」与证据清单 notRunnable 逐条登记。
OOM killer 触发机制:水位、overcommit 与 oom_score
Section titled “OOM killer 触发机制:水位、overcommit 与 oom_score”三个变量决定「谁在什么时候被杀」。理解它们,排查 OOM 才有抓手(机制部分为内核内存管理文档与 mm/oom_kill.c 的文献口径)。
内存水位与 min_free_kbytes。 内核给每个内存区域维护 min/low/high 三条水位线,/proc/sys/vm/min_free_kbytes 是 min 水位的总量纲参数,low/high 由它派生:低于 low 唤醒 kswapd 后台回收,低于 min 则进入直接回收;回收后仍分配失败,才轮到 OOM killer。读当前值:
# cat /proc/sys/vm/min_free_kbytes45056容器宿主实测当前值为 45056(约 44 MiB);EL10 发行版默认值需在真实 EL10 内核上核验,未实测。
overcommit 策略。 /proc/sys/vm/overcommit_memory 三态(内核文档口径):
0— 启发式:明显的明显超额分配被拒绝,其余放行(发行版常见默认,文献口径);1— 总是允许:分配请求几乎不被拒绝,风险后移到运行时 OOM;2— 严格模式:按CommitLimit = (MemTotal − HugePages_Total × Hugepagesize) × overcommit_ratio / 100 + SwapTotal把关,超出即拒绝分配。
# cat /proc/sys/vm/overcommit_memory1# cat /proc/sys/vm/panic_on_oom0容器宿主当前实测 overcommit_memory=1、panic_on_oom=0(不为单次 OOM panic)。在策略 1 下会出现 Committed_AS(已承诺总量)大于 CommitLimit(理论上限)的形态——本环境采样正是如此:
MemTotal: 24639364 kBMemAvailable: 9746648 kBSwapTotal: 25687932 kBCommitLimit: 38007612 kBCommitted_AS: 54419432 kB/proc/meminfo 是宿主全局视图(容器不做内存隔离时看到的就是宿主值);排查容器化业务时,先确认你在读的是整机还是某个 cgroup 的账(后者见 /cgroup-v2/ 的 memory.current/memory.max)。
oom_score 与 oom_score_adj。 内核按 badness 启发式给每个进程打分(mm/oom_kill.c 文献口径),分数可在 /proc/pid/oom_score 直接读;oom_score_adj(范围 −1000~1000)是管理员可写的调整项,−1000 表示永不杀。容器内实测:
# cat /proc/self/oom_score_adj0# cat /proc/self/oom_score666bash(PID 1)默认 oom_score_adj=0、oom_score=666——分数本身随内存占用浮动,绝对值没有跨环境可比性,排序才有意义。
systemd-oomd:用户态提前干预,与内核 OOM killer 的分工
Section titled “systemd-oomd:用户态提前干预,与内核 OOM killer 的分工”EL10 带了 systemd 257 系列的 systemd-oomd:一个用户态守护进程,靠 cgroup v2 的内存压力(PSI)事件与 swap 使用率做判断,在内核 OOM killer 出手之前、以 cgroup 为单位提前终止(systemd-oomd.service 手册文献口径)。它与内核 OOM killer 的分工可以记成一句话:
| systemd-oomd(用户态提前干预) | 内核 OOM killer(最后手段) | |
|---|---|---|
| 触发依据 | 内存压力/swap 使用率阈值(趋势) | 水位失守且回收无效(存量耗尽) |
| 杀粒度 | 整个 cgroup | 单个进程(badness 最高者) |
| 可预配置 | 是(阈值、单元属性) | 仅 oom_score_adj 侧调整 |
| 事后线索 | oomd 自身日志 | Out of memory: Killed process … |
EL10 交付形态(容器实测):systemd-oomd 在 BaseOS 可安装,版本 257-23.el10_2.2.alma.1:
## step: systemd-oomd-packageAvailable Packagessystemd-oomd.aarch64 257-23.el10_2.2.alma.1 baseosrc=0注意两点(均日志实测):基础容器镜像没有预装它(/usr/lib/systemd/system/systemd-oomd.service 文件缺失);容器里 PID 1 是 bash、没有 systemd,所以 oomd 的运行时行为本页完全未实测——服务启用、阈值配置与真实 kill 事件需要在 systemd 主机上验证。
定位 OOM 记录:dmesg / journalctl 与 core dump
Section titled “定位 OOM 记录:dmesg / journalctl 与 core dump”OOM 发生后,内核会把现场写进内核日志,格式是 Out of memory: Killed process …(mm/oom_kill.c 文献口径),包含被杀进程的 PID、名字、oom_score_adj 与内存账。两条检索命令:
# dmesg | grep -i "out of memory"# journalctl -k | grep -i oom容器实测结果如实记录(这是本篇取证里最诚实的两行):
## step: dmesg-oom-grepdmesg-rc=1dmesg-output: dmesg: read kernel buffer failed: Operation not permitted## step: journalctl-kernel-oomjournalctl-k-rc=0grep-oom-hrc=1no-oom-lines解读:容器内 dmesg 读内核缓冲区被 seccomp/caps 拦下(rc=1),journalctl -k 命令成功但容器没有持久内核日志、自然无 OOM 行。这不代表命令不可用——在真实 EL10 主机上,root 运行 dmesg/journalctl -k 是标准做法;journald 若配置了持久化(Storage=persistent),重启前的 OOM 记录也能查到。排查线上问题时优先 journalctl -k(带时间戳、可过滤启动期),dmesg 兜底。
core dump 侧:容器实测 ulimit -c = unlimited(默认不设 core 上限);但 OOM kill 是 SIGKILL,进程没有机会自己清理,要拿到被杀进程的 core 还需要 systemd-coredump 一类机制在系统级落盘(文献口径,未实测)。
排查框架:从 OOM 记录到泄漏进程(含 cgroup memory.max 联动)
Section titled “排查框架:从 OOM 记录到泄漏进程(含 cgroup memory.max 联动)”把前面三节串成一条可执行的排查线(文献口径 + 容器读取面实测):
- 找记录:
journalctl -k | grep -i oom(或dmesg)拿到Out of memory: Killed process行——这里有被杀进程名、PID 与触发时的oom_score_adj;容器内受限的实测边界见上一节。 - 复盘候选排序:对存活进程读
/proc/pid/oom_score排序,确认「为什么是它被杀」;对不该被杀的关键守护进程,用oom_score_adj(−1000~1000)或 systemd 单元里的OOMScoreAdjust=做保护——调整后分数立即可读回验证(本页实测的是读取面,保护动作在真实主机上的效果未实测)。 - 定位泄漏:
ps aux --sort=-rss | head看 RSS 排名,隔一段时间再比对/proc/pid/status的VmRSS——只涨不降的进程就是头号嫌疑。 - 划清「整机 OOM」与「cgroup 局部 OOM」:如果业务在 cgroup/容器里,
memory.max打满时会在该 cgroup 内部触发 OOM,整机内存可能还有富余——这时日志要带 cgroup 上下文读,预防性限额(memory.max、systemd 单元MemoryMax=)属于 cgroup v2 的职责范围,见 /cgroup-v2/;本页只负责 OOM 已经发生之后的事。
- 实际触发 OOM 并观察 kill 行为:未实测。需要可控内存压力与宿主隔离(容器共享宿主内核,压测会波及宿主),证据清单
notRunnable第 1 条。 - systemd-oomd 运行时验证(启用服务、阈值配置、真实 kill 事件):未实测。容器无 systemd 且未预装该包,
notRunnable第 2 条。 - EL10 默认参数值(
overcommit_memory、min_free_kbytes的发行版默认):未实测。本容器读到的/proc/sys/vm数值是宿主(OrbStack)当前状态,notRunnable第 3 条;文中机制与默认值口径均为内核文档/mm/oom_kill.c文献口径。 - coredumpctl 落盘 OOM core 的端到端:未实测(需 systemd-coredump 环境)。