Skip to content
Search AlmaLinux

This page uses Chinese content. Search opens the Chinese documentation.

    Browse this documentation

    AlmaLinux 10 OOM 排查实战:内存水位、overcommit、oom_score 与 systemd-oomd(容器取证)

    This content is not available in your language yet.

    在 almalinux:10 容器(aarch64;10.2「Lavender Lion」,镜像 almalinux:10@sha256:5a4b41a4…cfe8,2026-11-01)中实际执行的是读取面取证:dnf list systemd-oomd、/proc/meminfo 关键字段采样、/proc/sys/vm/{overcommit_memory,panic_on_oom,min_free_kbytes}、/proc/self/{oom_score,oom_score_adj} 与进程级采样、dmesg / journalctl -k 的 OOM 记录检索、ulimit -c。原始日志:plans/content-expansion/evidence/logs/alma-oom-triage.log(sha256 18536f10…,脚本 alma-oom-triage-run.sh 可复现)。

    一个必须先讲清的边界:容器与宿主共享内核。uname -r 在容器里读到的是宿主内核(本环境为 OrbStack 7.2.12-orbstack-00394-gbecdd6130068),所以 /proc/sys/vm/*、/proc/meminfo、dmesg 的数值只代表这台宿主的当前状态,不是 AlmaLinux 10 内核的默认值——本页把「读法」与「当前值」分开陈述,EL10 默认口径一律标注文献出处。EL10 内核 6.12 系列(6.12.0-211.64.1.el10_2)的口径取自既有 x86_64 VM 日志(alma-bonding-vlan.log 等)。

    本页没有做:实际触发 OOM(需要可控内存压力,容器共享宿主内核、压测会波及宿主)、systemd-oomd 运行时验证(容器无 systemd)、EL10 默认参数值核验——这些在文末「未验证事项」与证据清单 notRunnable 逐条登记。

    OOM killer 触发机制:水位、overcommit 与 oom_score

    Section titled “OOM killer 触发机制:水位、overcommit 与 oom_score”

    三个变量决定「谁在什么时候被杀」。理解它们,排查 OOM 才有抓手(机制部分为内核内存管理文档与 mm/oom_kill.c 的文献口径)。

    内存水位与 min_free_kbytes。 内核给每个内存区域维护 min/low/high 三条水位线,/proc/sys/vm/min_free_kbytes 是 min 水位的总量纲参数,low/high 由它派生:低于 low 唤醒 kswapd 后台回收,低于 min 则进入直接回收;回收后仍分配失败,才轮到 OOM killer。读当前值:

    Terminal window
    # cat /proc/sys/vm/min_free_kbytes
    45056

    容器宿主实测当前值为 45056(约 44 MiB);EL10 发行版默认值需在真实 EL10 内核上核验,未实测。

    overcommit 策略。 /proc/sys/vm/overcommit_memory 三态(内核文档口径):

    • 0 — 启发式:明显的明显超额分配被拒绝,其余放行(发行版常见默认,文献口径);
    • 1 — 总是允许:分配请求几乎不被拒绝,风险后移到运行时 OOM;
    • 2 — 严格模式:按 CommitLimit = (MemTotal − HugePages_Total × Hugepagesize) × overcommit_ratio / 100 + SwapTotal 把关,超出即拒绝分配。
    Terminal window
    # cat /proc/sys/vm/overcommit_memory
    1
    # cat /proc/sys/vm/panic_on_oom
    0

    容器宿主当前实测 overcommit_memory=1、panic_on_oom=0(不为单次 OOM panic)。在策略 1 下会出现 Committed_AS(已承诺总量)大于 CommitLimit(理论上限)的形态——本环境采样正是如此:

    MemTotal: 24639364 kB
    MemAvailable: 9746648 kB
    SwapTotal: 25687932 kB
    CommitLimit: 38007612 kB
    Committed_AS: 54419432 kB

    /proc/meminfo 是宿主全局视图(容器不做内存隔离时看到的就是宿主值);排查容器化业务时,先确认你在读的是整机还是某个 cgroup 的账(后者见 /cgroup-v2/ 的 memory.current/memory.max)。

    oom_score 与 oom_score_adj。 内核按 badness 启发式给每个进程打分(mm/oom_kill.c 文献口径),分数可在 /proc/pid/oom_score 直接读;oom_score_adj(范围 −1000~1000)是管理员可写的调整项,−1000 表示永不杀。容器内实测:

    Terminal window
    # cat /proc/self/oom_score_adj
    0
    # cat /proc/self/oom_score
    666

    bash(PID 1)默认 oom_score_adj=0、oom_score=666——分数本身随内存占用浮动,绝对值没有跨环境可比性,排序才有意义。

    systemd-oomd:用户态提前干预,与内核 OOM killer 的分工

    Section titled “systemd-oomd:用户态提前干预,与内核 OOM killer 的分工”

    EL10 带了 systemd 257 系列的 systemd-oomd:一个用户态守护进程,靠 cgroup v2 的内存压力(PSI)事件与 swap 使用率做判断,在内核 OOM killer 出手之前、以 cgroup 为单位提前终止(systemd-oomd.service 手册文献口径)。它与内核 OOM killer 的分工可以记成一句话:

    systemd-oomd(用户态提前干预)内核 OOM killer(最后手段)
    触发依据内存压力/swap 使用率阈值(趋势)水位失守且回收无效(存量耗尽)
    杀粒度整个 cgroup单个进程(badness 最高者)
    可预配置是(阈值、单元属性)仅 oom_score_adj 侧调整
    事后线索oomd 自身日志Out of memory: Killed process …

    EL10 交付形态(容器实测):systemd-oomd 在 BaseOS 可安装,版本 257-23.el10_2.2.alma.1:

    ## step: systemd-oomd-package
    Available Packages
    systemd-oomd.aarch64 257-23.el10_2.2.alma.1 baseos
    rc=0

    注意两点(均日志实测):基础容器镜像没有预装它(/usr/lib/systemd/system/systemd-oomd.service 文件缺失);容器里 PID 1 是 bash、没有 systemd,所以 oomd 的运行时行为本页完全未实测——服务启用、阈值配置与真实 kill 事件需要在 systemd 主机上验证。

    定位 OOM 记录:dmesg / journalctl 与 core dump

    Section titled “定位 OOM 记录:dmesg / journalctl 与 core dump”

    OOM 发生后,内核会把现场写进内核日志,格式是 Out of memory: Killed process …(mm/oom_kill.c 文献口径),包含被杀进程的 PID、名字、oom_score_adj 与内存账。两条检索命令:

    Terminal window
    # dmesg | grep -i "out of memory"
    # journalctl -k | grep -i oom

    容器实测结果如实记录(这是本篇取证里最诚实的两行):

    ## step: dmesg-oom-grep
    dmesg-rc=1
    dmesg-output: dmesg: read kernel buffer failed: Operation not permitted
    ## step: journalctl-kernel-oom
    journalctl-k-rc=0
    grep-oom-hrc=1
    no-oom-lines

    解读:容器内 dmesg 读内核缓冲区被 seccomp/caps 拦下(rc=1),journalctl -k 命令成功但容器没有持久内核日志、自然无 OOM 行。这不代表命令不可用——在真实 EL10 主机上,root 运行 dmesg/journalctl -k 是标准做法;journald 若配置了持久化(Storage=persistent),重启前的 OOM 记录也能查到。排查线上问题时优先 journalctl -k(带时间戳、可过滤启动期),dmesg 兜底。

    core dump 侧:容器实测 ulimit -c = unlimited(默认不设 core 上限);但 OOM kill 是 SIGKILL,进程没有机会自己清理,要拿到被杀进程的 core 还需要 systemd-coredump 一类机制在系统级落盘(文献口径,未实测)。

    排查框架:从 OOM 记录到泄漏进程(含 cgroup memory.max 联动)

    Section titled “排查框架:从 OOM 记录到泄漏进程(含 cgroup memory.max 联动)”

    把前面三节串成一条可执行的排查线(文献口径 + 容器读取面实测):

    1. 找记录:journalctl -k | grep -i oom(或 dmesg)拿到 Out of memory: Killed process 行——这里有被杀进程名、PID 与触发时的 oom_score_adj;容器内受限的实测边界见上一节。
    2. 复盘候选排序:对存活进程读 /proc/pid/oom_score 排序,确认「为什么是它被杀」;对不该被杀的关键守护进程,用 oom_score_adj(−1000~1000)或 systemd 单元里的 OOMScoreAdjust= 做保护——调整后分数立即可读回验证(本页实测的是读取面,保护动作在真实主机上的效果未实测)。
    3. 定位泄漏:ps aux --sort=-rss | head 看 RSS 排名,隔一段时间再比对 /proc/pid/status 的 VmRSS——只涨不降的进程就是头号嫌疑。
    4. 划清「整机 OOM」与「cgroup 局部 OOM」:如果业务在 cgroup/容器里,memory.max 打满时会在该 cgroup 内部触发 OOM,整机内存可能还有富余——这时日志要带 cgroup 上下文读,预防性限额(memory.max、systemd 单元 MemoryMax=)属于 cgroup v2 的职责范围,见 /cgroup-v2/;本页只负责 OOM 已经发生之后的事。
    • 实际触发 OOM 并观察 kill 行为:未实测。需要可控内存压力与宿主隔离(容器共享宿主内核,压测会波及宿主),证据清单 notRunnable 第 1 条。
    • systemd-oomd 运行时验证(启用服务、阈值配置、真实 kill 事件):未实测。容器无 systemd 且未预装该包,notRunnable 第 2 条。
    • EL10 默认参数值(overcommit_memory、min_free_kbytes 的发行版默认):未实测。本容器读到的 /proc/sys/vm 数值是宿主(OrbStack)当前状态,notRunnable 第 3 条;文中机制与默认值口径均为内核文档/mm/oom_kill.c 文献口径。
    • coredumpctl 落盘 OOM core 的端到端:未实测(需 systemd-coredump 环境)。