AlmaLinux 10 core dump 采集入门 — ulimit 与 core_pattern、systemd-coredump 默认路径与 coredumpctl(容器实测)
在 almalinux:10 容器(aarch64;10.2「Lavender Lion」,镜像 almalinux:10@sha256:5a4b41a4…cfe8,2026-10-31)中实际执行:ulimit -c 与 ulimit -a 双查、dnf list systemd-coredump 空态与 dnf provides "*/coredumpctl" 归属采样、/proc/sys/kernel/core_pattern 读取、dnf install systemd-udev 与包内 coredump 文件清点(50-coredump.conf / socket / @.service 原文)、/proc/sys/kernel/coredump_filter 存在性检查、coredumpctl --version/--help/list 工具链行为(同镜像重开容器补采)、/etc/systemd/coredump.conf 落盘状态与 /usr/lib/systemd/coredump.conf 默认配置原文(补采)。原始日志:plans/content-expansion/evidence/logs/alma-coredump.log(主会话取证 + 两次同镜像重开容器补采,合并进对应 step)。
本页没有执行:可控崩溃与真实 core 文件产生、gdb 加载 core 分析、core_pattern 自定义(宿主内核共享值,不动)——这些标注「未实测」,见文末「未验证事项」。
core dump 的三种采集方式
Section titled “core dump 的三种采集方式”进程崩溃后留下的调试现场,EL10 上有三条采集途径:
| 方式 | 机制 | 谁控制 | 实测状态 |
|---|---|---|---|
| ① 传统路径 | 内核按 RLIMIT_CORE(ulimit -c)+ kernel.core_pattern 写 core 文件 | shell ulimit + 内核参数 | ✅ 参数实测(本页) |
| ② systemd-coredump | 内核把 core 管道给 /usr/lib/systemd/systemd-coredump,记入 journald、core 外存到 /var/lib/systemd/coredump/ | systemd-udev 包的 50-coredump.conf + 单元 | ✅ 包级实测(本页);运行时未实测 |
| ③ 手动 gcore | 调试器对运行中进程取内存快照,不经内核 core_pattern | gcore pid“ / gdb | ❌ 未实测(文献口径) |
①是所有机制的底座:内核只有同时满足「进程的 core 限额放得下」(RLIMIT_CORE,shell 里就是 ulimit -c)和「core_pattern 指了一个去处」才会写 core。②是 EL10 的默认方案——core_pattern 被 50-coredump.conf 设成管道,crash 的现场进 journald 与 /var/lib/systemd/coredump/,按 freedesktop 手册默认记入 journal(含回溯)+ core 本体外存,几天后由 tmpfiles 自动清理。③是绕开崩溃时刻的补救:服务还在跑但怀疑有内存问题时,gcore 直接取证,同样可以后续用 gdb 分析。
这一页先把①的参数读清楚(ulimit -c、core_pattern),再把②的包级事实(谁提供、装什么、默认配置)实测一遍;②的运行时行为和③属于「需要可控崩溃场景」的部分,明确标注未实测。
EL10 默认状态:ulimit -c = unlimited ≠ 采集在跑
Section titled “EL10 默认状态:ulimit -c = unlimited ≠ 采集在跑”先说实测(almalinux:10 容器,aarch64,2026-10-31):
$ ulimit -cunlimited$ ulimit -a | grep -i 'core file'core file size (blocks, -c) unlimitedulimit -c = unlimited 意思是:这个 shell 里启动的进程,内核允许它写不限大小的 core 文件。这经常被当成「core dump 功能已开」的标志——不对。ulimit -c 只是条件的一半,另一半是 core_pattern 有去处,以及②路径下 systemd-coredump 的处理链真的在跑。
同一容器里的三个实测事实说明另一半并不成立:
$ dnf list systemd-coredumpError: No matching Packages to list ← EL10 没有 systemd-coredump 独立包$ rpm -q systemd; rpm -q systemd-udevsystemd-257-23.el10_2.2.alma.1.aarch64 ← systemd 主包在(rpm 库里有)package systemd-udev is not installed ← 承载采集面的包不在$ cat /proc/1/commbash ← 容器无 systemd 运行时也就是说:最小容器此刻「ulimit -c 放开 + core_pattern=core(宿主内核值,见下一节)+ 没有任何 coredump 处理器」。真按传统路径崩了,core 会按 core_pattern 落在当前目录——前提是进程有写权限;而②的 systemd-coredump 路径在完整安装的 EL10 主机上是随系统就位的(下一节看它的包级证据),但采集服务是否在跑,要以 systemctl status systemd-coredump.socket 等实际状态为准(容器无 systemd,未实测)。
还有一个容易忽略的点:ulimit -c 是逐进程的资源限额。容器 shell 实测的 unlimited 不自动等于其他部署形态的值;systemd 管理的服务由 unit 里的 LimitCORE= 指令单独控制(手册口径,未实测),排查服务崩溃时要看的是那个服务自己的限额。
core_pattern:内核把 core 写到哪
Section titled “core_pattern:内核把 core 写到哪”kernel.core_pattern 决定 core 的去处,语法见 core(5)。三种典型形态:
| 值 | 形态 | 含义 |
|---|---|---|
core | 文件名模板 | 写到进程当前目录的 core(配合 core_uses_pid=1 时带 PID) |
|/usr/lib/systemd/systemd-coredump %P %u … | 管道 | 内核把 core 通过 stdin 交给该程序处理——②路径的接线方式 |
@ 开头 | 保留语义 | @ 前缀有特殊含义(abrt 等曾用),自定义时避开 |
容器实测(注意 namespace 边界):
$ cat /proc/sys/kernel/core_patterncore$ cat /proc/sys/kernel/core_uses_pid1这个 core 是宿主机内核的值,不是 EL10 默认。kernel.core_pattern 不随容器 namespace 隔离——容器和宿主共享这一个参数,所以在容器里读到什么都以宿主为准。本次实测只能证明「当前容器运行环境走传统路径」;完整安装的 EL10 主机上,这个参数默认被 ②的 50-coredump.conf 改写。
EL10 默认模板的出处是 systemd-udev 包自带的 sysctl 配置,包内文件实测原文(节选关键三行):
kernel.core_pattern=|/usr/lib/systemd/systemd-coredump %P %u %g %s %t %c %h %d %Fkernel.core_pipe_limit=16fs.suid_dumpable=2三个值各管一件事:core_pattern 把 core 管道给处理程序(%P 等 Format 符号把 PID/UID/信号等元数据传给处理程序);core_pipe_limit=16 允许内核同时排队 16 个并发崩溃等用户态处理完(对应 socket 单元的 MaxConnections=16,包内注释原文写明);fs.suid_dumpable=2(suidsafe)让 setuid/setgid 程序也能 dump(core 的属主按崩溃进程的 euid/egid 记(包内注释原文),包内注释原文)。这份文件由 sysctl.d 机制在开机时应用(手册口径)——装着 systemd-udev 的完整系统,开机后 core_pattern 就是管道形态。
自定义与停用(均按 freedesktop 手册口径转述,未实测——该参数是宿主内核共享值,non-destructive 策略下不改):
# 临时改(重启失效)sysctl -w kernel.core_pattern='/var/crash/core.%e.%p'# 持久化:写 /etc/sysctl.d/ 下新文件(如 /etc/sysctl.d/50-coredump.conf 覆盖或新名)后sysctl --system# 停用 systemd-coredump 的资源占用:/etc/systemd/coredump.conf.d/*.conf 里# [Coredump] Storage=none + ProcessSizeMax=0一个与「内核侧参数」相关的实测空白:常见文档提到的 /proc/sys/kernel/coredump_filter 在本宿主内核上不存在(ls/cat 均 rc=1,如实记录)。内核的 coredump filter 接口是每进程的 /proc/pid/coredump_filter(控制哪些内存段计入 core),容器内没有崩溃进程可查,其形态未验证——按「如存在」检查的结论就是「此环境没有这个全局路径」。
systemd-coredump 与 coredumpctl:EL10 的默认路径(包级实测)
Section titled “systemd-coredump 与 coredumpctl:EL10 的默认路径(包级实测)”第一件实测清楚的事:coredumpctl 不在名为 systemd-coredump 的包里——EL10 根本没有这个包(上一节 dnf list 空态)。它的归属靠 dnf provides 采样:
$ dnf provides '*/coredumpctl'systemd-udev-257-23.el10_2.2.alma.1.aarch64 : Rule-based device node and kernel event managerRepo : baseosMatched from:Filename : /usr/bin/coredumpctl也就是 coredumpctl 属 systemd-udev 包(baseos)。安装它,完整的采集面就一次到位(实测事务 安装事务共 11 个包(含 systemd-udev 本身):cryptsetup-libs、device-mapper(-libs)、kmod(-libs)、kbd 三件套、libcbor、libfido2、systemd-udev):
sudo dnf install -y systemd-udevrpm -q systemd-udev # 257-23.el10_2.2.alma.1装完落盘的 coredump 相关文件(实测 rpm -ql 清单 18 项,关键项):
| 文件/目录 | 角色 |
|---|---|
/usr/bin/coredumpctl | 查询/提取/调试入口(命令面见下一节) |
/usr/lib/systemd/system/systemd-coredump.socket | 内核侧接线的 socket:ListenSequentialPacket=/run/systemd/coredump、MaxConnections=16 |
/usr/lib/systemd/system/[email protected] | 每次崩溃拉起一个实例做实际处理:ExecStart=-/usr/lib/systemd/systemd-coredump,带 PrivateNetwork=yes、ProtectSystem=strict、RuntimeMaxSec=5min 等加固项,StateDirectory=systemd/coredump |
/usr/lib/systemd/system/sockets.target.wants/systemd-coredump.socket | 随包预启用的接线——装了包,开机 socket 就在监听 |
/usr/lib/sysctl.d/50-coredump.conf | 开机把 core_pattern 设成管道(上一节原文) |
/usr/lib/systemd/coredump.conf | 出厂默认配置(见下) |
/var/lib/systemd/coredump/ | core 外存目录(StateDirectory 对应) |
用户/组 systemd-coredump(998:998) | 安装 scriptlet 创建(systemd Core Dumper) |
两个包级细节值得单独说:
其一,/etc/systemd/coredump.conf 装完不存在。 rpm -ql 列了它,但磁盘上没有(实测 test -e rc=1);rpm -q --dump 显示它是幽灵条目(size 0、摘要全零)。出厂默认在 /usr/lib/systemd/coredump.conf(实测原文,头注 compile time defaults):
[Coredump]#Storage=external # 注释态默认:core 存外存(/var/lib/systemd/coredump/)#Compress=yes # 注释态默认:压缩存储ProcessSizeMax=1G # 生效:单进程 core 处理上限 1GExternalSizeMax=1G # 生效:外存文件上限 1G#JournalSizeMax=767M#MaxUse=#KeepFree=#EnterNamespace=no # 容器崩溃信息默认不在宿主侧进容器处理要调整就自建 /etc/systemd/coredump.conf 或放 /etc/systemd/coredump.conf.d/*.conf drop-in(手册口径)。
其二,EL10 的 257 只有「socket + @.service」传统路径。 rpm -ql systemd-udev 里没有 systemd-coredumpd.service——那是上游 systemd v262+ 才有的常驻管理器模式,EL10 不涉及;EL10 崩溃处理就是内核按管道模板调 systemd-coredump,再经 socket 拉起 @.service 实例落盘入库(手册口径 + 包清单实测)。
工具链本身实测(同镜像重开容器补采):
$ coredumpctl --versionsystemd 257 (257-23.el10_2.2.alma.1-g979d326)$ coredumpctl list # 容器无 systemd/journald 运行时No journal files were found.No coredumps found. (rc=1)命令面(--help 实测):list(默认)/ info / dump / debug 四个动词,配 -1(只看最新)、-S/-U(时间窗)、--json、--debugger、--file/--directory(离线 journal)等选项。产生真实 coredump 记录未实测——那需要可控崩溃场景与运行中的 journald。
gdb 与 coredumpctl:崩溃后的分析路径
Section titled “gdb 与 coredumpctl:崩溃后的分析路径”crash 发生、systemd-coredump 处理完之后(这部分是手册口径的用法转述,本页容器实测止于上一节的命令面):
# 1) 直接在 journal 里看崩溃事件(systemd-coredump 的消息有固定 MESSAGE_ID)journalctl MESSAGE_ID=fc2e22bc6ee647b6b90729ab34a250b1 -o verbose
# 2) coredumpctl 三板斧coredumpctl list # 崩溃清单:时间/PID/信号/可执行文件coredumpctl info # 单条详情(-1 只看最新一条)coredumpctl debug # 调起 gdb 直接载入对应 core
# 3) 不用 coredumpctl 的传统做法:gdb 手动加载gdb /path/to/program /path/to/corecoredumpctl debug 等价于「找到 core + gdb 加载」的一条龙(--debugger=/-A 可换调试器与参数);dump 则把 core 导出为文件。三条路的共同前提是调试符号:没有符号的 gdb 只有地址和寄存器,出不了可读回溯。发行版软件的符号装对应的 debuginfo 包:
dnf debuginfo-install `package` # 装上后再 gdb/coredumpctl debug 才有函数名与行号安装与启用边界再强调一次:systemd-coredump 的处理链要 systemd-udev 在位且 socket 被监听(包级预启用实测成立);服务自己的 ulimit -c/LimitCORE= 要放得下;core 上限与清理策略由 coredump.conf 与 tmpfiles 管(手册口径:默认几天后自动清理)。
- 真实崩溃链路:可控崩溃 →
core_pattern分发 → systemd-coredump 处理 → journal 记录 →/var/lib/systemd/coredump/落盘 → tmpfiles 清理,全链路未实测(容器 PID1=bash、无 journald;需要实机或完整容器做可控崩溃场景)。 - coredumpctl 对真实 core 的输出:
list/info/dump/debug的实际输出格式与字段未实测,容器实测止于--help/--version与空态(No journal files were found. No coredumps found.)。 - gdb 分析:
gdb载入 core、回溯、debuginfo 符号解析(dnf debuginfo-install路径)未执行,本页按 freedesktop 手册口径转述。 - core_pattern 自定义:
sysctl -w临时改与/etc/sysctl.ddrop-in 持久化未实测——该参数是宿主内核共享值,non-destructive 策略下不改宿主参数。 - coredump filter:
/proc/sys/kernel/coredump_filter在宿主内核实测不存在;每进程/proc/pid/coredump_filter无崩溃进程可查,未验证。 - 运行时配置行为:
Storage=none + ProcessSizeMax=0停用、LimitCORE=服务级控制、CoredumpReceive=/EnterNamespace=的容器崩溃转发,均为手册口径。