程序跑得好好的突然abort,stderr只剩一行free(): invalid pointer或者double free or corruption (!prev),后面跟着Aborted (core dumped)。拿gdb打开core看栈,往往停在一个跟业务毫无关系的free上,真正把内存写坏的那行早跑过去了。这类报错是glibc在分配器里发现堆账本对不上才抛出来的,不是越界发生的现场。之前接手过一个常驻服务,崩溃栈每次都落在第三方库的一次free调用里,查了两天才发现是自己这边数组越界踩坏了前面一个chunk的size字段。
三类报错串分别指向什么
double free or corruption (!prev)和老版本里带*** glibc detected ***前缀的double free or corruption (top),说的是同一块地址被free了两次,或者前一个chunk头部的prev_size被改了。free(): invalid pointer是传进去的指针压根不是malloc返回的:指针偏移过、指向栈上、或者已经释放过又拿来释放。malloc(): corrupted top size、free(): invalid next size (fast)这一类,是top chunk或者fastbin里某个chunk的size字段被越界写覆盖了,分配器下次走到这里才发觉数字不合理。报错行末尾那个十六进制地址(比如0x09d30008)通常是出问题的chunk地址或直接被free的指针值,把它记下来,后面用得上。
glibc 2.31、2.35、2.36、2.39,这几代的输出并不一样,2.31之前还会打印完整的backtrace和memory map,之后收敛成一行简短报错。所以别拿教程里的*** glibc detected ***字样去grep新机器的日志,实测在Ubuntu 22.04、24.04,这行前缀都不出现了。
先留住core,再让glibc提前报错
先看core是不是真生成了。ulimit -c经常是0,容器里还得看/proc/sys/kernel/core_pattern有没有被管道交给systemd-coredump,用coredumpctl list查更省事。
ulimit -c unlimited cat /proc/sys/kernel/core_pattern coredumpctl list | tail -5 gdb ./app /var/lib/systemd/coredump/core.app.1000.core -ex "bt full" -ex quit
编译参数要带-g -O0,别用-O2,优化后行号和变量都对不上。gdb里bt full看到的栈顶是free或_int_free属正常,重点往后翻几帧,找哪个指针是从哪块内存来的。见过最省事的一次是崩溃点往前数三帧,直接看到一次strcpy的目标缓冲区只有16字节。
不用重新编译就能把检查点提前。MALLOC_CHECK_环境变量取值0到3,1只往stderr打诊断然后继续跑,2直接abort不打消息,3打详细诊断并abort。现场遇到过MALLOC_CHECK_=3一开,崩溃点从几十次malloc之后提前到真正写坏内存的那一行。
MALLOC_CHECK_=3 ./app GLIBC_TUNABLES=glibc.malloc.check=3 ./app LD_PRELOAD=libc_malloc_debug.so GLIBC_TUNABLES=glibc.malloc.check=3 ./app
glibc 2.25,开始有GLIBC_TUNABLES这套tunable,glibc.malloc.check跟MALLOC_CHECK_功能一致,较新的发行版上需要配合LD_PRELOAD加载libc_malloc_debug.so才生效。两个都别长期挂在生产上,那个替代分配器比正常的慢,而且会往stderr写东西。代码里想固定下来可以调mallopt(M_CHECK_ACTION, 3),或者链接-lmcheck,后者要重新编译,MALLOC_CHECK_不用。
AddressSanitizer给出的信息最多
能重新编译就上ASan,重复释放和越界写它都能直接给两段栈:一块内存是在哪分配的、又是在哪被释放的。
g++ -g -O1 -fsanitize=address -fno-omit-frame-pointer app.cpp -o app_asan ASAN_OPTIONS=detect_leaks=1:abort_on_error=1 ./app_asan
报错抬头是ERROR: AddressSanitizer: attempting double-free on address,或者heap-buffer-overflow、heap-use-after-free,紧跟着freed by thread和previously allocated by thread两段backtrace,精确到源码行。ASan很早就是编译器自带的,GCC 4.8、Clang 3.1,这两个版本起就内置;GCC 11.4、12.3、13.2、14.2,这些版本都能直接用。代价是进程内存常涨到两到三倍、速度慢一倍左右,只放在测试和CI里。
这里跟Windows上那套0xC0000005访问冲突要分开看:那个是非法地址读写,靠WinDbg和dump文件查;这边是Linux上glibc堆账本被写坏,工具链完全不同。
二进制改不了就上valgrind
如果现场只有可执行文件,valgrind不用重编,代价是慢得多。
valgrind --tool=memcheck --leak-check=full --track-origins=yes ./app
要盯的是Invalid free() / delete / delete[] / realloc()、Invalid write of size 8、Mismatched free() / delete / delete []这三类,track-origins会把未初始化值的来源一并打出来。Valgrind 3.18.1、3.21.0、3.24.0,三个版本在Ubuntu 22.04、24.04,都能装到。实测一个跑40分钟的批处理,挂valgrind要跑十几个小时,所以只拿最小复现用例喂给它。
几类最常见的成因
1、双重释放。两个裸指针指向同一块内存,各自delete一次;类里写了指针成员却没写拷贝构造和赋值运算符,浅拷贝后两个对象析构时释放同一块;std::shared_ptr用get()取出裸指针又交给另一个shared_ptr托管,两个控制块各释放一次。这一类最隐蔽,编译期一点提示都没有。
2、释放方式不匹配。new配delete、new[]配delete[]、malloc配free,混用之后glibc看到的大小和chunk头对不上。容器里存裸指针、外部又delete了一遍,也是同一类。
3、越界写踩到chunk头。strcpy、memcpy目标空间算少了一个字节,new char[n]却写到n+1,数组下标多走一格。这类改动的是相邻chunk的size字段,报错要等到下一次malloc或free才出现,所以崩溃点离现场最远。
4、use-after-free之后继续写。内存释放后又往里写,改掉的是free chunk的fd、bk指针,分配器把这块重新挂回链表时才炸。多线程共享对象没加锁、两个线程同时释放同一个指针,表现也差不多。
5、allocator不统一。Windows上/MD和/MT混用会跨CRT边界释放,Linux上自定义allocator或者第三方静态库自带一套malloc实现时,同样会出现A分配的块交给B释放。
改完之后拿ASan构建和valgrind各跑一遍最小用例,两边都干净再收工。CI里常驻一个-fsanitize=address的构建任务,比出事后翻core省事得多。上面涉及的版本与默认值核对到2026年11月,Ubuntu 20.04、22.04、24.04,以及Debian 12自带的glibc版本各不相同,动手前先用ldd --version确认一下本机是哪一代。