RabbitMQ消息堆积与unacked持续上涨的排查方法(rabbitmqctl定位积压队列、prefetch预取与consumer_timeout超时分析)

RabbitMQ的队列消息越堆越多,管理界面上Ready一列几十万、Unacked也一直下不去,消费者进程看着还在跑。这种情况先分清是"没人消费"还是"消费了没确认",两条路的修法完全不同。


先把三个数字看准


上节点要原始数字,别只看图表:


rabbitmqctl list_queues name messages_ready messages_unacknowledged consumers memory


输出大概是这个样子:


order.notify  182340  250  3  41943040
order.sms      0      0    2  0


messages_ready是排着队还没投出去的,messages_unacknowledged是投给了消费者、对方还没ack的,consumers是挂在这个队列上的消费者数。处置方向由后两个数字的组合决定。


consumers为0、ready一直涨:压根没人消费。

unacked高、consumers大于0:投出去了收不回确认。

unacked恰好卡在某个整数的倍数上不动:prefetch打满了,消费者在慢慢啃。


之前碰到过最冤的一种:consumers显示0,应用日志里却写着连接成功。查下去是连到了另一个vhost,队列名一样、里面却是空的。list_queues带上-p参数指定vhost再跑一遍就露馅了:


rabbitmqctl list_queues -p /prod name messages consumers
rabbitmqctl list_consumers -p /prod
rabbitmqctl list_channels pid name user vhost number


list_consumers会把消费者标签、ack是否开启、prefetch值、连接地址一起列出来,比界面上的一行数字有用得多。


consumers为0的几种原因


队列被声明成了exclusive,别的连接抢不上去,重连时拿到的报错是RESOURCE_LOCKED。或者是声明时的参数对不上,第二次声明直接PRECONDITION_FAILED,报错里会写清楚是哪个参数不等价:


PRECONDITION_FAILED - inequivalent arg 'x-message-ttl' for queue 'order.notify' in vhost '/prod': received '9999' but current is '1500'


还有权限那一类:ACCESS_REFUSED,账号对vhost没有读权限,或者对exchange没有绑定权限。日志在节点上,路径一般是/var/log/rabbitmq/rabbit@主机名.log,journalctl -u rabbitmq-server也能看到。实测里最容易漏的是"消费者进程活着但channel断了没重连"——客户端配了自动恢复(automatic recovery)才会在网络抖完自己接回来,Java客户端默认开启,.NET客户端要显式设置,Python的pika默认不开。


unacked下不去的四种成因


第一种是prefetch太大。basic.qos决定了单个消费者最多能握着多少条未确认的消息,Spring AMQP 2.0.0,默认的prefetch是250。一个消费者预取了250条、处理到第10条卡住,剩下240条谁也拿不走,别的消费者就算闲着也分不到。慢任务把它压到20甚至1,反而更快:


spring:
  rabbitmq:
    listener:
      simple:
        prefetch: 20
        acknowledge-mode: manual
        concurrency: 5


第二种是消费逻辑本身慢。一条消息里套了三次HTTP调用、或者正好赶上一张没加索引的SQL,单条从几十毫秒涨到几秒。看不出来的话,在消费端打点记录处理耗时,或者在节点上开追踪。排查时更省事的办法是看unacked曲线:一直贴着上限不动、且consumers固定,八成是处理慢而不是没连上。


第三种是手动ack模式下漏了ack。代码里catch住异常直接return,basicAck没执行,那条消息就永远挂在unacked里,直到channel关闭才回队。这类问题有个典型特征:unacked数字随时间单调上涨,一次都不回落。


第四种是投递确认超时,也就是consumer_timeout,默认1800000毫秒,也就是30分钟。超过这个时间还没ack,RabbitMQ会关掉这个channel,报错长这样:


Consumer 'consumer-tag-998754663370' on channel 1 and queue 'qq.1' in vhost '/' has timed out waiting for a consumer acknowledgement of a delivery with delivery tag = 10. Timeout used: 180000 ms.


通道被关后这批消息会重新入队,队列数字看起来是"降了又涨",很容易误判成消费有进展。这个超时从RabbitMQ 3.12开始可以按队列配,用policy下发给一批队列就行:


rabbitmqctl set_policy queue_consumer_timeout "with_delivery_timeout.*" '{"consumer-timeout":3600000}' --apply-to classic_queues


内存和磁盘告警会反过来拖慢消费


消息堆积到一定程度,节点自己会进入流控。vm_memory_high_watermark默认值是0.4,也就是物理内存的40%,超了就阻塞发布连接;disk_free_limit默认50MB,低于这个值同样阻塞。被阻塞的连接在界面上显示为blocked,日志里能看到publishers被暂停的告警。这一层的坑在于:消费连接不会被阻塞,但队列在这时候会把消息分页刷到磁盘,消费速度跟着掉一个数量级,堆积于是越滚越大。生产上把磁盘下限改成绝对值更稳:


rabbitmqctl set_disk_free_limit 5GB
rabbitmqctl set_vm_memory_high_watermark 0.4
rabbitmqctl status | grep -A3 alarms


队列类型与堆积的容忍度


经典队列(classic)在消息多的时候靠paging往磁盘换,积压越大越慢;仲裁队列(quorum)从3.10起一直是lazy行为,消息主要落在磁盘,吞吐稳但延迟高一些;流(stream)适合积压到几百万条还要重复读的场景。经典队列的镜像功能在RabbitMQ 4.0.1、4.1.0、4.2.0,这条线上已经彻底移除,升级上来还指望ha-mode的policy会静默失效。反过来,4.0起仲裁队列有投递次数上限,默认是20次,超过就丢弃或死信,能自动止住"一条毒消息反复重投"的死循环,3.x里这个值是无限的。


见过一次升级后堆积突然变严重的:Erlang版本跟着升了,队列元数据从Mnesia迁到Khepri,4.2.0、4.3.0,新集群默认就是Khepri。老集群的配置项cluster_partition_handling在这之后不再起作用,恢复逻辑走Raft,运维脚本里那些针对网络分区的处理可以删了。


止血的几种做法,按顺序来


1、临时加消费者实例,最快。前提是prefetch别设成1之外的极端值,否则加多少台都没用。

2、把慢的那批消息挪走。队列参数是不可变的,改ttl、改死信交换机、改队列类型都只能新建队列再迁移:新队列order.notify.v2建好、绑定同一个交换机、消费者切过去、老队列排空后再删。直接改老队列参数会报inequivalent arg。

3、实在追不上又允许丢数据的,purge_queue清空,别在没确认业务影响之前敲这条命令:


rabbitmqctl purge_queue order.notify -p /prod


4、给队列加长度上限或消息TTL,让堆积有天花板。配成drop-head或者配死信交换机,配合死信队列兜底。


消息体过大也是常见诱因。max_message_size默认16777216字节,也就是16MiB,超过会被直接拒收;没超但普遍在几MB量级时,网络和磁盘都会成为瓶颈,通知类消息只发ID、让消费者回查是更实用的做法。


监控怎么配才提前发现


rabbitmq_prometheus插件默认监听15692端口,与Prometheus对接要的几个指标是rabbitmq_queue_messages_ready、rabbitmq_queue_messages_unacknowledged、rabbitmq_queue_consumers。告警别只盯总量,两条规则比较实用:consumers大于0而unacked连续10分钟不降;ready持续上涨且消费速率低于发布速率。管理界面上那个"消息速率"图最好也一起看,堆积是总量问题,速率差才是趋势问题。


数据截至2026年10月,版本覆盖RabbitMQ 3.12、3.13与4.x。