RabbitMQ的队列消息越堆越多,管理界面上Ready一列几十万、Unacked也一直下不去,消费者进程看着还在跑。这种情况先分清是"没人消费"还是"消费了没确认",两条路的修法完全不同。
先把三个数字看准
上节点要原始数字,别只看图表:
rabbitmqctl list_queues name messages_ready messages_unacknowledged consumers memory
输出大概是这个样子:
order.notify 182340 250 3 41943040 order.sms 0 0 2 0
messages_ready是排着队还没投出去的,messages_unacknowledged是投给了消费者、对方还没ack的,consumers是挂在这个队列上的消费者数。处置方向由后两个数字的组合决定。
consumers为0、ready一直涨:压根没人消费。
unacked高、consumers大于0:投出去了收不回确认。
unacked恰好卡在某个整数的倍数上不动:prefetch打满了,消费者在慢慢啃。
之前碰到过最冤的一种:consumers显示0,应用日志里却写着连接成功。查下去是连到了另一个vhost,队列名一样、里面却是空的。list_queues带上-p参数指定vhost再跑一遍就露馅了:
rabbitmqctl list_queues -p /prod name messages consumers rabbitmqctl list_consumers -p /prod rabbitmqctl list_channels pid name user vhost number
list_consumers会把消费者标签、ack是否开启、prefetch值、连接地址一起列出来,比界面上的一行数字有用得多。
consumers为0的几种原因
队列被声明成了exclusive,别的连接抢不上去,重连时拿到的报错是RESOURCE_LOCKED。或者是声明时的参数对不上,第二次声明直接PRECONDITION_FAILED,报错里会写清楚是哪个参数不等价:
PRECONDITION_FAILED - inequivalent arg 'x-message-ttl' for queue 'order.notify' in vhost '/prod': received '9999' but current is '1500'
还有权限那一类:ACCESS_REFUSED,账号对vhost没有读权限,或者对exchange没有绑定权限。日志在节点上,路径一般是/var/log/rabbitmq/rabbit@主机名.log,journalctl -u rabbitmq-server也能看到。实测里最容易漏的是"消费者进程活着但channel断了没重连"——客户端配了自动恢复(automatic recovery)才会在网络抖完自己接回来,Java客户端默认开启,.NET客户端要显式设置,Python的pika默认不开。
unacked下不去的四种成因
第一种是prefetch太大。basic.qos决定了单个消费者最多能握着多少条未确认的消息,Spring AMQP 2.0.0,默认的prefetch是250。一个消费者预取了250条、处理到第10条卡住,剩下240条谁也拿不走,别的消费者就算闲着也分不到。慢任务把它压到20甚至1,反而更快:
spring: rabbitmq: listener: simple: prefetch: 20 acknowledge-mode: manual concurrency: 5
第二种是消费逻辑本身慢。一条消息里套了三次HTTP调用、或者正好赶上一张没加索引的SQL,单条从几十毫秒涨到几秒。看不出来的话,在消费端打点记录处理耗时,或者在节点上开追踪。排查时更省事的办法是看unacked曲线:一直贴着上限不动、且consumers固定,八成是处理慢而不是没连上。
第三种是手动ack模式下漏了ack。代码里catch住异常直接return,basicAck没执行,那条消息就永远挂在unacked里,直到channel关闭才回队。这类问题有个典型特征:unacked数字随时间单调上涨,一次都不回落。
第四种是投递确认超时,也就是consumer_timeout,默认1800000毫秒,也就是30分钟。超过这个时间还没ack,RabbitMQ会关掉这个channel,报错长这样:
Consumer 'consumer-tag-998754663370' on channel 1 and queue 'qq.1' in vhost '/' has timed out waiting for a consumer acknowledgement of a delivery with delivery tag = 10. Timeout used: 180000 ms.
通道被关后这批消息会重新入队,队列数字看起来是"降了又涨",很容易误判成消费有进展。这个超时从RabbitMQ 3.12开始可以按队列配,用policy下发给一批队列就行:
rabbitmqctl set_policy queue_consumer_timeout "with_delivery_timeout.*" '{"consumer-timeout":3600000}' --apply-to classic_queues
内存和磁盘告警会反过来拖慢消费
消息堆积到一定程度,节点自己会进入流控。vm_memory_high_watermark默认值是0.4,也就是物理内存的40%,超了就阻塞发布连接;disk_free_limit默认50MB,低于这个值同样阻塞。被阻塞的连接在界面上显示为blocked,日志里能看到publishers被暂停的告警。这一层的坑在于:消费连接不会被阻塞,但队列在这时候会把消息分页刷到磁盘,消费速度跟着掉一个数量级,堆积于是越滚越大。生产上把磁盘下限改成绝对值更稳:
rabbitmqctl set_disk_free_limit 5GB rabbitmqctl set_vm_memory_high_watermark 0.4 rabbitmqctl status | grep -A3 alarms
队列类型与堆积的容忍度
经典队列(classic)在消息多的时候靠paging往磁盘换,积压越大越慢;仲裁队列(quorum)从3.10起一直是lazy行为,消息主要落在磁盘,吞吐稳但延迟高一些;流(stream)适合积压到几百万条还要重复读的场景。经典队列的镜像功能在RabbitMQ 4.0.1、4.1.0、4.2.0,这条线上已经彻底移除,升级上来还指望ha-mode的policy会静默失效。反过来,4.0起仲裁队列有投递次数上限,默认是20次,超过就丢弃或死信,能自动止住"一条毒消息反复重投"的死循环,3.x里这个值是无限的。
见过一次升级后堆积突然变严重的:Erlang版本跟着升了,队列元数据从Mnesia迁到Khepri,4.2.0、4.3.0,新集群默认就是Khepri。老集群的配置项cluster_partition_handling在这之后不再起作用,恢复逻辑走Raft,运维脚本里那些针对网络分区的处理可以删了。
止血的几种做法,按顺序来
1、临时加消费者实例,最快。前提是prefetch别设成1之外的极端值,否则加多少台都没用。
2、把慢的那批消息挪走。队列参数是不可变的,改ttl、改死信交换机、改队列类型都只能新建队列再迁移:新队列order.notify.v2建好、绑定同一个交换机、消费者切过去、老队列排空后再删。直接改老队列参数会报inequivalent arg。
3、实在追不上又允许丢数据的,purge_queue清空,别在没确认业务影响之前敲这条命令:
rabbitmqctl purge_queue order.notify -p /prod
4、给队列加长度上限或消息TTL,让堆积有天花板。配成drop-head或者配死信交换机,配合死信队列兜底。
消息体过大也是常见诱因。max_message_size默认16777216字节,也就是16MiB,超过会被直接拒收;没超但普遍在几MB量级时,网络和磁盘都会成为瓶颈,通知类消息只发ID、让消费者回查是更实用的做法。
监控怎么配才提前发现
rabbitmq_prometheus插件默认监听15692端口,与Prometheus对接要的几个指标是rabbitmq_queue_messages_ready、rabbitmq_queue_messages_unacknowledged、rabbitmq_queue_consumers。告警别只盯总量,两条规则比较实用:consumers大于0而unacked连续10分钟不降;ready持续上涨且消费速率低于发布速率。管理界面上那个"消息速率"图最好也一起看,堆积是总量问题,速率差才是趋势问题。
数据截至2026年10月,版本覆盖RabbitMQ 3.12、3.13与4.x。