Kafka报UnderReplicatedPartitions与副本掉出ISR的排查方法(replica.lag.time.max.ms、min.insync.replicas与NotEnoughReplicasException定位)

监控上UnderReplicatedPartitions从0跳到几十,或者生产者突然开始报NotEnoughReplicasException,消息写不进去。这两件事指向同一处:某个分区的副本没跟上leader,被踢出了ISR。别急着调参数,先把掉队的是哪个分区、哪台broker定位出来。

Kafka 2.4.0、3.0.0、3.9.1、4.0.0、4.1.0、4.2.0,这几个版本的排查命令大同小异,但KRaft模式下controller日志的位置和ZooKeeper时代完全不同,混着查会白费时间。


先用describe把范围圈到分区和broker

kafka-topics.sh --bootstrap-server localhost:9092 --describe --under-replicated-partitions
kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic orders

第一条直接列出所有副本不足的分区,有输出就说明集群处于降级状态,这个值长期应该是0。第二条看具体分区的四列:Leader、Replicas、Isr、OfflineReplicas。Replicas是分配的全部副本,Isr是当前同步的那一批,两者数量不一致就是有副本掉队,少的那个broker id直接能对上。

Topic: orders  Partition: 3  Leader: 2  Replicas: 2,1,3  Isr: 2,1

像这一行,broker 3上的副本掉了。要分清的是进程没了还是机器活着但同步慢,这两条路的处置完全不一样。

顺手把topic和broker级配置拉出来,确认replication.factor、min.insync.replicas、unclean.leader.election.enable这几项当前实际值,别照部署文档猜:

kafka-configs.sh --bootstrap-server localhost:9092 --describe --entity-type topics --entity-name orders
kafka-configs.sh --bootstrap-server localhost:9092 --describe --entity-type brokers --entity-name 3
kafka-log-dirs.sh --bootstrap-server localhost:9092 --describe --json

最后一条能看到每个日志目录的大小和分区分布,某个磁盘写满或者分区在broker间严重偏斜,输出里一眼能看出来。


broker进程没了,先查它为什么起不来

Replicas里有副本但Isr里没有,同时broker在集群里查不到,多半是进程挂了或者网络断了。常见的几种:磁盘写满后Kafka主动关停、OOM被系统杀掉、GC停顿长到被controller判定失联、机架掉电、容器被驱逐。2025年接过一个集群,三台broker里有一台的日志盘被另一个业务的备份脚本塞满,server.log里刷的是No space left on device,副本就这么一直缺着。

看server.log和controller.log里的shutdown、SocketTimeout、Session timed out这几类行,能分清是主动退出还是被踢。KRaft集群的controller日志在controller节点的日志目录里,别再去ZooKeeper的zkCli.sh里翻,Kafka 4.0.0起zookeeper.connect这一整套配置已经移除。

journalctl -u kafka --since "1 hour ago" | grep -iE 'shutdown|error|oom|timeout'
grep -iE 'shutdown|no space|OutOfMemory|timed out' /var/log/kafka/server.log | tail -50
dmesg -T | grep -i 'killed process'

把broker拉起来之后副本会自动追数据,Isr会自己扩回去,这个阶段不要动replica.lag.time.max.ms。追的速度取决于落后量和磁盘吞吐,实测过落后几十GB时补了近40分钟。


broker活着但一直追不上,查这三样

进程在、端口通、Isr就是补不齐,基本落在磁盘IO、网络带宽、GC停顿上。副本同步是follower主动发FetchRequest拉数据,写盘慢或者网卡打满都会让拉取速度低于写入速度,越落越多。

iostat -x 1
sar -n DEV 1
jstat -gcutil <pid> 1000
ss -s

iostat看%util和await,慢盘上await能到几百毫秒;sar看网卡流量是不是跑满;jstat看FGC次数和耗时,一次STW几十秒足以让follower被判定掉队。另外别漏了num.io.threads和num.network.threads配得太小,队列堆着处理不过来,表现和磁盘慢几乎一样。

replica.lag.time.max.ms默认30000毫秒,follower超过这么久没追上leader的LEO就被移出ISR,追上后重新加入。网上还能查到replica.lag.max.messages这个按消息条数判断的旧参数,早就废弃了,照着配不会生效。把这个值改大确实能让告警暂时安静,但只是把症状压下去,磁盘和网络的瓶颈一点没动,实测过改到60000之后Isr照样反复收缩。


Isrshrinks反复跳,盯紧JMX这几个指标

单次掉队好处理,麻烦的是IsrShrinksPerSec和IsrExpandsPerSec持续不为零,副本在同步和掉队之间来回横跳。这时候要的是趋势而不是某一刻的快照。

kafka.server:type=ReplicaManager,name=UnderReplicatedPartitions
kafka.server:type=ReplicaManager,name=IsrShrinksPerSec
kafka.server:type=ReplicaManager,name=IsrExpandsPerSec
kafka.server:type=KafkaController,name=OfflinePartitionsCount
kafka.server:type=KafkaController,name=ActiveControllerCount

ActiveControllerCount在集群里应该恰好等于1,出现0或2都要先处理,controller异常会连带一堆分区选不出leader。收缩速率每分钟超过5次就该查底层抖动了,常见是网络丢包、broker GC、云盘IO限流。见过一次是宿主机上的邻居虚拟机把共享存储的IO占满,Kafka这边所有指标看着都正常,就是Isr反复动。


min.insync.replicas与写入失败的关系

这个参数默认1,只在生产者acks=all(Kafka 3.0起生产者默认就是all)时才生效。副本数3、min.insync.replicas配2,意味着ISR里至少要有2个副本才允许写入;掉到只剩1个,acks=all的请求就会抛NotEnoughReplicasException,生产者还会有NotLeaderOrFollowerException、NotLeaderForPartitionException跟着冒出来。

kafka-configs.sh --bootstrap-server localhost:9092 --alter --entity-type topics --entity-name orders --add-config min.insync.replicas=2

副本数3配min.insync.replicas=2能容忍1台故障,这是比较常见的取值;配成3就一台都不能挂,写入可用性明显变差。这里要提醒一句,acks=1的请求不受min.insync.replicas约束,leader自己写完就返回成功,别以为设了2就万事大吉。生产端把delivery.timeout.ms设到120000毫秒以上,broker滚动重启时短超时容易引发一连串失败。

unclean.leader.election.enable默认false,即ISR全没了也只从ISR里选leader,分区宁可不可写也不丢已确认的数据;改成true能挑一个不同步的副本上位,代价是已ack的消息可能被截断。支付、订单这类topic保持false,日志、埋点这类可重建的数据才考虑按topic单独打开,别在broker级一把改全局。Kafka 4.0.0里KIP-966引入的ELR把高水位之前数据完整的副本标出来供选举用,就是这个方向上的改动。


收尾前把leader分布也看一眼

副本补齐之后,leader可能全挤在少数几台broker上,写入压力跟着偏过去。用describe看Leader列是不是分布均匀,偏得厉害就跑一次首选副本选举,或者确认auto.leader.rebalance.enable是打开的:

kafka-leader-election.sh --bootstrap-server localhost:9092 --election-type preferred --all-topic-partitions

这一步放在副本全部回到Isr之后做,否则选举过程中分区还会再抖一次。broker.rack配了机架感知的集群,副本会跨机架分布,单台机器下线时影响面小得多。

版本行为、默认值与KRaft相关改动截至2026年11月,具体参数名以当期官方文档为准。