起因:线上反馈业务未正常同步
排错思路:
1、先查代码定位业务逻辑【业务数据来源其他子系统通过kafka进行增量同步】;
2、查找业务日志输出【日志没打的话只能通过时间或关键字检索日志】;
3、定位到报错日志就比较好找问题了根据报错信息提示 broker 连接异常;
4、检查网络、端口是否正常、是否存在网络延迟【应用服务器到组件服务器】;
5、网络延迟较高优先需求网络方面解决,而非调整kafka timeout参数【有可能造成阻塞从而波及到应用,对生产造成损失】
具体分类【只针对个案】
grep '关键字' 日志文件名 #其他参数 1、关键字可使用正则匹配 2、-Cn 关键字前后n行 3、 -An 关键字后n行 例如: grep 'uat' xxx.log -C20 检索xxx.log 中uat字符并将关键字前后20行输出
从上图可以明显看出消费者broker没有正常连接
再检索关键字 joined group 发现消费者未加入到消费组,正常消费者启动后会有group初始话,从这里可以推断应用初始化kafka消费者时已经出现问题。
再结合Kafka NetworkClient#processDisconnection Broker may not be available的警告日志我们优先检查一下服务器是否能和kafka节点正常联通
#使用 telnet 节点ip kafka端口 进行联通性检查 telnet 10.x.x.x 9092
可以看到多数节点出现长时间 trying表现说明服务器到kafka节点存在网络问题从而导致的Disconnection Broker的异常
后续解决: 此处是调整vpc网关出口网段,不同环境处理方案不同就不一一细说了。
此贴作为记录贴随记内容营养价值不高,如有错误烦请指出,感谢观看!



