栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

【记录】Kafka NetworkClient#processDisconnection Broker may not be available

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

【记录】Kafka NetworkClient#processDisconnection Broker may not be available

起因:线上反馈业务未正常同步
排错思路:
1、先查代码定位业务逻辑【业务数据来源其他子系统通过kafka进行增量同步】;
2、查找业务日志输出【日志没打的话只能通过时间或关键字检索日志】;
3、定位到报错日志就比较好找问题了根据报错信息提示 broker 连接异常;
4、检查网络、端口是否正常、是否存在网络延迟【应用服务器到组件服务器】;
5、网络延迟较高优先需求网络方面解决,而非调整kafka timeout参数【有可能造成阻塞从而波及到应用,对生产造成损失】

具体分类【只针对个案】

grep '关键字' 日志文件名
#其他参数
1、关键字可使用正则匹配 
2、-Cn 关键字前后n行
3、 -An 关键字后n行
例如: grep 'uat' xxx.log -C20 检索xxx.log 中uat字符并将关键字前后20行输出


从上图可以明显看出消费者broker没有正常连接
再检索关键字 joined group 发现消费者未加入到消费组,正常消费者启动后会有group初始话,从这里可以推断应用初始化kafka消费者时已经出现问题。

再结合Kafka NetworkClient#processDisconnection Broker may not be available的警告日志我们优先检查一下服务器是否能和kafka节点正常联通

#使用 telnet 节点ip kafka端口 进行联通性检查
telnet 10.x.x.x 9092


可以看到多数节点出现长时间 trying表现说明服务器到kafka节点存在网络问题从而导致的Disconnection Broker的异常
后续解决: 此处是调整vpc网关出口网段,不同环境处理方案不同就不一一细说了。

此贴作为记录贴随记内容营养价值不高,如有错误烦请指出,感谢观看!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/978560.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号