栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > .Net

flume报错WARN clients.NetworkClient: Error while fetching metadata with correlation id

.Net 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

flume报错WARN clients.NetworkClient: Error while fetching metadata with correlation id

项目场景:

修改linux系统时间,模拟使用flume读取日志文件,并把日志文件信息传输给kafka消费,kafka消费之后,再使用flume读取kafka消费后的日志信息,


问题描述:

flume在读取kafka的消费日志信息后,发现flume报错,测试topic_start,topic_event时发现正常,而flume报错如下:

21/01/22 20:51:54 WARN clients.NetworkClient: Error while fetching metadata with correlation id 19 : {topic_start=LEADER_NOT_AVAILABLE}
21/01/22 20:51:54 WARN clients.NetworkClient: Error while fetching metadata with correlation id 19 : {topic_event=LEADER_NOT_AVAILABLE}
21/01/22 20:51:54 WARN clients.NetworkClient: Error while fetching metadata with correlation id 20 : {topic_start=LEADER_NOT_AVAILABLE}
21/01/22 20:51:54 WARN clients.NetworkClient: Error while fetching metadata with correlation id 20 : {topic_event=LEADER_NOT_AVAILABLE}
21/01/22 20:51:54 WARN clients.NetworkClient: Error while fetching metadata with correlation id 21 : {topic_start=LEADER_NOT_AVAILABLE}
21/01/22 20:51:54 WARN clients.NetworkClient: Error while fetching metadata with correlation id 21 : {topic_event=LEADER_NOT_AVAILABLE}
21/01/22 20:51:54 WARN clients.NetworkClient: Error while fetching metadata with correlation id 22 : {topic_start=LEADER_NOT_AVAILABLE}
21/01/22 20:51:55 WARN clients.NetworkClient: Error while fetching metadata with correlation id 22 : {topic_event=LEADER_NOT_AVAILABLE}
21/01/22 20:51:55 WARN clients.NetworkClient: Error while fetching metadata with correlation id 23 : {topic_start=LEADER_NOT_AVAILABLE}
21/01/22 20:51:55 WARN clients.NetworkClient: Error while fetching metadata with correlation id 23 :
        }

原因分析:

这是在flume接受kafka消费的日志信息后,由于flume要进行时间上的验证,再进行信息的接受,在校验时间时flume发现时间相差较大,从而导致flume停止消费kafka日志信息。


解决方案:

1.在kafka的配置文件中配置server.properties,设置

delete.topic.enable=true

如果没有设置 delete.topic.enable=true,则调用kafka 的delete命令无法真正将topic删除,而是显示(marked for deletion)

2.调用命令删除topic:

./bin/kafka-topics --delete --zookeeper 【zookeeper server:port】 --topic 【topic name】

3.找一台部署了zk的服务器,使用命令:

bin/zkCli.sh -server 【zookeeper server:port】

登录到zk shell,然后找到topic所在的目录:ls /brokers/topics,找到要删除的topic,然后执行命令:

rmr /brokers/topics/【topic name】

即可,此时topic被彻底删除。

如果topic 是被标记为 marked for deletion,则通过命令 ls /admin/delete_topics,找到要删除的topic,然后执行命令:

rmr /admin/delete_topics/【topic name】

备注:

网络上很多其它文章还说明,需要删除topic在zk上面的消费节点记录、配置节点记录,比如:

rmr /consumers/【consumer-group】

rmr /config/topics/【topic name】

其实正常情况是不需要进行这两个操作的,如果需要,那都是由于操作不当导致的,正常情况下,安装1到2到3是可以删除topic的。

完成之后,调用命令:

./bin/kafka-topics.sh --list --zookeeper 【zookeeper server:port】

查看现在kafka的topic信息。正常情况下删除的topic就不会再显示。

但是,如果还能够查询到删除的topic,则重启zk和kafka即可。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/911000.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号