栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

kafka0.11版本消费报错Group coordinator is unavailable or invalid, will attempt rediscovery

kafka0.11版本消费报错Group coordinator is unavailable or invalid, will attempt rediscovery

报错

消费单节点kafka
要么消费很缓慢
要么报错
Group coordinator ip:9092 (id: 2147483647 rack: null) is unavailable or invalid, will attempt rediscovery

重启节点也没用

分析

单节点情况下coordinator 压力太大了
__consumer_offsets这个元主题的历史消息量分配不均衡
有分区kb、M级别正常,有几个分区直接几十G,如果消费的主题在这些压力大的分区,就会消费阻塞

因为这个元主题的clean policy是compact不是正常的delete,所以会一直累积,并且单节点就会很容易出现这个问题

解决办法

线上生产慎用

删除__consumer_offsets历史文件
重启节点,待节点重启后recovery完毕,正常

担忧

因为这个是个测试开发集群,不用担心历史偏移量的问题,但是如果开发没有管理偏移量,那么我觉得会有丢数据风险,所以线上生产慎用

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/278421.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号