栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Kafka-生产环境问题集锦

Kafka-生产环境问题集锦

项目场景:

实时平台搭建,使用过程中发现的问题.


问题描述

1.命令行需要指定分区才能消费到数据,代码中未指定分区运行时报连接超时60000ms
2.彻底删除cdh的kafka主题,非标记删除
3.不同topic的consumer用同一groupId会产生reblance行为


问题1解决方案:

由于测试机就一台节点,需要修改kafka的备份数为1


问题2解决方案:

注:Apache版本的kafka在配置文件里配置该参数


问题3解决方案

kafka不同topic的consumer用同一groupId,会产生reblance行为
原因:kafka不同topic的consumer如果用的group id名字一样的情况下,其中任意一个topic的consumer重新上下线都会造成剩余所有的consumer产生 reblance行为,即使大家不是同一个topic,这主要是由于kafka官方支持一个consumer同时消费多个topic的情况,所以在zk上一个consumer出问题后zk是直接把group下面所有的consumer都通知一遍,这个与以前观念里认为group从属于某一个topic的概念完全不同,非常坑。(可自行查阅kafka重平衡问题)


记得点赞收藏奥,后续遇到问题会实时更新,关注不迷路~

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/780904.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号