栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Kafka的Broker相关知识回归总结

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Kafka的Broker相关知识回归总结

Kafka的Broker相关知识回归总结 1.ZooKeeper在Kafka中存储了那些信息?工作流程?

1.broker.ids(Kafka分区)
2.controller(辅助选举)
3.leader(节点信息)

2.新节点服役流程

1.准备一台干净的服务器
2.对哪个主题进行操作
3.形成计划
4.执行计划
5.验证计划

3.旧节点退役流程

1.要退役的节点不存储数据
2.退出节点

4.副本

1.副本的好处:提高可靠性
2.生产环境通常是两个,默认是一个
3.副本有leader,follower之分
4.AR=isr+osr,Leader跟Follower每30s进行一次通信
5.副本选举机制controller,保证在isr存活,按照AR的顺序依次选择
6.Leader挂了之后的选举,(LEO=每个副本最新的offset+1,HW=所有副本中最小的LEO)为了保证数据的一致性,将log文件中高于HW部分截取掉,从新的leader同步数据

7.Folower挂了之后,自己恢复。将folower的log文件中高于HW部分截取掉,重新同步数据

8.副本分配,默认保证负载均衡
9.手动副本分配。制定计划 ->执行计划-> 验证计划
10.leader partition的负载均衡 ->10%
11.手动增加副本因子

5.存储机制

broker -> topic -> partition -> log ->segment(1G,里面有 1. .log,2. .index(稀疏索引,每4kb记录一条索引),3. 时间戳)

6.删除数据

默认7天
1.直接删除(等segment所有数据过期,再进行删除)
2.压缩(按照每个key对应最新的value进行保存)

7.Kafka高效读写数据

1.Kafka本身是分布式集群,可以采用分区技术,并行度高
2.读数据采用稀疏索引,可以快速定位要要消费的数据
3.顺序写磁盘
4.页缓存和零拷贝(Kafka的Broker应用层不关心存储的数据,所以不用走应用层,传输效率更高)

尚硅谷讲的真的很棒,相关资料资源链接

链接:https://pan.baidu.com/s/15nsdIwLJ3vd_h9VAug3kbQ
提取码:wcdx

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/885884.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号