栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

kafka基础架构

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

kafka基础架构

kafka基础架构:

1.一个topic分为多个partition,若干个分区在一个主机服务器里

2.配合分区的设计,提出消费者组的概念,组内每个消费者并行消费。。并且一个分区的数据只能由同组的一个消费者来消费。

3.为提高可用性,每个partition增加若干副本(分为leader和follow,无论是生产还是消费,都针对leader而言)。

生产者--》kafka集群服务器

1.生产者生产数据,创建一个main线程,经过拦截器,序列化器,分区器,数据根据分区器规则,进入不同的DQuene缓存队列:(内存中)(每一个队列大小默认32m)(每一批次数据大小batch.size16k)

缓存队列通常使用异步发送:外部数据发送到缓存队列中,不管缓存队列中的数据是否发送完成,外部数据会持续发往缓存队列。

2.创建Sender线程拉取数据:

   拉取规则:1.数据积累到batch.size,也就是16k  2.时间到达linger.ms ,默认0s。两者满足其中一个就会拉取数据

   拉取数据时,根据分区的不同,将一批数据放入到队列中,进行发送

3.数据发送往服务器,首先会请求服务器,如果服务器没有应答则最多发送五次请求。如果应答成功,执行4

4.selector连通缓存队列与kafka集群服务器,集群收到之后,进行副本同步。

   集群还会应答selector,通过acks方式,应答有三种级别。

应答acks  0:生产者发送数据,无需等待数据落盘

                1:生产者发送数据,leader应答即可

                2:生产者发送数据,需要leader和所有副本都应答

5.应答成功,清除请求和缓存队列中的数据。如果应答失败,进行重试,默认次数为int的最大值

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/919220.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号