栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

kafka相关概念与消费模型

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

kafka相关概念与消费模型

broker:kafka集群中的一个节点

topic:主题是kafka的逻辑上的队列

partition:一个topic可以包含一个或多个partition,每个partition的消息数据都是单独存储的,offset也是单独维护的,partition内部消息有序partition复制因子:一个topic的所有分区会分布到各个broker上,允许设置复制因子使分区可以在其他节点上留存备份,在主分区所在broker宕机时,可以作为新的主分区继续提供服务

consumer group:一个topic可以有消费者组消费消息,kafka为每个消费者组单独管理每个分区的消费偏移量offset,消费者组间是广播模式,对于一个消费者组内是负载均衡,即一条消息可以被多个消费者组消费,只能被一个消费者组内的其中一个消费者消费;消费者组内的每个成员负责一定数量的分区,当消费者组内的消费者发生变动时,会触发分区的重平衡

pull消费模型:消费者向负责分区主动拉取消息,分区的消费偏移量通过一个默认的topic来记录,也可以显示指定

pull模型的优点:消费速度可以由消费者自由控制逐条消费或者批量消费可以由消费者自由控制broker设计更简单

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/365938.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号