栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

kafka面试题(kafka是干嘛的)

kafka面试题(kafka是干嘛的)

架构

    brokertopic:按照topic来分类消息。partition:一个topic包含多个partttion,parttion里面包含多条消息。offset:消息的唯一序号。ProducerConsumerConsumer GroupZookeeper:保存集群broker,topic,partition等meta数据,还负责broker故障发现,partition leader选举,负载均衡等功能。


消息存储架构

每条消息包含了3部分:offset,MessageSize,data。(offset是一个逻辑地址,代表某条消息在partition中的偏移量,可以唯一的确定一条消息的位置)。partition由多个segment文件(后缀名.log)组成,每个segment大小相等,顺序读写。可以使用二分查找定位消息在哪个segment文件中。为每一个segment建立了索引(后缀名.index),(message是每隔一定字节的数据建立一个索引,这样做的目的是,可以将索引文件保存到内存中)。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/772066.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号