栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Kafka初始,架构模型,角色功能梳理

Kafka初始,架构模型,角色功能梳理


X轴对应单点问题,一台机器容易挂掉,那么就集群部署
Y轴主要解决的还是 性能问题,当数据量达到一定的时候,性能就下降,我们可以 根据业务来分集群
Z轴 就是kafka的Partition(分区),每个分区都有leader主机号
为了实现扩展性,一个非常大的 topic 可以分布到多个 broker(即服务器)上, 一个 topic 可以分为多个 partition,每个 partition 是一个有序的队列(MR的partition可以提高reducer的并发、Hive的partition有助于在查询时提高效率),这里的partition是有助于提高消息队列的负载均衡。


可以理解为一个topic就对应一个业务,topic对应是逻辑的,partition对应物理的
无关的数据就分散到不同的分区里,以追求并行并发

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/722178.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号