栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

kafka分区策略

kafka分区策略

分区策略

分区原因:

    方便在集群中扩展,每个Partition可以通过调整以适应它所在的机器,而一个topic又可以有多个Partition组成,因此整个集群就可以适应任意大小的数据了;可以提高并发,因为可以以Partition为单位读写了。

分区原则:

我们需要将producer发送的数据封装成一个ProducerRecord对象。

    指明 partition 的情况下,直接将指明的值直接作为 partiton 值;没有指明 partition 值但有key的情况下,将 key 的 hash 值与 topic 的 partition 数进行取余得到 partition 值;既没有 partition 值又没有 key 值的情况下,第一次调用时随机生成一个整数(后面每次调用在这个整数上自增),将这个值与 topic 可用的 partition 总数取余得到 partition 值,也就是常说的 round-robin 算法。
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/775993.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号