栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Flink 分区策略

Flink 分区策略

flink1.13用什么策略把数据发送到下个算子中呢?

在分布式计算中,flink把数据集依据不同的策略发送到下游算子中,而策略的实现由分区器决定,flink所有的分区器都实现了ChannelSelector 接口,下面是ChannelSelector的实现类

由实现类我们知道有9种分区器

GlobalPartitioner

数据会被分发到下游算子的第一个实例中进行处理。

ShufflePartitioner

数据会被随机分发到下游算子的每一个实例中进行处理。

RebalancePartitioner

数据会被循环发送到下游的每一个实例中进行处理。

RescalePartitioner

这种分区器会根据上下游算子的并行度,循环的方式输出到下游算子的每个实例。这里有点难以理解,假设上游并行度为2,编号为A和B。下游并行度为4,编号为1,2,3,4。那么A则把数据循环发送给1和2,B则把数据循环发送给3和4。假设上游并行度为4,编号为A,B,C,D。下游并

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/735489.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号