SparkCore之Partitiion

• SparkCore之Partitiion
• • 1.概念
  • 2.Spark Core的数据分区方式
  • • 2.1.HashPartitioner
    • 2.2.RangePartitioner

首先先了解一下Spark RDD,Spark RDD是一种分布式的数据集，但是由于数据量很大，因此要它被切分并存储在各个结点的分区当中，这个“分区”就是Partition-

• RDD包含多个Partition

  • 如图RDD1就包含了4个Partition,RDD2包含了两个Partition

• 分区Partition定义：
  • partition 是弹性分布式数据集RDD的最小单元
  • partition 是指的spark在计算过程中，生成的数据在计算空间内最小单元
  • 同一份数据（RDD）的partition 大小不一，数量不定，是根据application里的算子和最初读入的数据分块数量决定的

• HashPartitioner（哈希分区）
• RangePartitioner（范围分区）

• HashPartitioner采用哈希的方式对键值对数据进行分区
• 分区规则
  • 公式:partitionId = Key.hashCode % numPartitions
  • 解释
    • partitionId代表该Key对应的键值对数据应当分配到的Partition标识
    • Key.hashCode表示该Key的哈希值
    • numPartitions表示包含的Partition个数
• 缺点
  • 会带来分区数据不均衡的问题也就是分区倾斜
    • 因为可能出现很多数据通过公式全部都得到相同的partitionId，也就是在某些分区数据很多，但是其他分区数据相对较少
    • 这样会影响性能，举个极端的例子：当所有数据通过哈希分区结果全部都被划分到同一个分区，这就相当于没有分区了

• 出现的原由
  • 目的是为了解决HashPartitioner所带来的分区倾斜问题
• RangePartitioner基于抽样的思想来对数据进行分区
• 如图