spark 分区 和 并行度

1Spark job中最小执行单位为task 一个rdd有分区组成，这是rdd五大特性之一

2一个分区就是task 参考spark.default.parallelism的参数配置

3参数numPartitions来显示指定分区数 groupByKey(numPartitions: Int)

4加载HDFS上的数据生成的RDD，它的分区数由InputFormat切分机制决定, block块对应一个分区

5通常，RDD的分区数与其所依赖的RDD的分区数相同，除非shuffle

6增加分区用repartition会触发shuffle，shuffle的情况下可以增加分区数,

减少分区用coalesce默认不触发shuffle

7Spark SQL中，任务并行度参数则要参考spark.sql.shuffle.partitions

8能够并行计算的任务数量我们称之为并行度。