Spark - Transformation算子Zip使用

• zip说明
• 注意事项
• 代码示例

zip 自身的RDD的值的类型为T类型，另一个RDD的值的类型为U类型。zip操作将这两个值连接在一起。构成一个新的元组值
def zip[U: ClassTag](other: RDD[U]): RDD[(T, U)] = withScope {处理逻辑}

需要两个rdd有相同的分区数 和 数据条数相同
Exception1: Can’t zip RDDs with unequal numbers of partitions: List(1, 8) = 分区数不同
Exception2: Can only zip RDDs with same number of elements in each partition = 数据条数不相同
需要注意的是，有相同的分区但并不能保证你会在每个分区相同的分布每个RDD，由于有不同类型RDDS和大多有不同的分区策略

val matchesPath = "examples_data/kaggle_data/IPL_total_data/IPL Matches 2008-2020.csv"
    val sc = sparkContextLocal
    val matchesRDD = sc.textFile(matchesPath, 1)
      .map(line => {
        val split = line.split(",")
        // 返回kaggle样例类
        KaggleIPLMatches(
          split(0),split(1),split(2),split(3),split(4),split(5),
          split(6),split(7),split(8),split(9),split(10),split(11),
          split(12),split(13),split(14),split(15),split(16)
        )
      })

    val limitRdd = matchesRDD.take(100)
    val valueRdd = sparkContextLocal.makeRDD(limitRdd).repartition(1)
    val ss = sc.parallelize(1 to 100).repartition(valueRdd.getNumPartitions) // 指定分区数

    
    // Exception2: Can only zip RDDs with same number of elements in each partition
    // 两个 RDD 具有相同数量的分区，这些 RDD 中的各个分区具有完全相同的大小
    val zipRDD = ss.zip(valueRdd)
    zipRDD.foreach(println)