我认为内存开销限制超出了问题，这是由于在提取过程中使用了DirectMemory缓冲区。我认为它已在2.0.0中修复。（我们遇到了同样的问题，但是当发现升级到2.0.0可以解决问题时，我们就不再进行深入研究了。不幸的是，我没有Spark问题编号来支持我。）
之后的不均匀分隔
repartition令人惊讶。与https://github.com/apache/spark/blob/v2.0.0/core/src/main/scala/org/apache/spark/rdd/RDD.scala#L443对比。Spark甚至会在中生成随机密钥
repartition，因此不会使用可能有偏差的哈希来完成。
我尝试了您的示例，并使用Spark 1.6.2和Spark 2.0.0获得了 完全相同的 结果。但不是来自Scala
spark-shell：
scala> val data = sc.parallelize(1 to 3, 3).mapPartitions { it => (1 to it.next * 1000).iterator }data: org.apache.spark.rdd.RDD[Int] = MapPartitionsRDD[6] at mapPartitions at <console>:24scala> data.mapPartitions { it => Iterator(it.toSeq.size) }.collect.toSeqres1: Seq[Int] = WrappedArray(1000, 2000, 3000)scala> data.repartition(3).mapPartitions { it => Iterator(it.toSeq.size) }.collect.toSeqres2: Seq[Int] = WrappedArray(1999, 2001, 2000)scala> data.repartition(6).mapPartitions { it => Iterator(it.toSeq.size) }.collect.toSeqres3: Seq[Int] = WrappedArray(999, 1000, 1000, 1000, 1001, 1000)scala> data.repartition(12).mapPartitions { it => Iterator(it.toSeq.size) }.collect.toSeqres4: Seq[Int] = WrappedArray(500, 501, 501, 501, 501, 500, 499, 499, 499, 499, 500, 500)如此美丽的分区！
（对不起，这不是一个完整的答案。到目前为止，我只想分享我的发现。）
