我认为内存开销限制超出了问题，这是由于在提取过程中使用了DirectMemory缓冲区。我认为它已在2.0.0中修复。（我们遇到了同样的问题，但是当发现升级到2.0.0可以解决问题时，我们就不再进行深入研究了。不幸的是，我没有Spark问题编号来支持我。）
之后的不均匀分隔repartition@H_419_5@令人惊讶。与https://github.com/apache/spark/blob/v2.0.0/core/src/main/scala/org/apache/spark/rdd/RDD.scala#L443对比。Spark甚至会在中生成随机密钥repartition@H_419_5@，因此不会使用可能有偏差的哈希来完成。
我尝试了您的示例，并使用Spark 1.6.2和Spark 2.0.0获得了 完全相同的 结果。但不是来自Scala spark-shell@H_419_5@：
scala> val data = sc.parallelize(1 to 3, 3).mapPartitions { it => (1 to it.next * 1000).iterator }
data: org.apache.spark.rdd.RDD[Int] = MapPartitionsRDD[6] at mapPartitions at <console>:24
scala> data.mapPartitions { it => Iterator(it.toSeq.size) }.collect.toSeq
res1: Seq[Int] = WrappedArray(1000, 2000, 3000)
scala> data.repartition(3).mapPartitions { it => Iterator(it.toSeq.size) }.collect.toSeq
res2: Seq[Int] = WrappedArray(1999, 2001, 2000)
scala> data.repartition(6).mapPartitions { it => Iterator(it.toSeq.size) }.collect.toSeq
res3: Seq[Int] = WrappedArray(999, 1000, 1000, 1000, 1001, 1000)
scala> data.repartition(12).mapPartitions { it => Iterator(it.toSeq.size) }.collect.toSeq
res4: Seq[Int] = WrappedArray(500, 501, 501, 501, 501, 500, 499, 499, 499, 499, 500, 500)
@H_419_5@如此美丽的分区！
602392714
清零编程群