您可以使用
coalesce方法保存到单个文件中。这样，您的代码将如下所示：
val myFile = sc.textFile("file.txt")val finalRdd = doStuff(myFile)finalRdd.coalesce(1).saveAsTextFile("newfile")还有另一种方法
repartition可以执行相同的操作，但是它将导致洗牌，这可能会非常昂贵，而合并会尝试避免洗牌。
您可以使用
coalesce方法保存到单个文件中。这样，您的代码将如下所示：
val myFile = sc.textFile("file.txt")val finalRdd = doStuff(myFile)finalRdd.coalesce(1).saveAsTextFile("newfile")还有另一种方法
repartition可以执行相同的操作，但是它将导致洗牌，这可能会非常昂贵，而合并会尝试避免洗牌。
名师互学网 版权所有 (c)2021-2022 ICP备案号：晋ICP备2021003244-6号
