如果数据帧适合驱动程序内存,并且您想保存到本地文件系统,则可以使用方法将Spark
Dataframe转换为本地Pandas
Dataframe
toPandas,然后简单地使用
to_csv:
df.toPandas().to_csv('mycsv.csv')否则,您可以使用spark-csv:
火花1.3
df.save('mycsv.csv', 'com.databricks.spark.csv')火花1.4+
df.write.format('com.databricks.spark.csv').save('mycsv.csv')
在Spark 2.0+中,您可以
csv直接使用数据源:
df.write.csv('mycsv.csv')


