# 文件输出流内存缓冲区大小 默认32k 增加可以可以减少创建shuffle文件时候进行磁盘搜索和系统调用次数,建议64k spark.shuffle.file.buffer shuffle
# 拉取的数据量大小 默认48m 增加可以减少reduce拉取数据的次数 建议96m spark.reducer.maxSizeInFilght reducetask

# 文件输出流内存缓冲区大小 默认32k 增加可以可以减少创建shuffle文件时候进行磁盘搜索和系统调用次数,建议64k spark.shuffle.file.buffer shuffle
# 拉取的数据量大小 默认48m 增加可以减少reduce拉取数据的次数 建议96m spark.reducer.maxSizeInFilght reducetask