小文件问题原因：
spark.sql.shuffle.partitions=200
spark sql默认shuffle分区是200个，如果数据量比较小时，写hdfs时会产生200个小文件。可通过如下调整，使其自适应的合并小文件(本人测试环境从原来的200个小文件合并成一个文件)
控制输出文件的个数 Dataframe输出结果保存为文件时，尤其是根据某个条件分区时，可以控制输出文件的个数，从而减少小文件的个数
Dataframe..coalesce(1).write.format("parquet").mode(SaveMode.Overwrite).partitionBy("分区条件列名").save("路径")
下边方法作用不大
解决方法：
spark-sql> set spark.sql.adaptive.enabled=true;
启用 Adaptive Execution ，从而启用自动设置 Shuffle Reducer 特性
spark-sql> set spark.sql.adaptive.shuffle.targetPostShuffleInputSize=128000000;
设置每个 Reducer 读取的目标数据量，其单位是字节。默认64M，一般改成集群块大小
参考
sparksession.sqlContext.setConf("hive.merge.mapfiles","true")
sparksession.sqlContext.setConf("mapred.max.split.size","256000000")
sparksession.sqlContext.setConf("mapred.min.split.size.per.node","192000000")
sparksession.sqlContext.setConf("mapred.min.split.size.per.rack","192000000")
sparksession.sqlContext.setConf("hive.input.format","org.apache.hadoop.hive.ql.io.CombineHiveInputFormat")
