本专栏主要汇总工作学习中遇到的一些 Spark 异常问题，也包括一些比较难实现的需求分析。
目录后续问题多了会分门别类，暂时只记录
Consider boosting spark.yarn.executor.memoryOverhead
org.apache.spark.util.SparkFatalException
spark left join 和 right join 的坑
Spark 算子返回NULL
Shuffle output file lost
Spark的临时数据不自动清理
org.apache.spark.SparkException: Task not serializable
spark-sql 报错：The root scratch dir: /tmp/hive on HDFS should be writable.
浅谈 Spark SQL 实现任务质量治理的思路
Not committed because the driver did not authorize commit
Spark在读目录时候GC，Listing leaf files and directories
