这应该是一个非常常见的bug，事情起因如下：
我们在sql中需要让某个日期往前推三天，所以在sql中我使用了如下语句
select date_sub(tdbank_imp_date, 7) as tdbank_imp_date from table
该语句在sql中运行正常，也得到了预期的结果
之后我们把代码贴到saprk.sql中运行
发现变为了空值
其原是日期格式的问题，YYYYMMDD这种格式对于supersql和spark.sql来说都是不规范的，但是在sql中这种不规范被漫长的版本迭代中给容错掉了，因此出现这种情况
注：我用的平台使用的是supersql，不确定sql中是不是也是一样
而对于pyspark中，遇到关于日期的函数，会在内部逻辑执行
date_sub(CAST(tdbank_imp_date AS date), 1)
使用cast将输入强制转化为日期格式
而对于cast(string as date)：如果string是YYYY-MM-DD格式的，则相应的年/月/日的date类型的数据将会返回；但如果string不是YYYY-MM-DD格式的，结果则会返回NULL。因此，造成了最终返回null值的情况
将YYYYMMDD格式的日期转化为YYYY-MM-DD再输入到date_sub中，会得到YYYY-MM-DD格式的输出，再将其转化为YYYYMMDD来与其他表进行join
也就是对应了如下代码
from_unixtime(unix_timestamp(date_sub(from_unixtime(unix_timestamp(tdbank_imp_date,'yyyymmdd'),'yyyy-mm-dd'), 1),'yyyy-mm-dd'),'yyyymmdd')
最后补一个mysql对于日期的各种处理，转换的操作：官网链接
实际上sql中将YYYYMMDD转化为YYYY-MM-DD还有一些方法，但是我这里这么处理会报错
CONVERT(data_type,expression[,style]) convert(varchar(10),字段名,转换格式)
此样式一般在时间类型(datetime,smalldatetime)与字符串类型(nchar,nvarchar,char,varchar)
相互转换的时候才用到.
比如：
SELECT CONVERT(varchar(100), GETDATE(), 5) 15-07-09
贴个教程链接
