我们每天跑完hive任务之后,怎样能判断是否任务完成呢。
我目前公司的做法是,完成脚本任务后 touchz一个文件进去,后续检测是否完成直接检测文件是否存在即可。
原理是:hive底层还是存储到hdfs上,相当于等任务完成之后给上一个标记,只检测目录存在还是存在风险。
hadoop fs -touchz /team/dt=20220116/_SUCCESS

我们每天跑完hive任务之后,怎样能判断是否任务完成呢。
我目前公司的做法是,完成脚本任务后 touchz一个文件进去,后续检测是否完成直接检测文件是否存在即可。
原理是:hive底层还是存储到hdfs上,相当于等任务完成之后给上一个标记,只检测目录存在还是存在风险。
hadoop fs -touchz /team/dt=20220116/_SUCCESS