电商数仓学习-全流程调度（37）

前言 一、工作流分析

1.工作流依赖关系 2.工作流问题

前面完成的数据仓库的所有部分，但是每天运行脚本是有一定的顺序的，且每天要定时执行，因此要对这整个流程进行一个调度，这里先对数仓的工作流进行一个简单的分析。

依赖关系说明：
1）日志的数据是实时监控的，不需要定期调度，同时mysql中增量表也是实时监控的，也不需要定期调度，只有mysql中的全量表的业务表需要定期上传数据到HDFS中。
2）日志数据和业务数据库中的数据放到HDFS后，每天需要定时将数据放到ODS层中，因此db和log数据到ODS层也需要每天定时调度，且这二者之间无依赖关系，可同时执行。