目录
一、数据清洗调度
1.上传所需jar包
2.job文件写入
二、数据入库且数据分析调度
1.job文件写入
2.上传sql文件
3.打包
三、实现自动化
1.开启exec服务
2.激活exec服务
3.开启web服务
4.登录Azkaban
5.新建一个项目上传压缩包
6.查看项目结构
8.运行出错
9.重新运行无效
10.Mr阶段运行成功
11.Hive阶段检查出代码有误漏写分号
12.查看结果
一、数据清洗调度
1.上传所需jar包
2.job文件写入
二、数据入库且数据分析调度
1.job文件写入
2.上传sql文件
3.打包
三、实现自动化
在开启azkaban调度前将hive数据仓库中的weblog数据库删除
1.开启exec服务
2.激活exec服务
curl -G "localhost: 38978/executor?action=activate" && echo
3.开启web服务
4.登录Azkaban
5.新建一个项目上传压缩包
6.查看项目结构
7.开始运行
8.运行出错
查阅多个资料，需要指定azkaban.native.lib地址
9.重新运行无效
将azkaban.properties文件中azkaban.jobtype.plugin.dir的路径改为绝对路径
10.Mr阶段运行成功
11.Hive阶段检查出代码有误漏写分号
修改重新打包重新运行，运行成功
