栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Oozie 任务调度

Oozie 任务调度

工作流数据

Hue的任务是基于工作流的调度,我们创建一个包含 Hive script 脚本的工作流,其中具体脚本内容如下所示:

create database if not exists hive_db;
show databases;
use hive_db;
show tables;
create table if not exists hive_test (a int, b string);
show tables;
insert into hive_test select 1, "test";
select * from hive_test;

将上面脚本内容保存到hive_test.sql脚本文件中,并上传到hdfs目录/tmp/目录下;另外Hive工作流还需要一个hive-site.xml 配置文件,此配置文件路径在:/usr/hdp/2.6.1.0-129/hive/conf/hive-site.xml下,同时将改配置文件上传到hdfs目录/tmp/目录下。

创建工作流

1.在Hue页面的上方,选择Workflow,具体如下图所示。

2.在工作流编辑页面中拖一个 Hive script。

3.选择上传到hdfs上的hive_test.sql脚本文件和hive-site.xml 配置文件。

4.单击 Add 后,还需在 FILES 中指定 hive script 文件。

5.单击右上角保存,然后单击执行,运行 workflow。

创建定时任务

Hue是支持定时任务调度的,有点类似于crontab执行命令,该定时任务支持的调度粒度可以到分钟级别。

1.在Hue页面的上方,选择Schedule,具体如下图所示。

2.选择一个创建好的工作流,然后选择需要调度的时间、时间间隔、时区、调度任务的开始时间及结束时间,然后单击保存和执行,具体如下所示。

3.最后在Workflows、Schedulers 的监控页面可以查看任务调度执行情况。

下一篇:MapReduce简介

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/389354.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号