栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

oozie控制台命令

oozie控制台命令

文章目录

说明分享命令总结

说明

本博客每周五更新一次。
Apache oozie是hadoop平台重量级开源工作流任务调度工具,支持sh、jar、sql等多种方式开发任务,工作流支持并发、顺序执行,流程通过xml配置。

分享

大数据博客列表开发记录汇总 命令

启动任务:oozie job -oozie http://localhost:11000/oozie -config ./job.properties -run

job.properties 目录下执行 停止任务:oozie job -oozie http://localhost:11000/oozie -kill 任务id查看所有运行任务 oozie jobs -jobtype coordinator -filter status=RUNNING -localtime -len 1000 job -oozie http://localhost:11000/oozie |grep 队列名-C | awk -F '[tRUNNING]' '{print $1"t"$2}'根据任务名获取任务id:oozie jobs -jobtype coordinator -filter status=RUNNING -localtime -len 1000 job -oozie http://localhost:11000/oozie |grep 队列名-C | awk -F '[tRUNNING]' '{print $1"t"$2}' |grep "任务名"查看任务信息:

查看默条数任务:oozie job -oozie http://localhost:11000/oozie -info 任务id查看6000条任务:oozie job -oozie http://localhost:11000/oozie -localtime -len 6000 -info 任务id 查看任务日志:oozie job -oozie http://localhost:11000/oozie -log 任务id验证workflow.xml是否有错:oozie validate workflow.xml 总结

oozie是hadoop平台任务调度工具之一,常用的还有Azkaban、airflow。个人经验oozie相对厚重稳定,但更新节奏较慢,目前官方未支持hadoop3,需要自己编译,但它相对稳定,如轻度任务调度,使用Azkaban自带页面配置,开发任务更加友好。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/761457.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号