说明分享命令总结
说明分享本博客每周五更新一次。
Apache oozie是hadoop平台重量级开源工作流任务调度工具,支持sh、jar、sql等多种方式开发任务,工作流支持并发、顺序执行,流程通过xml配置。
大数据博客列表开发记录汇总 命令
启动任务:oozie job -oozie http://localhost:11000/oozie -config ./job.properties -run
job.properties 目录下执行 停止任务:oozie job -oozie http://localhost:11000/oozie -kill 任务id查看所有运行任务 oozie jobs -jobtype coordinator -filter status=RUNNING -localtime -len 1000 job -oozie http://localhost:11000/oozie |grep 队列名-C | awk -F '[tRUNNING]' '{print $1"t"$2}'根据任务名获取任务id:oozie jobs -jobtype coordinator -filter status=RUNNING -localtime -len 1000 job -oozie http://localhost:11000/oozie |grep 队列名-C | awk -F '[tRUNNING]' '{print $1"t"$2}' |grep "任务名"查看任务信息:
查看默条数任务:oozie job -oozie http://localhost:11000/oozie -info 任务id查看6000条任务:oozie job -oozie http://localhost:11000/oozie -localtime -len 6000 -info 任务id 查看任务日志:oozie job -oozie http://localhost:11000/oozie -log 任务id验证workflow.xml是否有错:oozie validate workflow.xml 总结
oozie是hadoop平台任务调度工具之一,常用的还有Azkaban、airflow。个人经验oozie相对厚重稳定,但更新节奏较慢,目前官方未支持hadoop3,需要自己编译,但它相对稳定,如轻度任务调度,使用Azkaban自带页面配置,开发任务更加友好。



