栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

DolphinScheduler 入门操作

DolphinScheduler 入门操作

一、安全中心配置

安全中心主要有租户管理、用户管理、告警组管理、Worker分组管理、队列管理、令牌管理等功能。安全中心只有管理员账户才有操作权限。

1.1 队列管理

此处的队列对应的是Yarn调度器的资源队列。故队列概念只对跑在Yarn上的任务类型有效。此处创建出的队列,可供后续任务进行选择。需要注意的是,在DolphinScheduler中创建队列,并不会影响到Yarn调度器的队列配置。
此处可不创建队列。

1.2 租户管理

租户对应的是Linux系统用户,是Worker执行任务使用的用户。如果Worker所在节点没有这个用户,Worker会在执行任务时创建这个用户。
此处创建一个atguigu租户,如下图。

注:

租户编码:对应Worker执行任务所使用的用户名。租户名称:用于在DolphinScheduler中显示。队列:该租户提交Yarn任务时的默认队列。

1.3 用户管理

用户对应的是DolphinScheduler的用户,用于登录DolphinScheduler。用户分管理员用户和普通用户。默认情况下,管理员只有授权和用户管理等权限,而普通用户只有创建项目,定义工作流、执行工作流等权限。
此处创建一个普通用户atguigu,如下图。

注:

用户名:DolphinScheduler登录账户租户:该用户关联的租户队列:默认为租户所关联的队列。邮件、手机号:主要用于告警通知。

1.4 告警组管理

告警组可包含多名用户,用于指定告警发送对象。
1)创建告警组

2)增加用户

1.5 Worker分组管理

在任务执行时,可以将任务分配给指定Worker组,最终由该组中的Worker节点执行该任务。默认情况下,所有Worker均位于default组。
此处可不做配置。

1.6 令牌管理

令牌用于通过接口访问DolphinScheduler各项服务时的用户验证。普通用户通过UI页面访问各项服务时,无需使用令牌。若需将DolphinScheduler与第三方服务进行集成,则需调用其接口,此时需使用令牌。

二、项目管理 2.1 切换用户

默认不使用管理员用户操作项目和工作流等,故需先切换到普通用户atguigu。
1)admin用户退出


2)使用atguigu用户登录

2.2 创建项目

2.3 查看项目

三、工作流基础配置

下图为工作流配置页面,共包含三个模快,分别为工作流定义、工作流实例和任务实例。

工作流定义:用于定义工作流,包括工作流各节点任务详情及各节点依赖关系等。工作流实例:工作流每执行一次就会生成一个工作流示例。此处可查看正在运行的工作流以及已经完成的工作流。任务实例:工作流中的一个节点任务,每执行一次就会生成一个任务实例。此处可用于查看正在执行的节点任务以及已经完成的节点任务。

3.1 工作流定义

工作流要求:工作流需包含三个Shell类型的任务节点,分别是A,B,C。三个任务的依赖关系如下图所示:

1)创建工作流

2)配置任务节点
(1)节点A

(2)节点B

(3)节点C

3)配置任务节点的依赖关系

4)保存工作流定义

3.2 提交执行工作流

1)上线工作流
工作流须上线之后才能执行。处于上线状态的工作流定义不可修改,如需修改,须先下线。


2)单次运行工作流


3)定时执行工作流
(1)点击定时

(2)配置定时规则

此处示例为每分钟执行一次


(3)定时管理

(4)定时上线

3.2 查看工作流实例

1)查看所有工作流实例


2)查看工作流执行状态

3.3 查看任务实例

1)查看所有任务实例

2)查看任务实例日志

三、进阶

引用依赖资源等 建议参考:https://blog.csdn.net/yunweijie_cn/article/details/123300979

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/761410.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号