一.概述:
Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
二.必备软件安装:
Mysql (5.5+)
JDK (1.8+)
ZooKeeper(3.4.6+)
Hadoop(2.6+):选装, 如果需要使用到资源上传功能,MapReduce任务提交则需要配置 Hadoop(上传的资源文件目前保存在Hdfs上)
Hive(1.2.1) : 选装,hive任务提交需要安装
Spark(1.x,2.x) : 选装,Spark任务提交需要安装
PostgreSQL(8.2.15+) : 选装,PostgreSQL PostgreSQL存储过程需要安装
Node.js
Maven(3.8.2)
三、组内分工安排
朱嘉钊(本人):
dolphinscheduler-dao 数据操作层。实体定义、数据存储
dolphinscheduler-alert 预警模块。与预警相关的方法、功能
雍奥(组长):
dolphinscheduler-ui 前端页面模块
dolphinscheduler-server 核心模块。包括master/worker等功能
杨帆:
dolphinscheduler-common 公共模块。公共方法或类
dolphinscheduler-api Restful接口。前后端交互层,与master/worker交互等功能
闫航硕:
dolphinscheduler-rpc 日志查看。提供日志实时查看rpc功能
dolphinscheduler-dist 与编译、分发相关的模块。没有具体逻辑功能、
参考:https://blog.csdn.net/github_39577257/article/details/102783298



