2021SC@SDUSC
一、综述
DophinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
简单来说，DophinScheduler是一个开源的大数据任务调度系统，能支持通过非常简单的拖拽操作构建ETL过程。
二、基础软件安装
Mysql (5.5+) : 必装
JDK (1.8+) : 必装
ZooKeeper(3.4.6+) ：必装
Hadoop(2.6+) ：选装， 如果需要使用到资源上传功能，MapReduce任务提交则需要配置Hadoop(上传的资源文件目前保存在Hdfs上)
Hive(1.2.1) : 选装，hive任务提交需要安装
Spark(1.x,2.x) : 选装，Spark任务提交需要安装
PostgreSQL(8.2.15+) : 选装，PostgreSQL PostgreSQL存储过程需要安装
Node.js：必装
Maven：必装，最好 3.6 版本
①.安装mysql
1.下载mysql安装包到 /usr/local/ 目录
cd /usr/local/
wget https://cdn.mysql.com/archives/mysql-5.6/mysql-5.6.45-linux-glibc2.12-x86_64.tar.gz
2.解压并删除原有压缩包，解压后重命名为mysql
tar -zxvf mysql-5.6.45-linux-glibc2.12-x86_64.tar.gz
rm -rf mysql-5.6.45-linux-glibc2.12-x86_64.tar.gz
mv mysql-5.6.45-linux-glibc2.12-x86_64/ mysql
3.添加mysql用户组和mysql用户，添加完使用groups mysql查看是否添加成功
groupadd mysql
useradd -r -g mysql mysql
groups mysql
4.修改mysql目录拥有者为刚建立的mysql用户
cd mysql/
chown -R mysql:mysql ./
5.MySQL 初始化
./scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
6.修改mysql目录拥有者为root用户，修改data目录拥有者为mysql
chown -R root:root ./ && chown -R mysql:mysql data
7.启动mysql ,修改root密码设为000000，成功登陆
./support-files/mysql.server start
./bin/mysqladmin -u root password '000000'
./bin/mysql -h127.0.0.1 -uroot -p000000
8. linux登陆成功之后，开启远程登陆,刷新权限
mysql> grant all privileges on *.* to root@'%' identified by '000000';
mysql> flush privileges;
坑：初始化mysql时报错ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock'
ubuntu默认软件包管理器不是yum，而是dpkg，网上搜到的yum install libaio* -y安装libaio库的方法不适用，而应该用sudo apt-get install net-tools
②安装jdk
1.检查是否已安装过jdk
java -version
报错Command 'java' not found, but can be installed with:
证明没有安装
2.更新软件包列表：
sudo apt-get update
3.安装openjdk-8-jdk：
sudo apt-get install openjdk-8-jdk
4.查看java版本，看看是否安装成功：
java -version
报：
openjdk version "1.8.0_292"
OpenJDK Runtime Environment (build 1.8.0_292-8u292-b10-0ubuntu1~18.04-b10)
OpenJDK 64-Bit Server VM (build 25.292-b10, mixed mode)
证明安装成功
③安装ZooKeeper
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。想要安装zookeeper，必须先在linux中安装好jdk。
1.在 /usr/local目录下下载zookeeper安装包
cd /usr/local
wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz
2.解压
tar zxvf zookeeper-3.4.9.tar.gz
3.修改配置
cd zookeeper-3.4.9
cp conf/zoo_sample.cfg conf/zoo.cfg
vim conf/zoo.cfg
按下i进入插入模式
修改存储目录：dataDir=/opt/zookeeper/zkdata
输入:wq保存并退出
4.启动
cd bin/
./zkServer.sh start
报：
ZooKeeper JMX enabled by default
Using config: /usr/local/mysql/zookeeper-3.4.9/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
启动成功
④安装Node.js
1.下载并解压
cd /usr/local
wget https://nodejs.org/dist/v12.18.1/node-v12.18.1-linux-x64.tar.xz
tar xf node-v12.18.1-linux-x64.tar.xz
cd node-v12.18.1-linux-x64
2.配置前做好备份，防止修改时出问题
cp /etc/profile /etc/profile.bak
3.配置
vim /etc/profile 进入配置文件
在最下面添加export PATH=$PATH:/root/node-v12.18.1-linux-x64/bin 标注bin 目录的路径
4.使配置生效
source /etc/profile
5.检验
node -v
6.提示未安装完成，输入apt install nodejs完成安装
apt install nodejs
7.再次检验
node -v
安装成功
⑤安装maven
1.官网下载
Maven – Download Apache Maven
2.上传到linux /usr/local
3.解压
tar -zxvf apache-maven-3.8.2-bin.tar.gz
4.配置环境变量
vi /etc/profile
export MAVEN_HOME=/usr/local/apache-maven-3.8.2
export PATH=$MAVEN_HOME/bin:$PATH
5.刷新环境变量
source /etc/profile
6.验证
mvn -v
7.安装
apt install maven
至此，启动DophinScheduler的基础组件已全部安装再linux虚拟机上了。
三、组内分工
朱嘉钊：
dolphinscheduler-dao 数据操作层。实体定义、数据存储
dolphinscheduler-alert 预警模块。与预警相关的方法、功能
杨帆：
dolphinscheduler-common 公共模块。公共方法或类
dolphinscheduler-api Restful接口。前后端交互层，与master/worker交互等功能
雍奥：
dolphinscheduler-ui 前端页面模块
dolphinscheduler-server 核心模块。包括master/worker等功能
闫航硕：
dolphinscheduler-rpc 日志查看。提供日志实时查看rpc功能
dolphinscheduler-dist 与编译、分发相关的模块。没有具体逻辑功能
参考博客：工作流任务调度系统：Apache DolphinScheduler_Yore - Home-CSDN博客_dolphinscheduler
