2021SC@SDUSC
目录
一.代码的下载和安装配置
1.部署后端
1.1后端安装,支持自动安装,源码编译安装,这里使用自动安装
1.2报错解决
2.部署前端
2.1下载安装包并解压
2.2执行自动化安装部署脚本
2.3报错解决
二.组内任务划分：
一.代码的下载和安装配置
安装包下载地址:https://dolphinscheduler.apache.org/en-us/docs/user_doc/download.html
1.部署后端
1.1后端安装,支持自动安装,源码编译安装,这里使用自动安装
准备,创建新用户big-data,修改用户权限,赋予sudo权限
$ chmod 640 /etc/sudoers && vim /etc/sudoers
#在root ALL=(ALL) ALL行下添加:
big-data ALL=(ALL) NOPASSWD: NOPASSWD: ALL
给big-data配置ssh免密(从node1开始,每个节点执行)
node1: ssh-keygen -t rsa
登录各节点执行ssh-keygen -t rsa 一路回车到结束，在~/.ssh/下面会生成一个公钥文件id_rsa.pub
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 将公钥追加到authorized_keys
$ chmod 600 ~/.ssh/authorized_keys 修改权限
将 ~/.ssh/authorized_keys从当前节点分发到其他各个节点。如：
scp ~/.ssh/authorized_keys big-data@hdfs1:~/.ssh/
创建元数据库:
CREATE DATAbase escheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON escheduler.* TO 'escheduler'@'%' IDENTIFIED BY 'escheduler';
flush privileges;
创建安装目录:
$ sudo mkdir /opt/dolphinScheduler
#修改部署目录权限
$ chown big-data:big-data /opt/dolphinScheduler
$ cd /opt/dolphinScheduler
上传安装包:
mkdir escheduler #存放后端包解压文件
mkdir front #存放前端包解压文件
修改配置文件:vim /opt/dolphinScheduler/escheduler/conf/application-dao.properties,创建表和导入基础数据
注释掉postgre配置,修改mysql配置:spring.datasource.url,username以及password
执行创建表和导入数据脚本:
sh backend/script/create-dolphinscheduler.sh
执行过程如遇到如下报错:
Caused by: java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
将mysql驱动拷贝到lib目录下即可:
修改运行参数
vi conf/env/.dolphinscheduler_env.sh
修改 install.sh中的各参数，替换成自身业务所需的值
将hadoop的配置文件hdfs-site.xml,以及core-site.xml拷贝到conf下:
cp /etc/hadoop/conf/hdfs-site.xml conf/
cp /etc/hadoop/conf/core-site.xml conf/
执行一键安装部署脚本:
sh install.sh
dolphinscheduler后端服务启停脚本:
#启动
/opt/dolphinScheduler/backend/script/start-all.sh
#停止
/opt/dolphinScheduler/backend/script/stop-all.sh
服务成功后,会看到如下相关进程
1.2报错解决
/opt/dolphinScheduler/backend/logs/*.out日志文件中发现有如下错误:
nohup: failed to run command ‘/bin/java’: No such file or directory
将JAVA_HOME/bin下的java软连接到/bin下,(所有节点)
ln -s $JAVA_HOME/bin/java /bin/java
2.部署前端
2.1下载安装包并解压
2.1下载安装包并解压
cd /opt/dolphinScheduler
mkdir front
tar -zxvf apache-dolphinscheduler-incubating-1.2.0-dolphinscheduler-front-bin.tar.gz -C front
```
2.2执行自动化安装部署脚本
sudo sh ./install-dolphinscheduler-ui.sh
使用自动化部署脚本会检查系统环境是否安装了Nginx，如果没有安装则会通过网络自动下载Nginx包安装，通过引导设置后的Nginx配置文件为 /etc/nginx/conf.d/dolphinscheduler.conf 。
2.3报错解决
二.组内任务划分：
杨帆（本人）： dolphinscheduler-common 公共模块。公共方法或类
dolphinscheduler-api Restful接口。前后端交互层，与master/worker交互等功能
雍奥（组长）： dolphinscheduler-ui 前端页面模块
dolphinscheduler-server 核心模块。包括master/worker等功能
闫航硕： dolphinscheduler-rpc 日志查看。提供日志实时查看rpc功能
dolphinscheduler-dist 与编译、分发相关的模块。没有具体逻辑功能
朱嘉钊： dolphinscheduler-dao 数据操作层。实体定义、数据存储
dolphinscheduler-alert 预警模块。与预警相关的方法、功能
