栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

DolphinSchedule本地配置方案

DolphinSchedule本地配置方案

基础环境:

Macbook Pro
java 8
python 2.7
Mysql 5.7

1. 安装ZooKeeper

zookeeper下载地址

note:需要下载apache-zookeeper-3.5.8-bin.tar.gz文件,否则zk无法启动

错误信息:

错误: 找不到或无法加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain
解压文件,进入conf,执行如下命令

cp zoo_sample.cfg zoo.cfg

编辑 zoo.cfg,修改一下data目录(也可以不修改)

vim zoo.cfg
dataDir=...........

进入bin,执行如下命令启动zookeeper

./zkServer.sh start

执行如下命令,进行客户端登陆

./zkCli.sh
2.创建Mysql数据库
CREATE DATAbase dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE USER 'dscheduler'@'%' IDENTIFIED BY 'dscheduler';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dscheduler'@'%' WITH GRANT OPTION;
flush privileges;

3.配置后端开发环境
在pom文件里面,找到modules,将dolphinscheduler-ui注释掉

Note:
如果想使用CDH版本大数据组件,需要在pom文件中加入repositories,并且需要修改hive和hadoop的版本


    
        cloudera
        https://repository.cloudera.com/artifactory/cloudera-repos/
    

执行mvn编译命令

mvn -U clean package -Prelease -Dmaven.test.skip=true

去除pom文件中mysql的scope

在apiserver中加入

@PropertySource(ignoreResourceNotFound = false, value = "classpath:application-api.properties")

在Dao里面修改application.properties配置,根据具体数据库修改,pg或者mysql

spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8
spring.datasource.username=dolphinscheduler
spring.datasource.password=dolphinscheduler

在service层修改zk地址,如果为本地zk,默认不需要修改

在Server层修改master代码

@PropertySource(ignoreResourceNotFound = false, value = "classpath:master.properties")

修改server的master.properties

修改server的worker

修改server的worker.properties

在WorkerServer的run configuration中设置如下:

-Dspring.profiles.active=worker -Dlogging.config="dolphinscheduler-server/src/main/resources/logback-worker.xml" 
-Dspring.profiles.active=worker -Dlogging.config="dolphinscheduler-server/src/main/resources/logback-worker.xml" 

分别启动API、Master、Worker

4.前端环境配置

 cd dolphinscheduler-ui
 npm install

修改前端API Server地址

启动前端

npm run start

访问:localhost:8888

默认账号密码

admin
dolphinscheduler123

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/584581.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号