栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

手把手--分享--azkaban4.0编译安装

手把手--分享--azkaban4.0编译安装

azkaban4.0编译安装部署

话不多说!! !直接开干!!!

1 下载源码:

Releases · azkaban/azkaban · GitHub

2 下载上传解压
rz
tar -zxvf /export/software/azkaban-4.0.0.tar.gz -C /home/azkaban/
更名 mv /home/azkaban-master /home/azkaban
3 进入azkaban目录下后开始四部曲–> 若是下载太慢的情况下 就用这个盘里面的吧 四个8
cd /home/azkaban

# 依次执行
./gradlew clean

./gradlew build 
--这一步有可能失败,多试一两次就好了  时间稍微长点
BUILD SUCCESSFUL --成功

./gradlew installDist
BUILD SUCCESSFUL --成功

./gradlew distTar
BUILD SUCCESSFUL --成功

--注: 途中出现少了些啥 就安装吧  一般是缺少GCC-C++ 安装即可 
yun install -y git
yum -y install gcc-c++
4 完成后会在对应的目录下生成压缩文件
/home/azkaban/azkaban-bd --> /home/azkaban/azkaban-db/build/distributions/azkaban-db-0.1.0-SNAPSHOT.tar.gz

/home/azkaban/azkaban-exec-server --> /home/azkaban/azkaban-exec-server/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz

/home/azkaban/azkaban-web-server --> /home/azkaban/azkaban-web-server/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz

5 创建文件目录并解压至该目录下,再重命名
mkdir /opt/module/azkaban

tar -zxvf /home/azkaban/azkaban-db/build/distributions/azkaban-db-0.1.0-SNAPSHOT.tar.gz -C /opt/module/azkaban/
tar -zxvf /home/azkaban/azkaban-exec-server/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz -C /opt/module/azkaban/
tar -zxvf /home/azkaban/azkaban-web-server/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz -C /opt/module/azkaban/

mv azkaban-db-0.1.0-SNAPSHOT db
mv azkaban-exec-server-0.1.0-SNAPSHOT exec
mv azkaban-web-server-0.1.0-SNAPSHOT web
6 azkaban 脚本导入
进入 mysql,创建 azkaban 数据库,并将解压的脚本导入到 azkaban 数据库。

mysql -uroot -proot
mysql> create database azkaban;
mysql> use azkaban;
mysql> source /opt/module/azkaban/db/create-all-sql-0.1.0-SNAPSHOT.sql
7 创建 SSL 配置
生成 keystore 的密码及相应信息的密钥库
cd /opt/module/azkaban
keytool -keystore keystore -alias jetty -genkey -keyalg RSA

输入 keystore 密码:123456
再次输入新密码: 123456
您的名字与姓氏是什么?
[Unknown]:
您的组织单位名称是什么?
[Unknown]:
您的组织名称是什么?
[Unknown]:
您所在的城市或区域名称是什么?
[Unknown]:
您所在的州或省份名称是什么?
[Unknown]:
该单位的两字母国家代码是什么
[Unknown]: CN
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗?
[否]: y

输入的主密码
(如果和 keystore 密码相同,按回车):
再次输入新密码:

mv keystore /opt/module/azkaban/web/
8 修改配置文件
1 /opt/module/azkaban/web/conf/azkaban.properties 

cd /opt/module/azkaban/web/conf
vim azkaban.properties
内容如下:
# Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=/opt/module/azkaban/web/web/
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=/opt/module/azkaban/web/conf/azkaban-users.xml
# Loader for projects
executor.global.properties=/opt/module/azkaban/exec/conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25

#Jetty SSL 端口
jetty.ssl.port=8443
#Jetty  端口
jetty.port=8081

#SSL 文件名(绝对路径)
jetty.keystore=/opt/module/azkaban/web/keystore
#SSL 文件密码 
jetty.password=123456 
#Jetty 主密码与 keystore 文件相同 
jetty.keypassword=123456
#SSL 文件名(绝对路径)
jetty.truststore=/opt/module/azkaban/web/keystore
#SSL 文件密码
jetty.trustpassword=123456

# Azkaban Executor settings
executor.port=12321

# Azkaban Executor settings
# mail settings
mail.sender=
mail.host=

# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse 
proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=root
mysql.password=root
mysql.numconnections=100
#Multiple Executor
azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1
2 azkaban-users.xml

cd /opt/module/azkaban/web/conf
vim azkaban-users.xml 
  
  
   
  
  

3 /opt/module/azkaban/exec/conf/azkaban.properties 
cd /opt/module/azkaban/exec/conf
# Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai

# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
# Loader for projects
executor.global.properties=/opt/module/azkaban/exec/conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8081
# Where the Azkaban web server is located
azkaban.webserver.url=http://localhost:8081
# mail settings
mail.sender=
mail.host=
# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse 
proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban plugin settings
azkaban.jobtype.plugin.dir=plugins/jobtypes
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=root
mysql.password=root
mysql.numconnections=100
# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30
azkaban.executor.runtimeProps.override.eager=false
9 执行启动
--azkaban exec-server
cd /opt/module/azkaban/exec/bin
./start-exec.sh

--azkaban web-server
cd /opt/module/azkaban/web/bin
./start-web.sh

注:先执行 exec,再执行 web,避免 Web 因找不到执行器启动失败

jps
11617 NameNode
12019 ResourceManager
15542 Jps
14762 AzkabanExecutorServer
11835 SecondaryNameNode

发现少个web-server服务
看日志吧!!!
------------前面的正常就省略了------------
2021/11/25 15:14:53.756 +0800  INFO [PluginCheckerAndActionsLoader] [main] [Azkaban] Loading plug-in checker and action types

2021/11/25 15:14:53.757 +0800 ERROR [PluginCheckerAndActionsLoader] [main] [Azkaban] plugin path plugins/triggers doesn't exist
!--这条有错误 但是并不重要 这个错误可以不理会也能运行,这里的问题主要是因为没有激活exector  直接略过!!!

------------中间的正常就省略了------------

2021/11/25 15:14:53.788 +0800  INFO [AzkabanWebServer] [main] [Azkaban] ************* loginLoggerObjName is null, make sure the
re is a logger with name azkaban.webapp.servlet.LoginAbstractAzkabanServlet
2021/11/25 15:14:53.788 +0800  INFO [ExecutorManager] [main] [Azkaban] Initializing executors from database.

2021/11/25 15:14:53.792 +0800 ERROR [ExecutorManager] [main] [Azkaban] No active executors found
--这条显示azkaban中 没有状态 导致启动服务失败  

2021/11/25 15:14:53.793 +0800 ERROR [StdOutErrRedirect] [main] [Azkaban] Exception in thread "main"
2021/11/25 15:14:53.793 +0800 ERROR [StdOutErrRedirect] [main] [Azkaban] azkaban.executor.ExecutorManagerException: No active e
xecutors found
...

然后我直接去服务器中登录mysql找到了这个表中的对应状态
azkaban库的executors表
id|host     |port |active|
--|---------|-----|------|
 6|localhost|12321|     0|
 
 最简单粗暴的方法直接更改active=1即可  
 然后在启动  
cd /opt/module/azkaban/web/bin
./start-web.sh
jps
11617 NameNode
12019 ResourceManager
14762 AzkabanExecutorServer
11835 SecondaryNameNode
15484 AzkabanWebServer
15565 Jps

果然 问题在这里 没有识别到active的状态 导致启动服务失败 更改为1即可正常了
10 校验登录

https://192.xxx.xxx.xxx/8443
–似乎不行

http://192.xxx.xxx.xxx:8081/
再换成这个–可行

admin/admin

若是对你有所帮助 免费点个赞吧!!!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/600269.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号