栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

自制Flink Parcel集成CDH(Flink1.13.2 + CDH6.2.1+Scala2.11)

自制Flink Parcel集成CDH(Flink1.13.2 + CDH6.2.1+Scala2.11)

自制Flink Parcel集成CDH(Flink1.13.2 + CDH6.2.1+Scala2.11)

记录制作flink parcel

环境(虚拟机,系统CentOS7.6)

(1)jdk1.8(open)
(2)maven3.8.1
(3)parcel制作工具
  1. jdk、maven自行安装
  2. flink 相关下载
注:可不需要提前下载
flink下载地址:https://archive.apache.org/dist/flink/flink-1.13.2/flink-1.13.2-bin-scala_2.11.tgz
parcel制作工具下载地址:https://github.com/pkeropen/flink-parcel.git(github提供的工具包)
  1. 制作parcel
parcel制作方式大致有两种,第一种是使用源生的制作方法,制作过程繁琐复杂,第二种是使用广大网友制作好的parcel制作工具,本文使用后者

下载制作工具:
git clone https://github.com/pkeropen/flink-parcel.git
完成后会在当前目录生成一个flink-parcel的文件,证明下载成功

修改配置文件
cd ./flink-parce
vim flink-parcel.properties
进行相应修改,内容如下:
#Flink 下载地址
Flink_URL=https://archive.apache.org/dist/flink/flink-1.13.2/flink-1.13.2-bin-scala_2.11.tgz

#flink版本号
Flink_VERSION=1.13.2

#扩展版本号
EXTENS_VERSION=BIN-SCALA_2.11

#操作系统版本,以centos为例
OS_VERSION=7

#CDH 小版本
CDH_MIN_FULL=5.2
CDH_MAX_FULL=6.3.3

#CDH大版本
CDH_MIN=5
CDH_MAX=6


保存并退出

然后进行build
./build.sh  parcel
下载并打包完成后会在当前目录生成Flink-1.13.2-BIN-SCALA_2.11_build文件

构建flink-yarn csd包
./build.sh csd_on_yarn
执行完成后会生成Flink_ON_YARN-1.13.2.jar

将Flink-1.13.2-BIN-SCALA_2.11_build打包
tar -cvf ./Flink-1.13.2-BIN-SCALA_2.11.tar ./Flink-1.13.2-BIN-SCALA_2.11_build/

将Flink-1.13.2-BIN-SCALA_2.11.tar 
Flink_ON_YARN-1.12.0.jar下载,这两个包就是目标包

上传到正式环境服务器(局域网yum提供的节点)
  1. 集成cm
将上传的Flink-1.13.2-BIN-SCALA_2.11.tar进行解压到/var/www/html
tar -xvf Flink-1.13.2-BIN-SCALA_2.11.tar -C /var/www/html

重命名
mv Flink-1.13.2-BIN-SCALA_2.11_build flink
cd /var/www/html/flink
createrepo .

配置局域网flink的yum
cd /etc/yum.repo.d
vim ./flink.repo
输入如下内容
[flink]
name=flink
baseurl=http://yum源ip/flink
enabled=1
gpgcheck=0

登录cm
在parcel配置界面添加flink的parcel源
然后进行下载→分配→解压→激活

然后登录服务器,将Flink_ON_YARN-1.13.2.jar上传到cm主节点的/opt/cloudera/csd/目录下(目的是让cm识别)

注:此时在cm添加服务可能无法看到有flink服务,需要重启集群的agent以及cm server

重新启动cm后即可看到flink,并可以执行添加操作了
  1. 可能会出现的问题
缺yarn的依赖和缺少flink连接hadoop3的包还有一个commons-cli-1.4.jar flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar(所有flink节点都需要添加),可以自行下载这两个包(联系博主也可以)

mv commons-cli-1.4.jar flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar /opt/cloudera/parcels/Flink/lib/flink/lib/

添加完成后再重试还会报一个与Kerberos相关的错误,由于我的集群并没有开启Kerberos,所以需要到flink的配置界面中把Kerberos相关的配置删除,完后再重启就能够正常启动了。

启动后flink在cm界面的显示状态为?问题
在cm界面重启cm服务即可解决

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/355289.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号