记录制作flink parcel
环境(虚拟机,系统CentOS7.6)
(1)jdk1.8(open) (2)maven3.8.1 (3)parcel制作工具
- jdk、maven自行安装
- flink 相关下载
注:可不需要提前下载 flink下载地址:https://archive.apache.org/dist/flink/flink-1.13.2/flink-1.13.2-bin-scala_2.11.tgz parcel制作工具下载地址:https://github.com/pkeropen/flink-parcel.git(github提供的工具包)
- 制作parcel
parcel制作方式大致有两种,第一种是使用源生的制作方法,制作过程繁琐复杂,第二种是使用广大网友制作好的parcel制作工具,本文使用后者 下载制作工具: git clone https://github.com/pkeropen/flink-parcel.git 完成后会在当前目录生成一个flink-parcel的文件,证明下载成功 修改配置文件 cd ./flink-parce vim flink-parcel.properties 进行相应修改,内容如下: #Flink 下载地址 Flink_URL=https://archive.apache.org/dist/flink/flink-1.13.2/flink-1.13.2-bin-scala_2.11.tgz #flink版本号 Flink_VERSION=1.13.2 #扩展版本号 EXTENS_VERSION=BIN-SCALA_2.11 #操作系统版本,以centos为例 OS_VERSION=7 #CDH 小版本 CDH_MIN_FULL=5.2 CDH_MAX_FULL=6.3.3 #CDH大版本 CDH_MIN=5 CDH_MAX=6 保存并退出 然后进行build ./build.sh parcel 下载并打包完成后会在当前目录生成Flink-1.13.2-BIN-SCALA_2.11_build文件 构建flink-yarn csd包 ./build.sh csd_on_yarn 执行完成后会生成Flink_ON_YARN-1.13.2.jar 将Flink-1.13.2-BIN-SCALA_2.11_build打包 tar -cvf ./Flink-1.13.2-BIN-SCALA_2.11.tar ./Flink-1.13.2-BIN-SCALA_2.11_build/ 将Flink-1.13.2-BIN-SCALA_2.11.tar Flink_ON_YARN-1.12.0.jar下载,这两个包就是目标包 上传到正式环境服务器(局域网yum提供的节点)
- 集成cm
将上传的Flink-1.13.2-BIN-SCALA_2.11.tar进行解压到/var/www/html tar -xvf Flink-1.13.2-BIN-SCALA_2.11.tar -C /var/www/html 重命名 mv Flink-1.13.2-BIN-SCALA_2.11_build flink cd /var/www/html/flink createrepo . 配置局域网flink的yum cd /etc/yum.repo.d vim ./flink.repo 输入如下内容 [flink] name=flink baseurl=http://yum源ip/flink enabled=1 gpgcheck=0 登录cm 在parcel配置界面添加flink的parcel源 然后进行下载→分配→解压→激活 然后登录服务器,将Flink_ON_YARN-1.13.2.jar上传到cm主节点的/opt/cloudera/csd/目录下(目的是让cm识别) 注:此时在cm添加服务可能无法看到有flink服务,需要重启集群的agent以及cm server 重新启动cm后即可看到flink,并可以执行添加操作了
- 可能会出现的问题
缺yarn的依赖和缺少flink连接hadoop3的包还有一个commons-cli-1.4.jar flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar(所有flink节点都需要添加),可以自行下载这两个包(联系博主也可以) mv commons-cli-1.4.jar flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar /opt/cloudera/parcels/Flink/lib/flink/lib/ 添加完成后再重试还会报一个与Kerberos相关的错误,由于我的集群并没有开启Kerberos,所以需要到flink的配置界面中把Kerberos相关的配置删除,完后再重启就能够正常启动了。
启动后flink在cm界面的显示状态为?问题 在cm界面重启cm服务即可解决



