栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

CDH6.2集成flink1.11.6管理

CDH6.2集成flink1.11.6管理

因官方parcel下载地址关闭,所以需要手动编译集成。

文章引用自:cdh6 flink 安装«海底苍鹰(tank)博客

与文中不同的是,我们需要在cdh6.2上集成flink1.11.6,下面一起来试试吧

clone git项目 用于编译parcel包,提供给CDH

git clone https://github.com/pkeropen/flink-parcel.git

下载完毕,进入目录

vim flink-parcel/flink-parcel.properties

修改内容如下:

#Flink 下载地址
Flink_URL=https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.14.2/flink-1.14.2-bin-scala_2.11.tgz

#flink版本号
Flink_VERSION=1.14.2

#扩展版本号
EXTENS_VERSION=BIN-SCALA_2.11

#操作系统版本,以centos为例
OS_VERSION=7

#CDH 小版本
CDH_MIN_FULL=5.2
CDH_MAX_FULL=6.3

#CDH大版本
CDH_MIN=5
CDH_MAX=6

执行编译:

bash build.sh parcel
bash build.sh csd_on_yarn

这个编译过程很慢,需要耐心等待,好在最后还是完成了

编译完的目录如下

build.sh                     Flink-1.14.2-BIN-SCALA_2.11_build  flink-csd-on-yarn-src     flink-parcel.properties  README.md
cm_ext                       flink-1.14.2-bin-scala_2.11.tgz    flink-csd-standalone-src  flink-parcel-src
Flink-1.14.2-BIN-SCALA_2.11  flink_csd_build                    Flink_ON_YARN-1.14.2.jar  LICENSE

需要装一个nginx,映射Flink-1.14.2-BIN-SCALA_2.11_build,让其能通过http静态资源访问被访问到。

yum install nginx -y
vim /etc/nginx/nginx.conf
    
#添加如下片段,映射刚刚编译出来的文件夹
    server {  
        listen 自定义端口;  
        root 自定义文件目录;  
        autoindex on;  
        autoindex_exact_size off;  
        autoindex_localtime on;  
        charset utf-8;  
    } 

添加CDH配置

移动Flink_ON_YARN-1.14.2.jar到2个地方

1 flink static的访问目录 

2 /opt/cloudera/csd/

cp Flink_ON_YARN-1.14.2.jar 静态目标目录
cp Flink_ON_YARN-1.14.2.jar /opt/cloudera/csd/

重启CDH的CM-server

service cloudera-scm-server restart

登陆进入页面,重启CM套件

分配激活flink

 下载share包,分发到各个节点

cd /opt/cloudera/parcels/Flink/lib/flink/lib  
wget https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.6.5-7.0/flink-shaded-hadoop-2-uber-2.6.5-7.0.jar  
  
scp flink-shaded-hadoop-2-uber-2.6.5-7.0.jar hosts:/opt/cloudera/parcels/Flink/lib/flink/lib 

给各个节点添加环境变量

#flink
export Flink_HOME=/opt/cloudera/parcels/Flink/lib/flink
export PATH=$PATH:$Flink_HOME/bin
export HADOOP_CLASSPATH=/opt/cloudera/parcels/Flink/lib/flink/lib
source /etc/profile

# 挂载/usr/bin环境
ln -s /opt/cloudera/parcels/Flink/lib/flink/bin/flink /usr/bin/flink

再添加flink套件

security.kerberos.login.keytab
security.kerberos.login.principal

添加时这俩个值要置空

启动成功!

如要提交命令到集群,需要将hadoop的各种xml配置文件拷贝到flink的conf中

cp /etc/hadoop/conf/*.xml /opt/cloudera/parcels/Flink/lib/flink/conf

即可在机器中提交flink 任务至yarn

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/681613.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号