栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Ambari 2.7.4 安装 Flink-1.14.4

Ambari 2.7.4 安装 Flink-1.14.4

一、创建flink源
1,安装 httpd 服务(随便一台服务器,这里选node01)
[root@node01~]# yum -y install httpd

[root@node01~]# service httpd restart

[root@node01 ~]# chkconfig httpd on
安装完成后,会生成 /var/www/html目录(相当于Tomcat的webapps目录)

2、下载下边两个包,并放到 /var/www/html/flink目录 (需要在 /var/www/html先建 flink目录)

[root@node01~]# wget https://www.apache.org/dyn/closer.lua/flink/flink-1.14.4/flink-1.14.4-bin-scala_2.11.tgz
[root@node01~]# wget https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.8.3-10.0/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
mv flink-1.14.4-bin-scala_2.11.tgz /var/www/html/flink/
mv flink-shaded-hadoop-2-uber-2.8.3-10.0.jar /var/www/html/flink/

在浏览器输入http://node01/flink/

可以看到如下结果

二、下载ambari-flink-service服务(在 ambari-server 所在的服务器,这里是node02)

[root@node02~]# VERSION=`hdp-select status hadoop-client | sed ‘s/hadoop-client - ([0-9].[0-9]).*//’`

[root@node02~]# echo $VERSION 3.1

3.1 (这里的版本是3.1)

[root@node02~]# git clone https://github.com/abajwa-hw/ambari-flink-service.git /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/Flink

1、修改配置文件(编辑 metainfo.xml 将安装的版本修改为 1.14.4)

[root@node02~]# cd /var/lib/ambari-server/resources/stacks/HDP/3.1/services/Flink/
[root@node02~]# vim metainfo.xml
Flink
Apache Flink is a streaming dataflow.。。。。.
1.14.4
2、修改flink-env.xml (JAVA_HOME 和 内存参数)

[root@node02~]# cd /var/lib/ambari-server/resources/stacks/HDP/3.1/services/Flink/configuration

[root@node02~]# vim flink-env.xml

env.java.home: /usr/local/java/ #改为自己的java路径

jobmanager.memory.process.size: 1600m #(就按这个配置,不配置这里后边启动会报内存的错误)

taskmanager.memory.process.size: 1728m #(就按这个配置,不配置这里后边启动会报内存的错误)

3.编辑flink-ambari-config.xml修改下载地址为第一步创建的网络路径
[root@node02~]#cd /var/lib/ambari-server/resources/stacks/HDP/3.1/services/Flink/configuration

vim flink-ambari-config.xml

flink_download_url http://node01/flink/flink-1.14.4-bin-scala_2.11.tgz Snapshot download location. Downloaded when setup_prebuilt is true flink_hadoop_shaded_jar http://node01/flink/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar Flink shaded hadoop jar download location. Downloaded when setup_prebuilt is true

三、创建用户和组
[root@node02~]# groupadd flink
[root@node02~]# useradd -d /home/flink -g flink flink
四、重启 ambari-server
[root@node02~]# ambari-server restart

五.ambari 安装 Flink

1.ambari web选择添加Flink服务

界面找到Stack and Versions 然后在Flink 那里点击 add Service

2.选择将Flink Master安装到哪台服务器,比如node03(slava 和 client 无法选择,直接跳到下一步,不影响)

3.配置 Flink on yarn 故障转移方式(在 custom flink-env 那里配置)

yarn.client.failover-proxy-provider org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider ![](https://img-blog.csdnimg.cn/1a42ad98dee14cf7a8836b5652d8dddc.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAcm9va2llX2JpZ2RhdGE=,size_20,color_FFFFFF,t_70,g_se,x_16)

4.下一步,部署,完成。

5.在yarn 运行界面可以看到多了一个应用,通过后边的?ApplicationMaster?

可以跳到 flink 管理界面

六、跑一个作业进行测试(在Flink Master所在的服务器 node03)

1,在ambari flink 配置界面加上下边的参数,classloader.check-leaked-classloader: false

并保存。

2,设置Hadoop_ClassPath

[root@node03~]# export HADOOP_CLASSPATH=`hadoop classpath`

3,执行测试程序(node03)

[root@node03~]# /opt/flink/bin/flink run
-m yarn-cluster -yjm 1024 -ytm 1024
/opt/flink/examples/batch/WordCount.jar

4、可以在yarn看到多了一个flink作业在运行

5、完成

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/775808.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号