栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Flink On Yarn 小记

Flink On Yarn 小记

此部署基于Flink1.12

首先要理解Flink的两种部署的方式有哪些区别:
总共两种发布模式:
1.job模式
2.session模式

Job模式:
	部署环境使用,一个Flink独占一个session
./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 ./opt/modules/x1.jar  ...
Session模式:
	除了部署环境都可以用
#1启动一个一直运行的flink集群
./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 -d

#2 附着到一个已存在的flink yarn session
./bin/yarn-session.sh -id application_1463870264508_0029

总结:
job模式是让一个job单独使用一个Flink集群,而Session模式是让多个job使用同一个Flink集群

以下举例Session方式:
1.正常部署Yarn和Flink

2.配置如下的环境变量:

#下面两个配置是为了Flink使用Yarn集群
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`

3.如此,Flink就集成了yarn,但是启动的时候要让Flink去Yarn上去注册一个session,因为我用的是session的方式启动的:

#yarn-session.sh 实在Flink的目录下
./yarn-session.sh -n 2 -jm 100mb -tm 300mb

4.到此我们可以在Yarn的web界面看到如下的结果:

这样Flink就在Yarn上申请了一份资源。
通过Yarn界面跳转到Flink的web界面,剩下的就是正常的操作。

FAQ:
这样Flink就在Yarn上申请了一份资源,这份资源的大小时固定的,我们可以在Yarn的页面跳转到Flink的web界面,剩下的就是正常提交Flink程序即可。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/632926.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号