栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

[flink]flink on yarn之flink-conf最简单配置

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

[flink]flink on yarn之flink-conf最简单配置

注:
jobmanager.memory.heap.size和jobmanager.memory.process.size二选一,且后者比前者大。

classloader.check-leaked-classloader: false和taskmanager.memory.process.size: 5120m是程序启动时候遇到的问题,所以配置上

env.hadoop.conf.dir: /opt/hadoop/etc/hadoop,
env.java.home: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64/jre和
env.yarn.conf.dir: /opt/hadoop/etc/hadoop是环境变量。如果你的 /etc/profile能找到对应路径,那么只需要三个配置

## jobmanager.memory.heap.size: 1024m
jobmanager.memory.process.size: 2048m


classloader.check-leaked-classloader: false
taskmanager.memory.process.size: 5120m
env.hadoop.conf.dir: /opt/hadoop/etc/hadoop
env.java.home: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64/jre
env.yarn.conf.dir: /opt/hadoop/etc/hadoop

测试:
记得在active状态的rm上执行!

 /opt/flink-1.13.6/bin/flink run  -t yarn-per-job /opt/flink/examples/batch/WordCount.jar

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/877981.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号