栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

flink

flink

Flink提交任务运行 Standalone 模式
/opt/apps/flink/bin/flink run -c com.ithhs.Demo -p 2 /root/test.jar
	run 						   编译和运行一个程序
	 -c,--class           如果没有在jar包中指定入口类全名称。
     -p,--parallelism    指定程序的并行度,也就是使用多少个slot。
     
     注意: -c -p 需要在jar包之前指定好,如果不指定分区,那么就会按照执行的规则执行,算子指定的并行度>执行环境设置的并行度>配置文件的并行度。
Flink on yarn 模式
分离模式运行yarn-session
/opt/apps/flink/bin/yarn-session.sh
用法:
   必选
     -n,--container    分配多少个yarn容器 (=taskmanager的数量)
   可选
     -D                         动态属性
     -d,--detached                   独立运行
     -jm,--jobManagerMemory     JobManager的内存 [in MB]
     -nm,--name                     在YARN上为一个自定义的应用设置一个名字
     -q,--query                      显示yarn中可用的资源 (内存, cpu核数)
     -qu,--queue                指定YARN队列.
     -s,--slots                 每个TaskManager使用的slots数量
     -tm,--taskManagerMemory    每个TaskManager的内存 [in MB]
     -z,--zookeeperNamespace    针对HA模式在zookeeper上创建NameSpace
/opt/apps/flink/bin/yarn-session.sh -n 2 -s 6 -jm 1024 -tm 1024 -nm Demo -d
/opt/apps/flinkbin/flink run  /opt/apps/flink/examples/batch/WordCount.jar


直接提交模式运行
/opt/apps/flink/bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 /opt/apps/flink/examples/batch/WordCount.jar 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/687687.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号