Flink提交任务运行
Standalone 模式
/opt/apps/flink/bin/flink run -c com.ithhs.Demo -p 2 /root/test.jar
run 编译和运行一个程序
-c,--class 如果没有在jar包中指定入口类全名称。
-p,--parallelism 指定程序的并行度,也就是使用多少个slot。
注意: -c -p 需要在jar包之前指定好,如果不指定分区,那么就会按照执行的规则执行,算子指定的并行度>执行环境设置的并行度>配置文件的并行度。
Flink on yarn 模式
分离模式运行yarn-session
/opt/apps/flink/bin/yarn-session.sh
用法:
必选
-n,--container 分配多少个yarn容器 (=taskmanager的数量)
可选
-D 动态属性
-d,--detached 独立运行
-jm,--jobManagerMemory JobManager的内存 [in MB]
-nm,--name 在YARN上为一个自定义的应用设置一个名字
-q,--query 显示yarn中可用的资源 (内存, cpu核数)
-qu,--queue 指定YARN队列.
-s,--slots 每个TaskManager使用的slots数量
-tm,--taskManagerMemory 每个TaskManager的内存 [in MB]
-z,--zookeeperNamespace 针对HA模式在zookeeper上创建NameSpace
/opt/apps/flink/bin/yarn-session.sh -n 2 -s 6 -jm 1024 -tm 1024 -nm Demo -d
/opt/apps/flinkbin/flink run /opt/apps/flink/examples/batch/WordCount.jar
直接提交模式运行
/opt/apps/flink/bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 /opt/apps/flink/examples/batch/WordCount.jar