flink on yarn 命令详细解释

Apache Flink 1.11 documentation: Configuration



CDH 6.x flink任务提交之后数据乱码的问题。
1，代码 设置（但是flink默认就是utf-8，没必要）

 设置了也没效果：

一个简单的命令设置格式：

#bash 
echo '开始启动任务.........'
/wyyt/software/flink-1.11.2/bin/flink run
-d
-m yarn-cluster
-ynm Ods2dwd_test
-yjm 1024
-ytm 2048
-ys 3
-p 3
-yqu root.default
-yD yarn.containers.vcores=2
-yD env.java.opts="-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8"
-c  com.sjb.doris.test.Ods2dwd_test
/wyyt/software/flink-1.11.2/flink-1.0-SNAPSHOT-jar-with-dependencies.jar
--timestamp 1635177600000

echo '执行完成.......'

前面的参数

-d -m - yjm  等等我就不解释，直接通过yarn help命令可以看懂

说一说后面的 -yD

打开官网：

Apache Flink 1.11 documentation: Configuration

找到配置：

 搜索关键字：“env.java.opts”

搜索：“yarn.containers.vcores”

 你大概率已经懂了吧，就是配置参数，实际这些参数在代码里面是可以代码获取的runContext.get() ，怎么设置 自行百度哈，实在百度不到 下面有个链接你看一下：

效果也等同于在flink-conf.yaml文件设置参数。

以后再加