栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Flink1.13.2 Command-line

Flink1.13.2 Command-line

目录
    • “list” action options:
    • “list” action options:
    • "stop" action options:
    • "savepoint" action options:
    • "run" action options:
      • Options for Generic CLI mode:(Application模式)
      • Options for yarn-cluster mode:
      • Options for default mode:(standlone)

“list” action options:
ActionPurpose
run
run-application此Action会以Application Mode启动程序,并且需要一些run的参数
info此Action被用来打印优化执行图
listThis action lists all running or scheduled jobs.
savepoint此Action被用来创建或处理savepoint,除jobId还需要指定一个目录。
cancel此Action用来取消正在运行中的任务通过jobId
stop此操作用于包含cancel和savepoint,用户取消一个正在running的任务,并做savepoint,用于下次启动。
“list” action options:
argumentdescribe
-a,–all显示所有应用和对应的job id
-r,–running显示正在运行的应用和job id
-s,–scheduled显示调度的应用和job id
“stop” action options:
argumentdescribe
-d,–drain在获取savepoint,停止pipeline之前发送MAX_WATERMARK
-p,–savepointPath指定savepoint的path,如果不指定会使用默认(“state.savepoints.dir”)
“savepoint” action options:
argumentdescribe
-d,–disposesavepoint的路径
-j,–jarfileFlink的jar包
“run” action options:
argumentdescribe
-c,–class 如果没有在jar包中指定入口类,则需要在这里通过这个参数指定
-C,–classpath 用来添加外部依赖jar包,如自己开发的工具jar包
-m,–jobmanager指定需要连接的jobmanager(主节点)地址使用这个参数可以指定一个不同于配置文件中的jobmanager
-p,–parallelism 指定程序的并行度。可以覆盖配置文件中的默认值。
-d,–detached客户端提交作业的时候断开,session会话也会断开,加上这个参数后,会继续保持会话
-n,–allowNonRestoredState跳过无法恢复的savepoint数据
-py,–python 针对python脚本。指定脚本路径
-pyarch,–pyArchives 指定一个压缩文件供python 函数使用,目前仅支持zip文件–pyArchives file:///tmp/py37.zip,file:///tmp/data.zip#data --pyExecutablepy37.zip/py37/bin/python
-pyexec,–pyExecutable Specify the path of the python interpreter used to execute the python UDF workerflink run -m localhost:8081 -pyarch venv.zip -pyexec venv.zip/venv/bin/python3 -py test_split_label.py
-pyfs,–pyFiles
-pym,–pyModule 需要结合pyFiles使用
-pyreq,–pyRequirements
-s,–fromSavepoint 读取保存状态的文件恢复之前的状态计算flink run -s hdfs:///flink/savepoint-1537
-sae,–shutdownOnAttachedExit如果是前台的方式提交,当客户端中断,集群执行的job任务也会shutdownbest-effort(IP的承载服务就是以数据报形式发送报文,报文的最大程度为2^{16}字节(64KB)。这种服务在差错,网络延迟或带宽方面不提供服务质量保证。这样的服务叫做尽力而为(Best-effort)服务)
Options for Generic CLI mode:(Application模式)
argumentdescribe
-D 指定通用的运行配置
-e,–executor -e 已经被废弃,可以忽略
-t,–target 指定部署环境The currently available targets are:“collection”, “remote”, “local”, “kubernetes-session”, “yarn-per-job”, “yarn-session”,“yarn-application” and “kubernetes-application”
Options for yarn-cluster mode:
argumentdescribe
-d,–detached客户端提交作业的时候断开,session会话也会断开,加上这个参数后,会继续保持会话
-m,–jobmanager flink run -m yarn-cluster
-yat,–yarnapplicationType 设置yarn应用的类型
-yD 使用给定属性的值
-yd,–yarndetached使用yarn分离模式
-yh,–yarnhelp查看帮助
-yid,–yarnapplicationId 挂到正在运行的yarnsession上yarn-session模式下 关联yid
-yj,–yarnjar jar文件路径
-yjm,–yarnjobManagerMemory 配置给JobManager 内存大小 默认MB
-ynl,–yarnnodeLabel 给yarn 应用指定yarn 节点标签
-ynm,–yarnname 设置名称
-yq,–yarnquery查询出yarn里面可用的资源,内存 核数
-yqu,–yarnqueue 指定yarn队列
-ys,–yarnslots 指定每个TM的slots数
-yt,–yarnship 指定一个传输文件 在指定目录中传输文件
-ytm,–yarntaskManagerMemory 每个taskmanager的内存给每一个TaskManager Container 分配内存大小
-yz,–yarnzookeeperNamespace 创建ha的zk子路径的命名空间
-z,–zookeeperNamespace 用来创建ha的zk子路径的命名空间
Options for default mode:(standlone)
argumentdescribe
-D 指定通用的运行配置
-m,–jobmanager 指定不同的jobmanager地址
-z,–zookeeperNamespace 创建ha的zk子路径的命名空间

注:
客户端断开连接 (detached mode)
维持连接 (attached mode)以等待接收计算结果

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/329832.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号