栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

flink sql-client.sh 提交到yarn

flink sql-client.sh 提交到yarn

下载flink安装包解压

cd 到安装目录执行一下命令启动集群

 

./bin/start-cluster.sh

之后执行启动sql-client命令:

./bin/sql-client.sh embedded

默认情况下,这个sql-client上面所跑的任务,会提交到flink的standalone集群上,如果你没有bin/start-cluster.sh启动standalon集群,那么sql-client进程可以启动起来,但是在实际执行sql的时候,会连接拒绝的错误。

如果想要把任务提交给yarn,则需要启动一个yarn-session任务

yarn-session模式其实就是在yarn上生成一个standalone集群

./bin/yarn-session.sh -s 4  -nm cool -d

然后flink-sql客户端连接这个集群提交SQL任务

./bin/sql-client.sh embedded -s yarn-session

因为yarn-session模式默认会在/tmp/目录下维护一个会话信息,此时启动客户端指定yarn-session他会自动寻找到当前的session会话然后提交任务

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/682865.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号