栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

【Idea 打包spark程序,集群模式下运行】

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

【Idea 打包spark程序,集群模式下运行】

由于这是我自己随手记录的,所以显得比较乱,但是步骤基本都有,排版就以后再说。

重试一次,自定义jar包程序运行。

1.建立scala项目

2.添加spark下的jar包依赖【usr/local/spark/jars】,当然也有scala的sdk,一般我这边已经有了




写程序:我终于,可以从头到尾,自己写下来所有的API。并且运行成功。

接下来开始打包,先注释掉,setMaster(“local”)

main class,这边自动给我识别,

然后删除,除项目jar包以外的所有依赖,【集群环境里面有,所以不需要】


右边的不用动,就删左边的。

然后就开始打包。

首先是:build -> build Artifact -> build[rebuild 用于改了程序之后的第二次等]

成功生成jar包:

然后,我这边拷贝jar包到已经打开了,集群环境的master机器上。

【即使我先打开的start-master.sh,start-slaves.sh,后打开的start-all.sh,也没事】

选择放到spark的examples目录的jar包下,这样要是出错了,顺带可以跑一跑,自带的计算PI的jar包。

然后开始运行:jar包目录下执行命令:

【即使我先打开的start-master.sh,start-slaves.sh,后打开的start-all.sh,也没事】

./bin/spark-submit --class second --master spark://master:7077 examples/jars/helloSpark2.jar

运行成功:

到这边集群上,运行自定义的jar包,勉强算是成功了。

再试一下命令: Yarn-client 模式,运行,成功了。

bin/spark-submit 
--class second 
--master yarn 
--deploy-mode client 
examples/jars/helloSpark2.jar

试一下,yarn-cluster,成功了

bin/spark-submit 
--class second 
--master yarn 
--deploy-mode cluster 
examples/jars/helloSpark2.jar


但是yarn-cluster集群模式下,不能在客户端上看到输出,只能去日志中看,或者web UI 上看。master:8088。

参考博客:

  • https://blog.csdn.net/sinat_36226553/article/details/103302969
  • https://blog.csdn.net/quitozang/article/details/77833390
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/936398.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号