栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

提交并执行spark的jar包流程及注意事项

提交并执行spark的jar包流程及注意事项

1. 前言

  主要是介绍windows环境下提交并执行spark的jar包流程及注意事项,linux环境提交步骤类似且更直观;

2. 步骤 2.1 打包

  我是直接用idea打包,没有用maven。
项目根目录右键 -> Open Module Settings -> Artifacts -> 点击+号 -> JAR -> From modules with dependencies -> 在Main Class里面找到本次需要执行的主类 -> 点击OK


2.2 执行

  到spark安装目录的bin目录下,cmd进入命令行,例如本地spark安装目录是D:softwaressparkspark-2.4.3-bin-hadoop2.7 打好的jar包放在D:workspacespark_workspaceSPARK_DemooutartifactsSPARK_Demo_jar目录下
注意打完包需要将jar包中meta-INF目录下的*.SF,.DSA,.RSA文件删除,即可。因为有些包有签名,导致执行时报错误: Invalid signature file digest for Manifest main attributes
在命令行直接输入:

spark-submit --class com.zero.scala.sparkCore.ReadAndWriteHdfs --master local D:\workspace\spark_workspace\SPARK_Demo\out\artifacts\SPARK_Demo_jar\SparkReadWriteHdfs.jar
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/742669.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号