栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

SPARK集群启动与执行

SPARK集群启动与执行

SPARK程序的执行

./bin/spark-submit –class first ./testdata/firsrt-1.0-SNAPSHOT.jar

其中  –class代表运行程序当中的主方法,从这里执行程序   后面跟着的就是jar包,有时候会找不到类,可能就是打包出现了问题,重新打包一下

本地与集群的使用

1、Master: 61.130.109.202:64322 got disassociated, removing it   其中61.130.109.202是我自己的主机,并没有公网地址,阿里云服务器时无法访问到我的主机的,所以我的主机不能成为集群的一部分。

2、本地主机在上传Hadoop文件的时候,需要设置,sc.hadoopConfiguration.set(“dfs.client.use.datanode.hostname”,”true”),因为在Hadoop集群配置的过程当中使用的是内网的ip,我的主机是连接不上的,所以需要将Hadoop传过来的文件地址以hostname返回,本地dns解析的时候将hostname解析成公网ip  即在本机的hosts当中设置

3、集群当中可能会出现连接不上的情况,这种情况下目前已知的有几种可能

  • spark集群崩溃导致无法获取到其他服务器的数据
  • hadoop集群崩溃导致spark无法向其中写入文件
  • hadoop文件操作权限的问题使得无法写入文件

这些都需要查看日志去注意无法连接的原因,注意端口之间是否连通

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/582813.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号