栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

装系统是local后面怎么选(安装系统local怎么选择)

装系统是local后面怎么选(安装系统local怎么选择)

安装 1.上传Spark压缩包

2.解压缩Spark到/usr/local目录
sudo tar -zxvf spark-2.4.6-bin-hadoop2.7.tgz -C /usr/local
cd /usr/local/

3.重命名为spark,使用以下命令:
sudo mv /usr/local/spark-2.4.6-bin-hadoop2.7/ /usr/local/spark
4.授权当前用户hadoop拥有spark目录的所有者权限,使用以下命令:
sudo chown -R hadoop /usr/local/spark

5.编辑环境变量,使用以下命令:
sudo vim /home/hadoop/.bashrc
6.设置环境变量SPARK_HOME,并更新环境变量PATH,内容如下:
export SPARK_HOME=/usr/local/spark
export PATH=${SPARK_HOME}/bin:${SPARK_HOME}/sbin:$PATH

7.刷新环境变量,使用以下命令:
source /home/hadoop/.bashrc
测试
spark-submit 
--master local[5] 
/usr/local/spark/examples/src/main/python/pi.py 10

安装成功后,进入以下链接安装standalone模式

https://blog.csdn.net/weixin_45955039/article/details/123463253
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/772331.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号