栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

2021-10-01 CentOS7 linux基于Hadoop的spark单机版安装和python3安装

2021-10-01 CentOS7 linux基于Hadoop的spark单机版安装和python3安装

一、基于Hadoop安装spark单机版
1.解压spark相关版本的tgz包到指定目录
2.安装后,还需要修改Spark的配置文件spark-env.sh

cp ./conf/spark-env.sh.template ./conf/spark-env.sh

在spark-env.sh添加:

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

作用:使spark可以读写HDFS上的数据。
3.为方便在全局使用spark命令启动shell,配置PATH环境变量:修改/etc/profile文件:

export SPARK_HOME=/usr/local/spark3. 1
export PATH=$PATH:$SPARK_HOME/bin

执行命令:source /etc/profile 刷新环境变量

二、安装python3
1.将yum的库改为国内清华镜像(更新yum相关包)
2.yum命令安装gcc编译器和其它依赖文件
3.wget安装python3(注意目录)
4.建立软链接

yum包相关:
Centos修改yum清华安装源、阿里安装源详细方法
升级yum包
安装python3过程参考:
Centos7 安装python3 (主)
Centos 7安装python3
附:
清华大学开源软件镜像站 CentOS 镜像使用帮助
各版本gcc
各版本python

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/285806.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号