Spark基础学习笔记03：搭建Spark单机版环境

目录

（一）设置IP地址与主机名映射

（二）下载、安装和配置JDK

1、下载JDK压缩包

2、上传到ied虚拟机

3、将压缩包解压到指定目录

4、配置Java环境变量

（三）下载、安装与配置Spark

1、下载Spark安装包

2、将Spark安装包上传到ied虚拟机

3、将Spark安装包解压到指定目录

4、配置Spark环境变量

执行命令：yum -y install vim，安装vim编辑器

（二）下载、安装和配置JDK

1、下载JDK压缩包

• 下载链接：百度网盘 请输入提取码 提取码：jivr
• 下载到win7虚拟机

2、上传到ied虚拟机

将JDK压缩包上传到ied虚拟机/opt目录

3、将压缩包解压到指定目录

执行命令：tar -zxvf jdk-8u162-linux-x64.tar.gz -C /usr/local

4、配置Java环境变量

执行命令：vim /etc/profile

 

 export JAVA_HOME=/usr/local/jdk1.8.0_162
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

存盘退出，执行命令：source /etc/profile，让环境配置生效

 在任意目录下都可以查看JDK版本

（三）下载、安装与配置Spark

1、下载Spark安装包

下载链接：百度网盘 请输入提取码 提取码：zh0x

2、将Spark安装包上传到ied虚拟机

3、将Spark安装包解压到指定目录

执行命令：tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /usr/local

4、配置Spark环境变量

执行vim /etc/profile

export SPARK_HOME=/usr/local/spark-2.1.1-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
存盘退出，执行命令：source /etc/profile，让环境配置生效

启动：spark-shell