可直接从2.Spark部署开始操作
目录
1.环境前提
1.1已经搭建好hadoop环境
1.2我的参考配置环境
2.Spark部署
2.1下载spark安装包
2.2解压spark安装包
2.2.1上传安装包
2.2.2解压至/export/servers/目录
2.3修改配置文件
2.3.1修改spark-env.sh
2.3.2修改slaves文件
2.4分发文件
2.5启动spark集群
2.6网页上查看spark
1.环境前提
1.1已经搭建好hadoop环境
Hadoop环境部署，参考我专栏里Hadoop专栏
1.2我的参考配置环境
Linux系统：CentOS-6.8版本
Hadoop：2.7.4版本
JDK：1.8版本
Spark：2.3.2版本
2.Spark部署
Standalone模式（主从）
2.1下载spark安装包
安装包下载网址：
Downloads | Apache Spark
标1：现在比较稳定的版本为3.2.1。和支持的Hadoop版本
标2、标3：查看spark其他版本（向下滑动查看标3)
因为我要下载2.3.2版本，所以点击标3
选择2.3.2版本
下载对应版本
2.2解压spark安装包
在hadoop01（主从结构上的主机）上进行安装配置
2.2.1上传安装包
输入：cd /export/software/
输入：ls
输入：rz
选择下载好的spark安装包的路径，双击安装包
时间较长，需要等待（我用的是XShell软件，其他的下载框可能会不一样）
下载完成后，输入：ls 可以查看到已经有这个安装包在了
2.2.2解压至/export/servers/目录
输入：tar -zxvf spark-2.3.2-bin-hadoop2.7.tgz -C /export/servers/
等待界面：时间较长，耐心等待
查看是否解压完成
输入：cd /export/servers
输入：ls
可以看到已经有安装包在这里了
为了方便以后使用，给安装包重命名为spark，并检查是否完成
输入：mv spark-2.3.2-bin-hadoop2.7/ spark
输入：ls
2.3修改配置文件
在/export/servers目录下
输入: cd /spark
输入：ls
输入：cd conf/
拷贝模板文件并查看
输入：cp spark-env.sh.template spark-env.sh
输入：ls
2.3.1修改spark-env.sh
输入：vi spark-env.sh
再最后面添加上（前提：该文件未配置过此设置）：
#配置Java环境变量(自己Java的路径) export JAVA_HOME=/export/servers/jdk #指定master的IP（该机的本主机名） #查看主机名：vi /etc/hosts export SPARK_MASTER_HOST=hadoop01 #指定master的端口 export SPARK_MASTER_PORT=7077
输入：：wq保存退出
2.3.2修改slaves文件
在/export/servers/spark/conf/目录下
输入：ls
输入：cp slavers.template slaves
输入：vi slaves
滑到最后，删掉localhost
添加上：hadoop02 hadoop03
保存退出后回到servers目录下
2.4分发文件
将spark目录分发至hadoop02和hadoop03节点
输入：scp -r spark/ hadoop02:/export/servers/
等待
完成后，在hadoop02上检查是否分发完毕
输入：cd /export/servers/
输入：ls
发现有spark文件。
hadoop03同样这样操作
2.5启动spark集群
只能在/export/servers/spark上执行该指令
输入：sbin/start-all.sh
等待
等待后，查看是否启动完毕
输入：jps
出现了Master即为可以，在hadoop02，hadoop03上也这样操作
2.6网页上查看spark
网页上输入：http://hadoop01:8080
