Spark Standalone模式的集群搭建需要在集群的每个节点都安装Spark，集群角色分配如下表所示。
| 节点 | -角色 |
|---|---|
| master | Master |
| slave1 | Worker |
| slave2 | Worker |
二、搭建集群 （一）利用SecureCRT登录三台虚拟机
打开连接对话框
1、登录master虚拟机 配置三台虚拟机IP-主机名映射
192.168.1.19 master
192.168.1.104 slave1
192.168.1.105 slave2
配置master虚拟机IP-主机名映射，执行命令：vim /etc/hosts
slave1与slave2同理操作
执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf文件
添加两个域名服务器
执行命令：yum -y install vim
测试master能否访问外网
执行命令：vim /etc/hosts
存盘退出
slave1与slave2同理操作
slave1与slave2同理操作
关闭与禁用防火墙关闭与禁用防火墙
systemctl stop firewalld.service # 关闭防火墙
systemctl disable firewalld.service # 禁用防火墙
查看防火墙状态
systemctl status firewalld.service
slave1与slave2同理操作
关闭SeLinux安全机制
/etc/sysconfig/selinux文件里SELINUX=enforcing，将enforcing改成disable，就可以关闭SeLinux安全机制执行命令：vim /etc/sysconfig/selinux
存盘退出
slave1与slave2同理操作
设置三台虚拟机相互免密登录1、master虚拟机免密登录master、slave1与slave2
执行命令：ssh-keygen，生成密钥对
执行命令：ssh-copy-id root@master，将公钥拷贝到master
执行命令：ssh-copy-id root@slave1，将公钥拷贝到slave1
执行命令：ssh-copy-id root@slave2，将公钥拷贝到slave2
由于我前面设置过了，所以没有弹出后续对话框，可参考如下图
验证master是否可以免密登录master、slave1与slave2
在master虚拟机上安装lrzsz执行命令：yum -y install lrzsz
我已经安装好了所以报出already installed
在master虚拟机上安装配置JDK
上传Java安装包到/opt目录
执行tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local，将Java安装包解压到/usr/local
执行命令：ls /usr/local，查看解压之后的jdk
执行命令：vim /etc/profile，配置环境变量
JAVA_HOME=/usr/local/jdk1.8.0_231
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH CLASSPATH
存盘退出，执行命令：source /etc/profile，让配置生效
查看JDK版本
将master虚拟机上安装的JDK以及环境配置文件分发到slave1虚拟机
执行命令：scp -r $JAVA_HOME root@slave1:$JAVA_HOME (-r recursive - 递归)
在slave1虚拟机上查看Java是否拷贝成功
在master虚拟机上，执行命令：scp /etc/profile root@slave1:/etc/profile，将环境配置文件分发到slave1虚拟机
在slave1虚拟机上，查看从master虚拟机拷贝过来的配置文件profile
存盘退出，执行命令：source /etc/profile，让配置生效
执行命令：java -version，查看JDK版本
将master虚拟机上安装的JDK以及环境配置文件同理分发到slave2虚拟机
一）在master虚拟机上安装配置hadoop 1、上传hadoop安装包到/opt目录
利用rz命令上传hadoop-2.7.1.tar.gz
2、将hadoop安装包解压到指定位置
执行命令：tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local
查看解压之后的hadoop目录（bin: 可执行文件；etc/hadoop: 配置目录；sbin: 启动关闭系统的命令）
3、配置hadoop环境变量
执行命令：vim /etc/profile
JAVA_HOME=/usr/local/jdk1.8.0_231
HADOOP_HOME=/usr/local/hadoop-2.7.1
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export JAVA_HOME HADOOP_HOME PATH CLASSPATH
存盘退出，执行命令：source /etc/profile，让配置生效
4、编辑hadoop环境配置文件 - hadoop-env.sh
env: environment —— 环境执行命令：cd $HADOOP_HOME/etc/hadoop，进入hadoop配置目录
执行命令：vim hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_231
export HADOOP_HOME=/usr/local/hadoop-2.7.1
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
存盘退出后，执行命令source hadoop-env.sh，让配置生效
查看三个配置的三个环境变量
执行命令：vim core-site.xml
存盘退出
6、编辑HDFS配置文件 - hdfs-site.xml
执行命令：vim hdfs-site.xml
p-2.7.1/tmp/disk2
存盘退出 7、编辑MapReduce配置文件 - mapred-site.xml
基于模板生成配置文件，执行命令：cp mapred-site.xml.template mapred-site.xml
执行命令：vim mapred-site.xml
存盘退出
8、编辑yarn配置文件 - yarn-site.xml
执行命令：vim yarn-site.xml
存盘退出
9、编辑slaves文件（定名分）
通过slaves文件定义从节点，有两个：slave1与slave2执行命令：vim slaves
存盘退出
1、将master虚拟机上的hadoop分发到slave1虚拟机
执行命令：scp -r $HADOOP_HOME root@slave1:$HADOOP_HOME
2、将master虚拟机上环境配置文件分发到slave1虚拟机
执行命令：scp /etc/profile root@slave1:/etc/profile
3、在slave1虚拟机上让环境配置生效
切换到slave1虚拟机，执行命令：source /etc/profile
1、将master虚拟机上的hadoop分发到slave2虚拟机
执行命令：scp -r $HADOOP_HOME root@slave2:$HADOOP_HOME
2、将master虚拟机上环境配置文件分发到slave2虚拟机
执行命令：scp /etc/profile root@slave2:/etc/profile
3、在slave2虚拟机上让环境配置生效
切换到slave2虚拟机，执行命令：source /etc/profile
四）在master虚拟机上格式化名称节点
在master虚拟机上，执行命令：hdfs namenode -format
看到22/02/26 13:23:22 INFO common.Storage: Storage directory /usr/local/hadoop-2.7.1/tmp/namenode has been successfully formatted.，表明名称节点格式化成功。
执行命令：start-dfs.sh，启动hdfs服务
需要我们关闭再启动hdfs服务
执行 stop-all.sh命令
关闭之后，再执行命令：start-dfs.sh
此时查看三个虚拟机的进程
启动了YARN守护进程；一个资源管理器（resourcemanager）在master虚拟机上，两个节点管理器（nodemanager）在slave1与slave2虚拟机上
执行命令jps查看master虚拟机的进程，只有NameNode、SecondaryNameNode和ResourceManager
查看slave1和slave2上的进程，只有NodeManager和DataNode
查看hadoop集群的WebUI界面
在lk_win7虚拟机浏览器访问http://master:50070
查看数据节点信息
点开【Utilities】下拉菜单，选择【Browse the file system】
(默认是没有数据的，我已经做过了所以有数据) 具体操作如下
在HDFS上创建一个目录BigData，执行命令：hadoop fs -mkdir /BigData
在master主节点上安装配置Spark 1、上传spark安装包到master虚拟机
利用rz将hw_win7虚拟机上的spark安装包上传到master虚拟机/opt目录
2、将spark安装包解压到master虚拟机指定目录
执行命令：tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz -C /usr/local
3、配置spark环境变量
执行命令：vim /etc/profile
JAVA_HOME=/usr/local/jdk1.8.0_231
HADOOP_HOME=/usr/local/hadoop-2.7.1
SPARK_HOME=/usr/local/spark-2.4.4-bin-hadoop2.7
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
export JAVA_HOME HADOOP_HOME SPARK_HOME PATH CLASSPATH
存盘退出后，执行命令：source /etc/profile，让配置生效
查看spark安装目录（bin、sbin和conf三个目录很重要）
4、编辑spark环境配置文件 - spark-env.sh
进入spark配置目录后，执行命令：cp spark-env.sh.template spark-env.sh与vim spark-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_231
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077
存盘退出，执行命令：source spark-env.sh，让配置生效
5、创建slaves文件，添加从节点
执行命令：vim slaves
添加两个从节点的主机名
1、把master虚拟机上的spark安装目录分发给slave1虚拟机
执行命令：scp -r $SPARK_HOME root@slave1:$SPARK_HOME
2、将master虚拟机上环境变量配置文件分发到slave1虚拟机
在master虚拟机上，执行命令：scp /etc/profile root@slave1:/etc/profile
在slave1虚拟机上，执行命令：source /etc/profile
3、在slave1虚拟机上让spark环境配置文件生效
执行命令：source spark-env.sh
同理把master虚拟机上的spark安装目录分发给slave2虚拟机
启动Spark集群在master虚拟机上进入spark安装目录下的sbin子目录，执行命令：./start-all.sh
查看master节点进程
查看slave1节点进程
查看slave2节点进程
访问Spark的WebUI
在lk_win7虚拟机上，访问http://master:8080
启动Scala版Spark Shell
执行命令：spark-shell --master spark://master:7077
至此，SPARK已搭建成功！
