1、三台虚拟机
2、spark安装包，我的版本spark-3.1.2-bin-hadoop3.2
3、scala环境，我的版本scala-2.11.8
4、jdk,我的版本jdk-8u181
1、先配置一台机器，后续可通过虚拟机克隆来进行操作
2、安装相关命令
yum -y install vim yum -y install net-tools yum -y install tar
3、设置静态ip
vim /etc/sysconfig/network-scripts/ifcfg-ens33 #将BOOTPROTO修改为static #新增 #IPADDR=192.168.88.136 #NETMASK=255.255.255.0 #GATEWAY=192.168.88.2 #DNS1=192.168.88.2 #DNS2=192.168.88.0 #修改完成后重启网络: service network restart
4、主机名映射
修改主机名并修改host文件
hostnamectl set-hostname master vim /etc/hosts 192.168.153.136 master 192.168.153.137 worker1 192.168.153.138 worker2
按照你的ip和主机名配置成以上形式,这时可以用xshell连接(操作比较方便)
5、关闭防火墙
systemctl stop firewalld systemctl disable firewalld #注意一定要关闭，不然部署成功通过web访问不了很可能因为防火墙没关
6、安装jdk
1）把jdk压缩包放到/root目录，解压压缩包到指定路径
tar -xzvf jdk-8u181-linux-x64.tar.gz -C /var/local #修改名称，也可以不修改 mv /var/local/jdk1.8.0_181 /var/local/jdk8
2）配置环境变量
vim /etc/profile #新增如下几条 export JAVA_HOME=/var/local/jdk8 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$JAVA_HOME/bin:$PATH
3）检验是否安装成功
#首先使环境变量生效 source /etc/profile java -version
若出现以下显示，表示安装成功
7、安装scala
#把scala随意放到一个目录下，我的是/root/Downloads mv scala-2.11.8.tgz Downloads/ #解压 tar -zxvf scala-2.11.8.tgz
1)、配置环境变量
vim /etc/profile #新增一条 export SCALA_HOME=/root/Downloads/scala-2.11.8 #修改PATH export PATH=$JAVA_HOME/bin:$PATH:$SCALA_HOME/bin
2）、检验是否安装成功
source /etc/profile scala -version
若出现以下，表示安装成功
8、安装spark
#和scala类似，把spark压缩包放到/root/Downloads下 tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz
1)配置环境变量
#新增一条 export SPARK_HOME=/root/Downloads/spark-3.1.2-bin-hadoop3.2 #修改PATH export PATH=$JAVA_HOME/bin:$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin
2)、检验是否安装成功
source /etc/profile spark-shell
若出现以下显示，表示安装成功
1、克隆两台虚拟机
2、修改相关配置，以下在两台虚拟机分别执行
#分别修改两台虚拟机的ip地址，分别改为192.168.88.137、192.168.88.138 vim /etc/sysconfig/network-scripts/ifcfg-ens33 #分别修改两台虚拟机的主机名 hostnamectl set-hostname worker1 hostnamectl set-hostname worker2四、启动spark
1)无密码访问
#三台机器分别执行以下命令 yum install openssh-server #安装好了之后，三台分别执行以下命令，生成秘钥 ssh-keygen -t rsa #遇到中止的直接enter即可 #以下命令分别在三台机器执行,如在master执行 ssh-copy-id -i worker1 ssh-copy-id -i worker2
2）修改相关配置，修改master的相关配置
cd /root/Downloads/spark-3.1.2-bin-hadoop3.2/conf #复制spark-env.sh.template为spark-env.sh #上面这步我也不知道为啥，知道的麻烦说一下 #修改spark-env.sh vim spark-env.sh #添加如下内容 export JAVA_HOME=/var/local/jdk8 export SPARK_HOME=/root/Downloads/spark-3.1.2-bin-hadoop3.2 export SPARK_EXECUTOR_MEMORY=5G export SPARK_EXECUTOR_cores=2 export SPARK_WORKER_CORES=2 #把配置复制到另外两台机器上 scp spark-env.sh worker1:/root/Downloads/spark-3.1.2-bin-hadoop3.2/conf scp spark-env.sh worker2:/root/Downloads/spark-3.1.2-bin-hadoop3.2/conf #修改workers cp workers.template workers vim workers #把原先的localhost改为worker1、worker2 #把配置复制到另外两台机器上 scp workers worker1:/root/Downloads/spark-3.1.2-bin-hadoop3.2/conf scp workers worker2:/root/Downloads/spark-3.1.2-bin-hadoop3.2/conf
3)启动spark集群
#cd到master主机conf目录下 sh start-all.sh
4)验证
在web访问192.168.88.136:8080,看到如下界面应该是部署成功了
