搭建Spark Standalone模式的集群(学生版）

进入实例ty_win7 利用SecureCRT登录三台虚拟机

打开连接对话框

1、登录master虚拟机

单击连接对话框里的master，登录master虚拟机

在master虚拟机上安装vim编辑器

执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf

 添加两个域名服务器

 存盘退出

 执行命令：yum -y install vim

 

 现在我们通过/etc/resolv.conf文件添加了域名解析服务器，因此可以ping通域名了

 登录slave1虚拟机

单击连接对话框里的slave1，登录slave1虚拟机

 执行命令：vi /etc/resolv.conf，添加域名解析服务器

 存盘退出后，执行命令：yum - install vim，安装vim编辑器

3、登录slave2虚拟机

单击连接对话框里的slave2，登录slave2虚拟机

 仿照slave1虚拟机上的做法，修改选项，效果如下所示

 查看三台虚拟机主机名

查看master虚拟机主机名

配置三台虚拟机IP-主机名映射

192.168.1.105 master
192.168.1.106 slave1
192.168.1.107 slave2

、配置master虚拟机IP-主机名映射

执行命令：vim /etc/hosts

 存盘后退出

配置slave1虚拟机IP-主机名映射

执行命令：vim /etc/hosts

配置slave2虚拟机IP-主机名映射

执行命令：vim /etc/hosts

同上理

 关闭与禁用master虚拟机的防火墙

关闭与禁用slave1虚拟机的防火墙

 关闭与禁用slave2虚拟机的防火墙

在master虚拟机上关闭SeLinux安全机制

执行命令：vim /etc/sysconfig/selinux 在slave1虚拟机上关闭SeLinux安全机制

执行命令：vim /etc/sysconfig/selinux

在slave2虚拟机上关闭SeLinux安全机制

执行命令：vim /etc/sysconfig/selinux

设置三台虚拟机相互免密登录 1、master虚拟机免密登录master、slave1与slave2

执行命令：ssh-keygen，生成密钥对

执行命令：ssh-copy-id root@master，将公钥拷贝到master 

 

执行命令：ssh-copy-id root@slave1，将公钥拷贝到slave1

执行命令：ssh-copy-id root@slave2，将公钥拷贝到slave2

 验证master是否可以免密登录master、slave1与slave2

slave1虚拟机免密登录master、slave1与slave2

执行命令：ssh-keygen，生成密钥对

 执行命令：ssh-copy-id root@master，将公钥拷贝到master

 

执行命令：ssh-copy-id root@slave1，将公钥拷贝到slave1

 执行命令：ssh-copy-id root@slave2，将公钥拷贝到slave2

 

 

在三台虚拟机上安装lrzsr 1、在master虚拟机上安装lrzsz

执行命令：yum -y install lrzsz

 

在slave1虚拟机上安装lrzsz

执行命令：yum -y install lrzsz

 

在slave2虚拟机上安装lrzsz

执行命令：yum -y install lrzsz

 

在三台虚拟机上安装配置JDK 1、在master虚拟机上安装配置JDK

上传Java安装包到/opt目录

 执行tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local，将Java安装包解压到/usr/loca

 执行命令：vim /etc/profile，配置环境变量

 JAVA_HOME=/usr/local/jdk1.8.0_231
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH CLASSPATH

存盘退出，执行命令：source /etc/profile，让配置生效

查看JDK版本

 

将master虚拟机上安装的JDK以及环境配置文件分发到slave1虚拟机

执行命令：scp -r $JAVA_HOME root@slave1:$JAVA_HOME (-r recursive - 递归

 在slave1虚拟机上查看Java是否拷贝成功

 在slave1虚拟机上，查看从master虚拟机拷贝过来的配置文件profile

 存盘退出，执行命令：source /etc/profile，让配置生效

执行命令：java -version，查看JDK版本

 

将master虚拟机上安装的JDK以及环境配置文件分发到slave2虚拟机

执行命令：scp -r $JAVA_HOME root@slave2:$JAVA_HOME

 在slave2虚拟机上查看Java是否拷贝成功

 在master虚拟机上，执行命令：scp /etc/profile root@slave2:/etc/profile

 在slave2虚拟机上，查看从master虚拟机拷贝过来的配置文件profile

 存盘退出，执行命令：source /etc/profile，让配置生效

执行命令：java -

配置完全分布式Hadoop （一）在master虚拟机上安装配置hadoop 1、上传hadoop安装包到/opt目录

利用rz命令上传hadoop-2.7.1.tar.gzversion，查看JDK版本

 

将hadoop安装包解压到指定位置

执行命令：tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local

 查看解压之后的hadoop目录（bin: 可执行文件；etc/hadoop: 配置目录；sbin: 启动关闭系统的命令）

 

配置hadoop环境变量

执行命令：vim /etc/profile

 JAVA_HOME=/usr/local/jdk1.8.0_231
HADOOP_HOME=/usr/local/hadoop-2.7.1
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export JAVA_HOME HADOOP_HOME PATH CLASSPATH
存盘退出，执行命令：source /etc/profile，让配置生效

编辑hadoop环境配置文件 - hadoop-env.sh

env: environment —— 环境执行命令：cd $HADOOP_HOME/etc/hadoop，进入hadoop配置目录

 执行命令：vim hadoop-env.sh

JAVA_HOME=/usr/local/jdk1.8.0_231
HADOOP_HOME=/usr/local/hadoop-2.7.1
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export JAVA_HOME HADOOP_HOME PATH CLASSPATH

存盘退出，执行命令：source /etc/profile，让配置生效

编辑hadoop环境配置文件 - hadoop-env.sh

env: environment —— 环境执行命令：cd $HADOOP_HOME/etc/hadoop，进入hadoop配置目录执行命令：vim hadoop-env.sh

 

 

export JAVA_HOME=/usr/local/jdk1.8.0_231 
export  HADOOP_HOME=/usr/local/hadoop-2.7.1
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

存盘退出后，执行命令source hadoop-env.sh，让配置生效

查看三个配置的三个环境变量

 

编辑核心配置文件 - core-site.xml

执行命令：vim core-site.xml

 

 
   
   
        fs.defaultFS
        hdfs://master:9000
   
   
   
        hadoop.tmp.dir
        /usr/local/hadoop-2.7.1/tmp
       

存盘退出

由于配置了IP地址主机名映射，因此可用hdfs://master:9000，否则必须用IP地址hdfs://192.168.1.103:9000

 

编辑HDFS配置文件 - hdfs-site.xml

执行命令：vim hdfs-site.xml

 

   
       
        dfs.namenode.name.dir
        /usr/local/hadoop-2.7.1/tmp/namenode
   
   
       
        dfs.datanode.data.dir
        /usr/local/hadoop-2.7.1/tmp/disk1, /usr/local/hadoo
p-2.7.1/tmp/disk2
   

存盘退出 编辑MapReduce配置文件 - mapred-site.xml

基于模板生成配置文件，执行命令：cp mapred-site.xml.template mapred-site.xml

 执行命令：vim mapred-site.xml

 
   
       
        mapreduce.framework.name
        yarn
   

存盘退出

编辑yarn配置文件 - yarn-site.xml

执行命令：vim yarn-site.xml

 
   
       
        yarn.resourcemanager.hostname
        master
   
   
       
        yarn.nodemanager.aux-services
        mapreduce_shuffle
   

存盘退出

编辑slaves文件（定名分）

通过slaves文件定义从节点，有两个：slave1与slave2执行命令：vim slaves

 

在slave1虚拟机上安装配置hadoop 1、将master虚拟机上的hadoop分发到slave1虚拟机

执行命令：scp -r $HADOOP_HOME root@slave1:$HADOOP_HOME

 

将master虚拟机上环境配置文件分发到slave1虚拟机

执行命令：scp /etc/profile root@slave1:/etc/profile

 

在slave1虚拟机上让环境配置生效

切换到slave1虚拟机，执行命令：source /etc/profile

 

在slave2虚拟机上安装配置hadoop 1、将master虚拟机上的hadoop分发到slave2虚拟机

执行命令：scp -r $HADOOP_HOME root@slave2:$HADOOP_HOME

 

将master虚拟机上环境配置文件分发到slave2虚拟机

执行命令：scp /etc/profile root@slave2:/etc/profile

 

、在slave2虚拟机上让环境配置生效

切换到slave2虚拟机，执行命令：source /etc/profile

 

启动与关闭Hadoop集群 1、在master虚拟机上启动hadoop服务

执行命令：start-dfs.sh，启动hdfs服务

 

 

  dfs.namenode.secondary.http-address master:50090

再次启动hdfs服务

 关闭之后，再执行命令：start-dfs.sh

 此时查看三个虚拟机的进程

 

 

 执行命令：start-yarn.sh，启动YARN服务

 执行命令jps查看master虚拟机的进程，只有NameNode、SecondaryNameNode和ResourceManager

 查看slave1和slave2上的进程，只有NodeManager和DataNode

 

 

、查看hadoop集群的WebUI界面

在ty_win7虚拟机浏览器访问http://master:50070

 不能通过主机名master加端口50070的方式，原因在于没有在hosts文件里IP与主机名的映射，现在可以访问http://192.168.1.103:50070

 修改ty_win7虚拟机上的C:WindowsSystem32driversetchosts文件

 重启hadoop集群，访问http://master:500704

 查看数据节点信息

 点开【Utilities】下拉菜单，选择【Browse the file system】

 

 在HDFS上创建一个目录BigData，执行命令：hadoop fs -mkdir /BigData

 在WebUI界面查看刚才创建的目录

 停止hadoop服务

在master虚拟机上执行命令：stop-all.sh（相当于同时执行了stop-dfs.sh与stop-yarn.sh）

 

配置Spark Standalone模式的集群 （一）在master主节点上安装配置Spark 1、上传spark安装包到master虚拟机

利用rz将hw_win7虚拟机上的spark安装包上传到master虚拟机/opt目录

 

将spark安装包解压到master虚拟机指定目录

执行命令：tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz -C /usr/local

 

、配置spark环境变量

执行命令：vim /etc/profile

 JAVA_HOME=/usr/local/jdk1.8.0_231
HADOOP_HOME=/usr/local/hadoop-2.7.1
SPARK_HOME=/usr/local/spark-2.4.4-bin-hadoop2.7
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
export JAVA_HOME HADOOP_HOME SPARK_HOME PATH CLASSPATH

存盘退出后，执行命令：source /etc/profile，让配置生效

 查看spark安装目录（bin、sbin和conf三个目录很重要）

 

编辑spark环境配置文件 - spark-env.sh

进入spark配置目录后，执行命令：cp spark-env.sh.template spark-env.sh与vim spark-env.sh

 

 export JAVA_HOME=/usr/local/jdk1.8.0_231
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077

 

创建slaves文件，添加从节点

执行命令：vim slaves

 添加两个从节点的主机名

 

存盘退出 在slave1从节点上安装配置Spark 1、把master虚拟机上的spark安装目录分发给slave1虚拟机 执行命令：scp -r $SPARK_HOME root@slave1:$SPARK_HOME

 

将master虚拟机上环境变量配置文件分发到slave1虚拟机

在master虚拟机上，执行命令：scp /etc/profile root@slave1:/etc/profile

 在slave1虚拟机上，执行命令：source /etc/profile

 

在slave1虚拟机上让spark环境配置文件生效

执行命令：source spark-env.sh

 

在slave2从节点上安装配置Spark 1、把master虚拟机上的spark安装目录分发给slave2虚拟机

执行命令：scp -r $SPARK_HOME root@slave2:$SPARK_HOME

 

将master虚拟机上环境变量配置文件分发到slave2虚拟机

在master虚拟机上，执行命令：scp /etc/profile root@slave2:/etc/profile
在slave2虚拟机上，执行命令：source /etc/profile

 

 

、在slave2虚拟机上让spark环境配置文件生效

执行命令：source spark-env.sh

 

启动hadoop的dfs服务

在master虚拟机上执行命令：start-dfs.sh

 

启动Spark集群

在master虚拟机上进入spark安装目录下的sbin子目录，执行命令：./start-all.sh

 

查看master节点进程

查看slave1节点进程

查看slave2节点进程

在ty_win7虚拟机上，访问http://master:8080

 

 

 

启动Scala版Spark Shell

执行命令：spark-shell --master spark://master:7077

 在/opt目录里执行命令：vim test.txt

 

在HDFS上创建park目录，将test.txt上传到HDFS的/park目录

 

在其它虚拟机上也可以查看到该文件
读取HDFS上的文件，创建RDD

 查看第一行内容

 

案例演示 - 提交Spark自带的求圆周率的程序

启动Spark Standalone模式的集群

 

将Spark自带的求圆周率的程序提交到集群，进入Spark安装目录，执行命令

 bin/spark-submit
--class org.apache.spark.examples.SparkPi
--master spark://master:7077
./examples/jars/spark-examples_2.11-2.4.4.jar

在Standalone模式下，将Spark自带的求圆周率的程序提交到集群，并且设置Driver进程使用内存为512MB，每个Executor进程使用内存为1GB，每个Executor进程所使用的CPU核心数为2，提交方式为cluster（Driver进程运行在集群的工作节点中），执行命令如下
binspark-submit
--master spark://master:7077
--deploy-mode cluster
--class org.apache.spark.examples.SparkPi
--driver-memory 512m
--executor-memory 1g
--executor-cores 2
./examples/jars/spark-examples_2.11-2.4.4.jar

关闭Spark服务

在master节点执行命令：stop-master.sh与stop-slaves.sh