搭建SecureCRT

搭建SecureCRT

一、在qzj_win7下载SecureCRT二、利用SecureCRT访问master、slave1和slave2虚拟机三、本机远程桌面连接qzj_win7虚拟机四、使用SecureCRT登录master虚拟机五、配置三台虚拟机IP-主机名映射六、关闭SeLinux安全机制七、设置三台虚拟机免密码登录八、在三台虚拟机上安装lrzsr九、在三台虚拟机上安装配置JDK十、在三台虚拟机上配置完全分布式Hadoop十一、查看hadoop集群的WebUI界面十二、配置Spark Standalone模式的集群十三、启动hadoop的dfs服务十四、关闭Spark服务

一、在qzj_win7下载SecureCRT

登录qzj_win7虚拟机
解压SecureCRT

二、利用SecureCRT访问master、slave1和slave2虚拟机

启动SecureCRT，单击Quick Connect按钮单击Connect，输入用户名，点击OK输入用户名和密码，单击ok同理可以访问slave1和slave2

三、本机远程桌面连接qzj_win7虚拟机

qzj_win7对外的IP地址：192.168.177.60启动远程连接，输入IP地址：192.168.177.60，点击连接

四、使用SecureCRT登录master虚拟机

启动SecureCRT，单击192.168.54.103

修改标签名，单击Rename，改成master

删除192.168.54.103标签，单击是

单击Options下的Session Options


选择Terminal下的Emulation，将Terminal改成Linux

再选择Appearance，设置字体，将Character encoding选择UTF-8

单击连接对话框里的master，登录master虚拟机，下载vim编辑器，执行命令yum -y install vim

执行命令**vi /etc/resolv.conf,**修改 /etc/resolv.conf文件，添加域名服务器，保存退出

同理操作slave1和slave2

五、配置三台虚拟机IP-主机名映射

配置master虚拟机IP-主机名映射，执行命令 vim /etc/hosts拼一下master、slave1和slave2
关闭和禁用master虚拟机的防火墙
同理操作slave1和slave2

六、关闭SeLinux安全机制

在master虚拟机上关闭SeLinux安全机制，执行命令 vim /etc/sysconfig/selinux
同理操作slave1和slave2

七、设置三台虚拟机免密码登录

master虚拟机免密码登录master、slave1和slave2，执行命令 ssh-keygen，生成密钥执行命令 ssh-copy-id root@master,将公钥拷贝到master执行命令 ssh-copy-id root@slave1,将公钥拷贝到slave1执行命令 ssh-copy-id root@slave2,将公钥拷贝到slave2验证master是否可以免密码登录master、slave1和slave2同理操作slave1和slave2

八、在三台虚拟机上安装lrzsr

在master虚拟机上安装lrzsz，执行命令：yum -y install lrzsz
同理，在slave1和slave2上安装lrzsz

九、在三台虚拟机上安装配置JDK

在master虚拟机上安装配置JDK，使用rz命令，将Java安装包到**/opt**目录

使用ls命令，查看上传成功没有，执行tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local命令，将Java安装包解压到**/usr/local**目录下


执行命令：ls /usr/local，查看解压之后的jdk

执行命令：vim /etc/profile，配置环境变量

存盘退出，执行命令：source /etc/profile，让配置生效，查看JDK版本

编写一个Java程序–HelloWorld.java

保存退出后，执行命令：javac HelloWorld.java，编译成字节码文件

执行命令：java HelloWorld

将master虚拟机上安装的JDK及环境配置文件分发到slave1虚拟机
（1） 执行命令：scp -r J A V A H O M E r o o t @ s l a v e 1 : JAVA_HOME root@slave1: JAVAH​OMEroot@slave1:JAVA_HOME （2）在slave1虚拟机上查看是否拷贝成功
（3）在master虚拟机上，执行命令：scp /etc/profile root@slave1:/etc/profile
（4）在slave1虚拟机上，查看master虚拟机拷贝过来的配置文件profile
（5）保存退出，执行命令：source /etc/profile,让配置生效
（6）执行命令：java -version，查看JDK版本

将master虚拟机上安装的JDK及环境配置文件分发到slave2虚拟机
（1）执行命令：scp -r J A V A H O M E r o o t @ s l a v e 2 : JAVA_HOME root@slave2: JAVAH​OMEroot@slave2:JAVA_HOME（2）在slave2虚拟机上查看是否拷贝成功
（3）在master虚拟机上，执行命令：scp /etc/profile root@slave2:/etc/profile

（4）在slave2虚拟机上，查看master虚拟机拷贝过来的配置文件profile
（5）保存退出，执行命令：source /etc/profile,让配置生效
（6）执行命令：java -version，查看JDK版本

十、在三台虚拟机上配置完全分布式Hadoop

在master虚拟机上安装配置Hadoop，上传hadoop安装包到/opt目录,用rz命令上传hadoop-2.7.1.tar.gz

将hadoop安装包解压到指定位置


配置hadoop环境变量，执行命令：vim /etc/profile

保存退出，执行命令：source /etc/profile,让配置生效

编辑hadoop环境配置文件，hadoop-env.sh,执行命令：cd $HADOOP_HOME/etc/hadoop，进入hadoop配置目录

执行命令：vim hadoop-env.sh


保存退出后，执行命令：source hadoop-env.sh，让配置生效，查看三个配置的环境变量

编辑核心配置文件，执行命令：vim core-site.xml


保存退出


编辑HDFS配置文件，执行命令：vim hdfs-site.xml


保存退出


编辑MapReduce配置文件，给予模板生成配置文件，执行命令：cp mapred-site.xml.template mapred-site.xml，再执行命令：vim mapred-site.xml


保存退出


编辑yarn配置文件，执行命令：vim yarn-site.xml


保存退出


编辑slaves文件，通过slaves文件定义从节点，执行命令：vim slaves


保存退出


在slave1虚拟机上安装配置hadoop
（1）将master虚拟机上的hadoop分发到slave1虚拟机，执行命令：scp -r H A D O O P H O M E r o o t @ s l a v e 1 : HADOOP_HOME root@slave1: HADOOPH​OMEroot@slave1:HADOOP_HOME
（2）将master虚拟机上环境配置文件分发到slave1虚拟机，执行命令：scp /etc/profile root@slave1:/etc/profile
（3）切换到slave1虚拟机，执行命令：source /etc/profile

在slave2虚拟机上安装配置hadoop
（1）将master虚拟机上的hadoop分发到slave2虚拟机，执行命令：scp -r H A D O O P H O M E r o o t @ s l a v e 1 : HADOOP_HOME root@slave1: HADOOPH​OMEroot@slave1:HADOOP_HOME

（2）将master虚拟机上环境配置文件分发到slave2虚拟机，执行命令：scp /etc/profile root@slave2:/etc/profile
（3）切换到slave2虚拟机，执行命令：source /etc/profile

在master虚拟机上格式化名称节点
（1）在master虚拟机上，执行命令：hdfs namenode -format
（2）出现图中标记的记号，表明名称节点格式化成功

在master虚拟机上启动hadoop集群，执行命令：start-dfs.sh，启动hdfs服


在hdfs-site.xml文件里配置辅助名称节点，执行命令：vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml


再次启动hdfs服务，关闭之后，再执行命令：start-dfs.sh


执行命令：start-yarn.sh，启动YARN服务，用jps查看进程

十一、查看hadoop集群的WebUI界面

在qzj_win7虚拟机浏览器访问http://192.168.54.103:50070查看数据节点信息
点开【Utilities】下拉菜单，选择Browse the file system在HDFS上创建一个目录BigData，执行命令：hadoop fs -mkdir /BigData在WebUI界面查看刚才创建的目录停止hadoop服务，在master虚拟机上执行命令：stop-all.sh（相当于同时执行stop-dfs.sh和stop-yarn.sh）

十二、配置Spark Standalone模式的集群

在master主节点上安装配置Spark，上传spark安装包到master虚拟机

将Spark安装包解压到指定目录，执行命令：tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz -C /usr/local

配置spark环境变量，执行命令:vim /etc/profile

保存退出后，执行命令：source /etc/profile，让配置生效

查看spark安装目录


编辑spark环境配置文件，执行命令：cp spark-env.sh.template spark-env.sh和vim spark-env.sh

保存退出，执行命令：source /etc/profile，让配置生效

创建slaves文件，添加从节点，执行命令：vim slaves，添加两个从节点的主机名

在slave1从节点上安装配置Spark，执行命令：scp -r S P A R K H O M E r o o t @ s l a v e 1 : SPARK_HOME root@slave1: SPARKH​OMEroot@slave1:SPARK_HOME

在slave1虚拟机上，执行命令：scp /etc/profile root@slave1:/etc/profile

执行命令：source /etc/profile，让配置生效


在虚拟机上让spark环境配置文件生效，执行命令：source spark-env.sh

在slave2从节点上安装配置Spark，执行命令：scp -r S P A R K H O M E r o o t @ s l a v e 2 : SPARK_HOME root@slave2: SPARKH​OMEroot@slave2:SPARK_HOME

在slave2虚拟机上，执行命令：scp /etc/profile root@slave2:/etc/profile

执行命令：source /etc/profile，让配置生效

在虚拟机上让spark环境配置文件生效，执行命令：source spark-env.sh

十三、启动hadoop的dfs服务

在master虚拟机上执行命令：start-dfs.sh

进入spark安装目录下的sbin子目录，执行命令：./start-all.sh

用jps查看进程


访问Spark的WebUI，在qzj_win7虚拟机上，访问http://192.168.54.103:8080

启动Scala版Spark Shell，执行命令：spark-shell --master spark://master:7077

退出，在/opt目录里执行命令：vim test.txt

在HDFS上创建park目录，将test.txt上传到HDFS的/park目录

在其他虚拟机上也可以查看该文件

读取HDFS上的文件，创建RDD


查看第一行的内容（有可能会出现错误，如出现错误，按照图上标记做）

十四、关闭Spark服务

在master节点执行命令：stop-master.sh和stop-slaves.sh