CentOS配置完全分布式Hadoop

本次使用到了四台虚拟机用以搭建hadoop集群。我们可以先配置一台，然后剩余三台克隆该虚拟机，修改配置就可以了。

目录

CentOS配置完全分布式Hadoop

一、先决条件

二、配置的四台虚拟机需求如下

三、配置基础环境

1、设置时间同步

（1）通过命令同步时间（待添加）

（2）通过虚拟机的设置同步时间

2、安装jdk

3、配置hosts文件

（1）修改虚拟机主机名

（2）CentOS7

（3）Windows

3、复制虚拟机镜像，固定IP地址，修改主机名

（1）复制虚拟机镜像

（2）固定IP地址

（3）修改主机名

四、设置免密登录

五、安装Hadoop及其配置

六、同步配置文件到其他节点

七、格式化

八、启动并测试

1、启动

2、测试

（1）namenode查看

（2）SNN查看

（3）异常

---

一、先决条件

1、一台CentOS7虚拟机；

2、Xftp;

3、Xshell（因为Xshell支持复制粘贴）；

4、为CentOS虚拟机设置固定IP，详情见（待准备）；

二、配置的四台虚拟机需求如下

主机名	IP	配置项
node1	192.168.70.128	namenode
node2	192.168.70.129	datanode/secondarynamenode
node3	192.168.70.130	datanode
node4	192.168.70.131	datanode

三、配置基础环境

1、设置时间同步

（1）通过命令同步时间（待添加）

（2）通过虚拟机的设置同步时间

点击虚拟机，然后点击“设置”。

进入到“设置”后，点击“选项”，然后点击“VMware Tools” ，点击右侧的“VMware Tools功能”的“将客户机与主机同步”，然后点击“确定”。

2、安装jdk

详情见CentOS配置jdk8及tomcat8_Delusion06的博客-CSDN博客

3、配置hosts文件

（1）修改虚拟机主机名

 键入如下命令：

vim /etc/hostname

输入你要修改的主机名，按esc键，输入“:wq”保存并退出。

再次输入以下命令重启系统：

reboot

键入命令查看主机名：

hostname

如图所示：

（2）CentOS7

修改hosts文件，需要进入“/etc/hosts”

vim /etc/hosts

按i键键入以下内容：

192.168.70.128 node1
192.168.70.129 node2
192.168.70.130 node3
192.168.70.131 node4

效果如图所示：

（3）Windows

找到“C:WindowsSystem32driversetc”下的hosts文件，用记事本进行编辑，

C:WindowsSystem32driversetc

输入如下内容：

192.168.70.128 node1
192.168.70.129 node2
192.168.70.130 node3
192.168.70.131 node4

按Ctrl+s保存，出现如下提示框：

点击是，修改成功。

3、复制虚拟机镜像，固定IP地址，修改主机名

（1）复制虚拟机镜像

克隆无法为处于开启或挂起状态的虚拟机创建克隆，因此需要关闭虚拟机。

右键单击需要克隆的虚拟机，点击“管理”，然后点击“克隆”。

按照下面所示步骤进行操作：

点击“下一步”。

选择“虚拟机中的当前状态”，点击“下一步”。

选择“创建完整克隆”，点击“下一步”。

在这一步可以修改虚拟机的名称，还可以修改存储路径，然后点击“完成”。

待出现如下界面，则克隆成功。

克隆后，效果图如下：

（2）固定IP地址

（3）修改主机名

参照“3、配置hosts文件（1）修改虚拟机主机名”。

按照以上方法克隆三台虚拟机，分别命名为node2,node3,node4。

四、设置免密登录

五、安装Hadoop及其配置

六、同步配置文件到其他节点

1、同步到node2上

scp -r hadoop271/    node2:/usr/local/

2、同步到node3上

scp -r hadoop271/    node3:/usr/local/

3、同步到node4上

scp -r hadoop271/    node4:/usr/local/

七、格式化

键入以下命令：

hdfs namenode -format

八、启动并测试

1、启动

键入如下命令：

start-dfs.sh

运行结果如下：

2、测试

（1）namenode查看

在浏览器输入地址“http://node1:50070”，出现如下界面则成功。

（2）SNN查看

在浏览器访问链接“http://node2:50090”，如果出现以下界面，则成功。

（3）异常

如果访问不到，请关闭node1和node2的防火墙。

以下命令可供参考：

查看防火墙状态：

systemctl status firewalld

关闭防火墙：

systemctl stop firewalld.service

禁止防火墙：

systemctl disable firewalld.service