Hadoop集群的搭建

目录

一.基本环境配置

二.修改hadoop配置文件（cd /usr/local/hadoop/etc/hadoop/）

三.将hadoop传输至其他节点

四.hadoop名称节点格式化

五.启动hadoop

六.关闭hadoop

hadoop资源：

链接：https://pan.baidu.com/s/1BdyYO_IRPSmvD4cNjUGo0A 
提取码：q0o8 

一.基本环境配置

1.上传hadoop解压包并解压至/usr/local/

tar -zxvf hadoop-2.6.0.tar.gz

2.重命名hadoop

mv hadoop-2.6.0 hadoop

3.配置hadoop环境变量（所有节点，且已配置java环境变量）

vi /etc/profile  或   vi ~/.bashrc

/etc/profile为所有的用户设置系统范围的环境变量和启动顺序。

~/.bashrc  只对某一用户生效。

添加内容：

保存退出并生效环境变量：

source /etc/profile

二.修改hadoop配置文件（cd /usr/local/hadoop/etc/hadoop/）

1.修改core-site.xml文件

添加内容如下：

        fs.defaultFS
        hdfs://master:8020
   
   
        hadoop.tmp.dir
        /usr/local/hadoop/tmp
   

2.修改yarn-site.xml文件

添加内容如下：

       yarn.resourcemanager.hostname
       master
   
   
       yarn.nodemanager.aux-services
       mapreduce_shuffle
   

3.修改mapred-site.xml

复制一份该文件

添加内容如下：

   
        mapreduce.framework.name
        yarn
   

4.修改hdfs-site.xml文件

添加内容如下：

 
        dfs.namenode.http-address
        master:50070
   

   
        dfs.namenode.secondary.http-address
        master:50090
   

   
        dfs.replication
        2
   

   
        dfs.namenode.name.dir
        file:/usr/local/hadoop/tmp/dfs/name
   

   
        dfs.datanode.data.dir
        file:/usr/local/hadoop/tmp/dfs/data
   

 

5.修改slaves文件

修改内容如下：

有几个次节点就添加已有次节点的主机名

6.修改hadoop-env.sh文件

修改内容如下：

三.将hadoop传输至其他节点

更换传输对象只需更改slave1为其他主机名即可，也可以为其他节点的IP。

四.hadoop名称节点格式化

hdfs namenode -format 或hadoop namenode -format

主节点：

五.启动hadoop

主节点：

start-all.sh（可以用start-dfs.sh 和 start-yarn.sh启动，都要执行）

1.查看hadoop的启动进程

jps

master：

slave1：

slave2:

若进程和以上所示一致，则表示hadoop安装成功。

2.利用浏览器查看hadoop的web端

由于要访问虚拟机的IP，需要关闭虚拟机的防火墙。

systemctl stop firewalld

访问：

出现该页面表示成功。

六.关闭hadoop

主节点执行：

stop-all.sh（可以用stop-dfs.sh 和 stop-yarn.sh启动，都要执行）

 

七.查看hadoop版本