必成功的Hadoop环境搭建jdk环境搭建-超详细操作

Hadoop的文件可以在这里下载：Apache Hadoopb

本次配置的Hadoop环境为hadoop-2.7.7 | jdk配置的环境为jdk-1.8.0_141

1.搭配Hadoop环境要先搭配jdk环境，否则无法运行和查看，在/root/wenjian中rz上传jdk文件

[root@master wenjian]# rz

2.将jdk文件解压到/root目录下

[root@master wenjian]# tar -zxvf jdk-8u141-linux-x64.tar.gz -C /root/

3.回到/root下进行修改名称为jdk（因为名字太长了到后面记的太麻烦）

[root@master ~]# mv jdk1.8.0_141/ jdk

4.进入/root下的用户变量

[root@master ~]# vim /root/.bash_profile 

5.变量jdk环境和路径，wq保存退出

重新开启一下用户变量

[root@master ~]# source /root/.bash_profile 

1.进入/root/wenjian，解压hadoop文件到/root目录下

[root@master wenjian]# tar -zxvf hadoop-2.7.7.tar.gz -C /root/

2.进入/root目录下修改hadoop名称

[root@master ~]# mv hadoop-2.7.7/ hadoop

3.进入hadoop文件下的配置文件/etc/hadoop里面

[root@master ~]# cd hadoop/etc/hadoop/

4.复制配置文件下的文件（保留源文件）

[root@master hadoop]# cp mapred-site.xml.template mapred-site.xml

5.在core-site.xml中添加数据，将第四行的master修改为自己的主机名或者ip，wq保存退出（注意：如果主机名没有映射的话就修改为ip，不然不成功）

[root@master hadoop]# vim core-site.xml 

                fs.defaultFS
                hdfs://master:8020
        
        
                hadoop.tmp.dir
                file:/root/hadoop/tmp
        

​​​​​​​6.在hdfs-site.xml中插添加数据，将第四行的master修改为自己的主机名或者ip，wq保存退出

[root@master hadoop]# vim hdfs-site.xml

                 dfs.namenode.secondary.http-address
                 master:50090
          
          
                 dfs.replication
                 1
         
          
                        dfs.namenode.name.dir
                     file:/root/hadoop/tmp/name
         
        
                      dfs.datanode.data.dir
                      file:/root/hadoop/tmp/data
         

7.在yarn-site.xml中添加数据，将第四行的master修改为自己的主机名或者ip，wq保存退出

[root@master hadoop]# vim yarn-site.xml

                  yarn.resourcemanager.hostname
                 master
                  
           
                     yarn.nodemanager.aux-services
                         mapreduce_shuffle
         

8.在刚刚复制过的mapred-site.xml中添加数据

[root@master hadoop]# vim mapred-site.xml

修改第八行和倒数第三行的master修改为自己的主机名或ip

 
                   mapreduce.framework.name
                 yarn
          
           
                  mapreduce.jobhistory.address
                 master:10020
         
        
                     mapreduce.jobhistory.webapp.address
                     master:19888
         

9.在hadoop-env.sh中添加上jdk路径

[root@master hadoop]# vim hadoop-env.sh

 10.在用户下添加hadoop环境变量

[root@master hadoop]# vim /root/.bash_profile 

 重新生成一下环境变量（重新生成在哪个目录下都可以，因为重新生成针对的是绝对路径）

[root@master hadoop]# source /root/.bash_profile

 11.进入hadoop的bin目录下初始化hadoop

[root@master hadoop]# cd /root/hadoop/bin/

执行初始化命令（打印出日志文件和出现两排*号就成功初始化了）

[root@master bin]# hdfs namenode -format

12.开启hadoop服务，并通过jps查看hadoop服务（中间出现yes和no的时候一律选择yes）

[root@master bin]# start-all.sh 

出现六个服务就代表Hadoop服务开启成功了，如果关闭的话可以输入stop-all.sh关闭Hadoop服务！

可以日常关注一下，会经常出一些用的上的东西，可以直接在主页搜取！