Hadoop3.2.2安装 windows版

1、下载安装包

https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz

2、下载windows下使用hadoop需要的工具 winutils.exe 和 hadoop.dll

https://github.com/cdarlint/winutils/tree/master/hadoop-3.2.2/bin

放入hadoop bin 目录下即可

3、配置环境变量

4、配置 配置文件

在data目录下，创建两目录 namenode，datanode，

4.1、进入etc/hadoop目录

4.2、修改core-site.xml

	
	    fs.default.name
	  hdfs://localhost:9000
	 
	 
	  hadoop.tmp.dir
	  /E:/bigData/hadoop-3.2.2/data/tmp
	 

4.3 修改mapred-site.xml

   
       mapreduce.framework.name
       yarn
   

4.4 修改yarn-site.xml

	
    	yarn.nodemanager.aux-services
    	mapreduce_shuffle
   
   
      	yarn.nodemanager.auxservices.mapreduce.shuffle.class  
		org.apache.hadoop.mapred.ShuffleHandler
   

4.5、修改hdfs-site.xml

   
   
	   dfs.replication
	   1
   
   	 
        dfs.permissions 
        false 
     
      
          dfs.namenode.name.dir
          /E:/bigData/hadoop-3.2.2/data/namenode
      
      
   		fs.checkpoint.dir
   		/E:/bigData/hadoop-3.2.2/data/snn
   	
   	
   		fs.checkpoint.edits.dir
   		/E:/bigData/hadoop-3.2.2/data/snn
   	
   	   
          dfs.datanode.data.dir
          /E:/bigData/hadoop-3.2.2/data/datanode
      

5、找到hadoop-env.cmd 配置jdk路径

编辑

注意：javahome原路径为下图， 这里将 Program Files 替换为了 PROGRA~ 替代。 路径不能出现空格

6、格式化，启动 6.1、以管理员 打开cmd 6.2、进入hadoop bin目录

6.3 、进入hadoop sbin目录

执行 start-all.cmd

此时可以看到同时启动了如下4个服务：
Hadoop Namenode
Hadoop datanode
YARN Resourc Manager
YARN Node Manager

7、HDFS应用

http://127.0.0.1:8088/ 即可查看集群所有节点状态：

访问 http://localhost:9870/ 即可查看文件管理页面：

8、DataNode启动问题

ERROR datanode.DataNode: Initialization failed for Block pool (Datanode Uuid unassigned) service to IP1:8020 Invalid volume failure config value: 1

FATAL datanode.DataNode: Initialization failed for Block pool (Datanode Uuid unassigned) service to IP1:8020. Exiting.
org.apache.hadoop.util.DiskChecker$DiskErrorException: Invalid volume failure config value: 1

原因是datanode只配置了一个数据目录，

并且hdfs-site.xml的dfs.datanode.failed.volumes.tolerated设置成了1.

修改方法：dfs.datanode.failed.volumes.tolerated 设置成0