Windows10安装Hadoop3.0.0

前置

Hadoop下载：http://archive.apache.org/dist/hadoop/core/，我选择3.0.0版本下载。

winutils下载：https://github.com/steveloughran/winutils，Hadoop不直接支持Windows，使用工具集进行支持。

JDK1.8及其以上版本，自行安装，并配置JAVA_HOME环境变量

1.解压hadoop压缩包 2.使用winutils中的bin目录整个替换hadoop中的bin目录 3.在hadoop-3.0.0下按目录创建namenode和datanode两个文件夹：

4.配置环境变量：

5.配置hadoop-env.cmd, 这里将JAVA_HOME换成绝对目录

@rem The java implementation to use.  Required.
set JAVA_HOME=C:PROGRA~1Javajdk1.8.0_281

注意要用PROGRA~1代替Program Files，即改为C:PROGRA~1Javajdk1.8.0_281。否则会在后续的操作中报如下错误：

C:UsersDELL>hdfs namenode -format
系统找不到指定的路径。
Error: JAVA_HOME is incorrectly set.
       Please update F:hadoop-3.0.0etchadoophadoop-env.cmd
'-Dhadoop.security.logger' 不是内部或外部命令，也不是可运行的程序
或批处理文件。

6.core-site.xml 添加如下配置

 
     
        fs.default.name
        hdfs://localhost:9000
    
 

7.hdfs-site.xml添加如下配置

    
        dfs.replication
        1
    
    
     dfs.permissions
     false
    
   
       dfs.namenode.name.dir
       /D:/hadoop-3.0.0/data/namenode
   
   
        fs.checkpoint.dir
        /D:/hadoop-3.0.0/data/snn
    
    
        fs.checkpoint.edits.dir
        /D:/hadoop-3.0.0/data/snn
    
       
       dfs.datanode.data.dir
       /D:/hadoop-3.0.0/data/datanode
   

8.mapred-site.xml添加如下配置

    
       mapreduce.framework.name
       yarn
   

9.yarn-site.xml添加如下配置

   
        yarn.nodemanager.aux-services
        mapreduce_shuffle
   
   
          yarn.nodemanager.auxservices.mapreduce.shuffle.class
    org.apache.hadoop.mapred.ShuffleHandler
   

10.namenode格式化

使用如下命令进行格式化：

hdfs namenode -format

11.运行hadoop

进入Hadoop的sbin目录，执行命令：

start-all

启动四个服务窗口：

四个服务如下图所示：

12.启动成功。浏览器输入http://127.0.0.1:8088/cluster进行查看