Hadoop下载与安装

介绍：Hadoop是一个开源软件框架，用于在商用硬件集群上存储数据和运行应用程序。它为任何类型的数据提供海量存储，巨大的处理能力以及处理几乎无限的并发任务或作业的能力。

第一步:前期需要准备的材料:

① Hadoop-3.0.0下载
从http://archive.apache.org/dist/hadoop/core/下载Hadoop-3.0.0，下载二进制压缩包文件：hadoop-3.0.0.tar.gz

(https://blog.csdn.net/mr_yuntuo/article/details/90728174）

② 下载hadoop在windows环境下支持包hadoopwindows-master.
https://github.com/sardetushar/hadooponwindows

③ 下载hadoop的hadoop.dll和winutils.exe
https://github.com/4ttty/winutils

第二步:安装包及环境变量配置

①解压hadoop-3.0.0安装包到本地路径

②将hadoop.dll和winutils.exe两个文件放入到/hadoop-3.0.0/bin目录下

 ③配置hadoop环境变量:⑤ 添加path属性,将;%HADOOP_HOME%bin;添加到path环境变量中⑤ 添加path属性,将;%HADOOP_HOME%bin;添加到path环境变量中⑤ 添加path属性,将;%HADOOP_HOME%bin;添加到pat⑤ 添加path属性,将;%HADOOP_HOME%bin;添加到path环境变量中

 ⑥ 验证hadoop环境,在windows控制台输入: hadoop version

第三步:修改hadoop配置文件
文件位置：hadoop-3.0.0etchadoopXXX

1.配置core-site.xml

   
       fs.default.name
       hdfs://localhost:9000
   

2.配置hdfs-site.xml

     
   
        dfs.replication
        1
   
   
     dfs.permissions
     false
 
   
       dfs.namenode.name.dir
       /D:/Installed/hadoop-3.0.0/data/namenode
   
   
        fs.checkpoint.dir
        /D:/Installed/hadoop-3.0.0/data/snn
   
   
        fs.checkpoint.edits.dir
        /D:/Installed/hadoop-3.0.0/data/snn
   
       
       dfs.datanode.data.dir
       /D:/Installed/hadoop-3.0.0/data/datanode
   

3.配置mapred-site.xml

   
       mapreduce.framework.name
       yarn
   

5.运行hadoop
以管理员方式打开cmd，运行hadoop：

cd D:javahadoop-3.0.0bin
hadoop namenode –format