大数据学习之路，MapReduce的实例（Wordcount）代码实现和windows环境准备

这里推荐使用IDEA，具体破解说明和安装包的百度网盘下载链接：https://pan.baidu.com/s/1oQkc4bwTCwx3XKxu9GfB0w
提取码：i3ke

这里推荐使用MAVEN3.6.3版本，高版本的可能会出现一些安全问题，比如只能用https具体安装包百度网盘链接：https://pan.baidu.com/s/10NbGLU308S6_sbzA3LmWwg
提取码：ji7u
下载完成之后，解压开，在setting.xml文件中添加一些配置，将本地仓库设置一下：

D:mvnapache-maven-3.6.3repository

再将阿里云镜像添加到配置中：

     nexus-aliyun
     central
     nexus-aliyun
     http://maven.aliyun.com/nexus/content/groups/public

然后配置环境变量MAVEN_HOME,右键 “计算机”，选择 “属性”，之后点击 “高级系统设置”，点击"环境变量"，来设置环境变量，有以下系统变量需要配置：
新建系统变量 MAVEN_HOME，变量值：D:Mavenapache-maven-3.6.3;

然后编辑系统变量 Path，添加变量值：%MAVEN_HOME%bin

1.重新解压一份Hadoop-3.1.3安装包，然后将里面的bin和etc目录copy到自己新建windows的Hadoop文件夹下；
2.修改etc/hadoop中的hadoop-env.cmd,JAVA_HOME需要修改为绝对路径;
1.如果本地JAVA_HOME：在C:Program Files…,需要改为set JAVA_HOME=C:PROGRA~1JAVAjdk1.8.0_131
2.网上找对应的hadoop.dll和winutils.exe放在hadoop的bin目录下
3.配置环境变量HADOOP_HOME,还有PATH，这个时候检查一下，登录cmd输入命令：

hadoop version

4.如果还会报错的话，把hadoop.dll放在C:WindowsSystem32中

新建一个maven项目，然后在设置中将maven的路径改为本地的maven

然后编辑pom.xml文件，下载需要的hadoop包

    4.0.0

    org.example
    MapReduce
    1.0

    
        8
        8
        3.1.3
    

    
        
             org.apache.hadoop
             hadoop-common
            3.1.3
        

        
            org.apache.hadoop
            hadoop-client
             3.1.3
        
        
            org.apache.hadoop
             hadoop-hdfs
                3.1.3
         
    

Mapper ==>org.apache.hadoop.mapreduce.Mapper
run
set up
循环调用map
cleanup
Reducer ==>org.apache.hadoop.mapreduce.Reducer
run
set up
循环调用reduce
cleanup

Driver ==>连接Mapper和Reducer，提交成为job