Hadoop学习之MapReduce（WordCount实例）心得

WordCount案例

需求：给定的文本文件中统计输出每一个单词出现的总次数

1.配置环境变量 HADOOP_HOME、JAVA_HOME，并将其放入在PATH路径中

2.在IDEA上新建maven工程并设置maven的目录

3.配置所需要的依赖 

pom.xml文件中添加：

   
        org.apache.hadoop
        hadoop-client
        3.1.3
   
   
        junit
        junit
        4.12
   
   
        org.slf4j
        slf4j-log4j12
        1.7.30
   



   
       
            maven-compiler-plugin
            3.6.1
           
                1.8
                1.8
           
       
       
            maven-assembly-plugin
           
               
                    jar-with-dependencies
               
           
           
               
                    make-assembly
                    package
                   
                        single
                   
               
           
       
   

配置日志文件，src/main/resources下新建 log4j.properties 后写入：

log4j.rootLogger=INFO, stdout

log4j.appender.stdout=org.apache.log4j.ConsoleAppender

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n

log4j.appender.logfile=org.apache.log4j.FileAppender

log4j.appender.logfile.File=target/spring.log

log4j.appender.logfile.layout=org.apache.log4j.PatternLayout

log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

4.编写Mapper、Reducer、Driver类：（导包细心，防止出错  mapreduce）

    Mapper类：继承Mapper类之后对应好相应的泛型；重写map方法；先获取一行，进行切割后循环写出。

                      （注意写出的时候类型的不一致需要封装，其次考虑节省内存）

    Reducer类：继承Reducer类之后对应好相应的泛型；重写reducer方法；将传入进来的数据进行累加之后写出。

    Driver类：main方法中通过7步来完成：1.获取job   2.设置jar包的路径（Driver类）. 3.关联mapper和reducer（自己所写的类）

                                                                       4.设置map输出的KV类型   5.设置最终输出的KV类型   6.设置输入和输出路径   7.提交job

5.将maven的jar包下载后传送至hadoop集群中，确认hadoop集群启动

6.在集群中运行（在集群可视化界面确认输入文件以及输出文件，监控任务运行情况可进行观测）

补充：在企业中运行jar包过多则需要编写脚本来执行