栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop学习之MapReduce(ReduceJoin案例)心得

Hadoop学习之MapReduce(ReduceJoin案例)心得

需求:

   在 Reduce端 将商品信息表中数据根据商品pid合并到订单数据表中

(order表:id、pid、amount;product表:pid、pname)


1.TableBean类:

        实现 Writable 接口(序列化),实现序列化和反序列化方法

        定义所有字段,实现空参构造和 get() set() 方法
    
        序列化方法和反序列化方法里的顺序保持一致( out.write() 和 in.read() )

        重写 toString() 方法

2.TableMapper类:

        继承 Mapper 类之后对应相应的泛型

        先写 setup() 方法(初始化),得到切片信息后获取文件名,将其变为全局变量

        重写 map() 方法,获取一行,判断是哪个文件,切割,封装 outK、outV 后写出

3.TableReducer类:

        继承 Reducer 类之后对应相应的泛型

        重写 reduce() 方法,创建集合将 TableBean 传输进去(存储order),创建对象(存储pd)

        循环遍历 通过创建临时对象来赋值添加

        (直接添加在haoop中是传地址而且会覆盖,最终只能加上一个对象而非多个)

        BeanUtils.copyProperties() 赋值

        循环遍历 orderBeans,赋值 pdname (从 pdBean 中 getPname() ),写出

4.TableDriver类:

        获取job,设置jar包的路径(Driver类)

        关联mapper和reducer(自己所写的类)
                
        设置map输出的KV类型,设置最终输出的KV类型
                 
        设置输入和输出路径
                
        提交job

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/758623.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号