栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hadoop mapreduce

hadoop mapreduce

mapreduce任务

mapper:

mapper 四个参数:输入键,输入值,输出键和输出值的类型。
reducer:

reducer 的参数:和mapper一样是输入键,输入值,输出键和输出值的类型。reduce的输入类型必须匹配 mapper 的输出类型。
combiner:
可以没有,主要作用是用来减少mapper产生的中间结果。

各阶段结果

mapper将输出结果写入本地硬盘,因为mapper输出的是中间结果,进过reducer处理才会是最终结果,并且任务完成后,map任务的结果就可以删除,因此没有必要写入hdfs上。

如果运行map任务的节点在将map中间结果传送给reduce任务之前失败,Hadoop将会在另一个节点上重新运行这个map任务以再次构建中间map结果。

reducer任务不具备数据本地化的又是,单个reduce任务的输入通常来自所有mapper的任务输出。经过排序的mapper任务结果,经过网络传输发送到运行reduce任务的节点,数据在reduce端合并,然后由reduce函数处理,reduce任务的结果通常存储在hdfs中。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/650366.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号