栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop之MapReduce介绍

Hadoop之MapReduce介绍

MapReduce:


1、计算过程分为俩个阶段,Map和Reduce
Map阶段并行处理输入数据
Reduce阶段对Map结果进行汇总
2、Shuffle连接Map和Reduce俩个阶段
Map Task将数据写到本地磁盘
Reduce Task从每个MapTask上读取一份数据
3、仅适合离线批处理
具有很好的容错和扩展性
适合简单的批处理任务
4、缺点明显
系统开销过大、过多使用磁盘导致效率低下

执行流程:

编程模型:map阶段进行拆分,Reduce阶段进行聚合

 

文字介绍:

1、hdfs存放的文件,进行切分成多分,交给不同的map进行处理

2、shuffle流程:map将处理的数据写入本地瓷片进行存储,Reduce从本地磁盘读取数据进行处理

3、Reduce将本地读取的数据进行聚合处理(就是放到一起整体处理,这就是批处理),然后输出到hdfs进行存储。 

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/761827.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号