栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

【云计算】MapReduce工作原理 - 详解图

【云计算】MapReduce工作原理 - 详解图

【云计算】MapReduce工作原理 - 详解图

1. MapReduce的工作原理如下图所示2.分析

2.1整体分析2.2举例分析

1. MapReduce的工作原理如下图所示

此文介绍Google引爆大数据时代的三篇论文之一MapReduce

Google大数据处理的3篇核心论文
《The Google File System》:http://research.google.com/archive/gfs.html
《MapReduce: Simplified Data Processing on Large Clusters》:http://research.google.com/archive/mapreduce.html
《Bigtable: A Distributed Storage System for Structured Data》:http://research.google.com/archive/bigtable.html

2.分析 2.1整体分析

Map有映射的意思,reduce则为减少

针对MapReduce整个过程简单概括是将一个大数据计算任务通过分片成子任务,再将子任务映射到map工作处理,在通过中间过程的处理输出给reduce,reduce再将处理结果汇总。有大到小处理,再将小处理结果整合, 这也正是分治思想的本质。

由于过程仅依靠语言分析不够清晰,对此我绘制如下图进行分析说明。

2.2举例分析

这里采用词频分析进行数据在每个模块变化进行分析


如需原图可私嚯,貌似放上去不是辣么清楚(ㄒoㄒ)~

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/775250.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号