栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

大数据学习之路,MapReduce的实例(WordCount)解析

大数据学习之路,MapReduce的实例(WordCount)解析

图解MR(WC)

第一步,input

读取文件内容

第二步,split 分片

一个块容量(blocksize)是128M,假如300MB的一个文件,blocksize默认是128M,那么分成3个块去存储;如果一个文件大小为128.01MB,因为128M是有buffer,缓冲大小为10%,最后需要其实也就是一个块

第三步,map

将word => (word,1) ,类似于key-value键值对

第四步,shuffle

洗牌
默认按照key的hash值进行分发,(也可以不用hash值分发,也可以用其他规则)默认就是按hash中的partitioner(分组),可以改造这个,比如有个文件存的是电话号码:
phone count
131xxxxx
135xxxxx
185xxxxx
137xxxxx
如果按照hash值去分的话,就需要很多shuffle(shuffle是需要消耗内存的),所以我们需要去改造,比如前三位相同就可以做个分组,这样就很快了;最后相同的key肯定要分发到同一个reduce任务上去,做最后的汇总操作

第五步,reduce

归约汇总 这里对value做加法

第六步,result

写文件,output 然后就会生成类似于下面的文件
_SUCCESS
part-0-000000

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/779665.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号