栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

MapReduce排序过程

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

MapReduce排序过程

排序是MapReduce框架中最重要的操作之一。

MapTask和ReduceTask均会对数据按照key 进行排序。该操作属于Hadoop 的默认行为,任何应用程序中的数据均会被排序,而不管逻辑上是否需要。

默认排序是按照字典顺序排序,且实现该排序的方法是快速排序。

发生排序时机

MapTask

        1,当环形缓冲区使用率达到一定阈值后,对缓冲区的数据进行一次快速排序。

        2,并将这些有序数据溢写到磁盘上,而当数据处理完毕后,他会对磁盘上所有文件进行归并排序

ReduceTask

        3,当所有数据拷贝完毕后,ReduceTask统一对内存和磁盘上的所有数据进行一次归并排序。

排序分类:

        1,部分排序:

                MapReduce根据输入记录的键对数据集排序。保证输出的每个文件内部有序。

        2,全排序:

                最终输出结果只有一个文件,且文件内部有序。实现方式是指设置一个ReduceTask,但该方法在处理大型文件时效率极低,因为一台机器处理所有文件,完全丧失了MapReduce所提供的并行架构。

        3,辅助排序(GroupingConparator分组):

                在Reduce端对key进行分组。应用于:在接受的key为bean对象时,想让一个或几个字段相同(全部字段比较不相同)的key进入同一个reduce 方法时,可以采用分组排序。

        4,二次排序:

                        在自定义的排序过程中,如果compartTo中的判断条件为两个即为二次排序。

                (1)CompareTo方法

                        CompareTo方法被称为自然比较法,利用当前对象和传入对象进行比较

                        若是当前对象比目标对象大,则返回1,那么当前对象会排在目标对象后面

                        若当前对象比目标对象小,则返回-1,那么当前对象会排在目标对象后面

                        若两个对象都相等,则返回0。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/785941.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号