栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Hadoop编程——第五章:(1) MapReduce执行流程

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hadoop编程——第五章:(1) MapReduce执行流程

一、MapReduce内部执行流程

虽然MapReduce从外表看起来就两个阶段Map和Reduce,但是内部却包含了很多默认组件和默认的行为。包括:
组件:读取数据组件InputFormat、输出数据组件0utputFormat ;
行为:排序( key的字典序排序)、分组( reduce阶段key相同的分为一组,一组调用一次reduce处理);

二、序列化机制 (一)概念

**序列化(Serialization)**是将结构化对象转换成字节流以便于进行网络传输或写入持久储存的过程。
**反序列化( Deserialization )**是将字节流转换为一系列结构化对象的过程,重新创建该对象。

(二)Java序列化机制

Java中一切都是对象。开发程序中,经常会涉及到下述场景∶
跨进程、跨网络传递对象;
将对象数据持久化存储;
这就需要有一种可以在两端传输数据的协议。
Java序列化机制就是为了解决这个问题而产生。

Java序列化机制
Java对象序列化的机制,把对象表示成一个二进制的字节数组,里面包含了对象的数据,对象的类型信息,对象内部的数据的类型信息等等。通过保存或则转移这些二进制数组达到持久化、传递的目的。
要实现序列化,需要实现java.io.Serializable接口。反序列化是和序列化相反的过程,就是把二进制数组转化为对象的过程。

(三)Hadoop序列化机制

Hadoop的序列化没有采用java的序列化机制,而是实现了自己的序列化机制writable。
原因在于java的序列化机制比较臃肿,重量级,是一种不断的创建对象的机制,并且会额外附带很多信息(校验、继承关系系统等)。
但在Hadoop的序列化机制中,用户可以复用对象,这样就减少了java对象的分配和回收,提高了应用效率。

Hadoop通过Writable接口实现的序列化机制,接口提供两个方法write和readFields.
write叫做序列化方法,用于把对象指定的字段写出去;
readFields叫做反序列化方法,用于从字节流中读取字段重构对象;

Hadoop没有提供对象比较功能,所以和java中的Comparable接口合并,提供一个接口WritableComparable。WritableComparable接口可用于用户自定义对象的比较规则。

三、 Hadoop封装的数据类型

Hadoop提供了如下内容的数据类型,这些数据类型都实现了WritableComparable接口,以便用这些类型定义的数据可以被序列化进行网络传输和文件存储,以及进行大小比较。

暑期编程PK赛 得CSDN机械键盘等精美礼品!
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/1017044.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号