栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Mapreduce编程模型

Mapreduce编程模型

1.1Mapreduce模型简介

        Mapreduce是一种可用于数据处理的编程模型,Hadoop上可以运行各种语言版本的Mapreduce程序。Mapreduce程序是并行运行的,采用了分治的思想。编程核心思想:键值对思想

        Mapreduce只需要用Map和Reduce的思想即可解决问题,即编写map()和reduce()函数

        Mapreduce编程的特点:

  • 开发简单
  • 可扩展性强
  • 容错性强
1.2 Mapreduce运行机制简介

 Mapreduce发展过程中经历了两个版本:MRv1和YARN/MRv2

  • MRv1的运行环境由Job Tracker和Task Tracker两部分组成
服务功能
Job Tracker资源管理&所有作业的控制
Task Tracker主要是接收Job Tracker的命令并执行

  • MRv2:基于YARN的第二代MapReduce的计算框架

                        提出了全新资源管理的框架YARN。

YARN中JobTracker

JobTracker

ResourceManager负责所有应用程序的资源分配
Application仅负责管理一个应用程序

1.3Mapreduce架构优缺点         1.优点
  •  良好的扩展性
  • 高容错性
  • 易于编程
  • 适合PB级别以上的大数据的分布式离线批处理
        2.局限性
  • Mapreduce执行速度慢
  • Mapreduce过于底层
  • 不是所有算法都能用Mapreduce实现

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/329771.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号