栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

MapReduce

MapReduce

官网:Apache Hadoop 3.3.1 – MapReduce Tutorialhttps://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.htmlOverview(概述):

 

        Hadoop MapReduce is a software framework for easily writing applications which process vast amounts of data (multi-terabyte data-sets) in-parallel on large clusters (thousands of nodes) of commodity hardware in a reliable, fault-tolerant manner.

in-parallel并行处理

fault-tolerant manner 以容错的方式运行

容错:大数据分布式框架,必备的点                                                                                           

                重试机制

        工作中用的真不多,但是思想非常非常非常非常重要

        历史的产物

        但是深层次的含义是务必要掌握的

        给我们提供好了非常多的接口,我们要做的就是根据我们的业务逻辑开发+MR框架提供的底层实现机制 = MR Application  ==>提交到YARN上运行

        形成的是一个分布式的应用程序

        但是:你是感知不到分布式的概念

        感觉就是:你写的是一个单机应用程序,运行起来是一个分布式 

        分布式的概念给我们屏蔽掉了

        适用于离线计算、批计算

        不适用:实时计算、流式计算

一个MapReduce作业:

        Mapper

        Reducer(有的有,有的没有)

        Driver:main方法里面的

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/676974.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号