- 起源于搜索引擎
- 08年成为apache的顶级项目
- 09-12年 0.x-1.x快速发展,但是超大规模集群和HA等成为瓶颈
- 13-17年 2.x快速发展,解决了超大集群和HA瓶颈
- 17年至今 3.x快速发展,主要在提升执行效率(锦上添花)
HDFS(存储),MapReduce(计算),yarn(任务调度)
2.2其他常用组件Hbase,Hive,Zookeeper,Streaming
2.3架构 2.4组件介绍- HDFS
- 分布式文件存储系统,高容错,高可用性,流式访问等特点
- MapReduce
- 分布式计算框架,现在一般不用这个了,已经由Spark等实时计算框架取代
- yarn
- 提供资源管理和任务调度的功能
- Hbase
- 基于列式的分布式数据库
- Hive
- 提供数据摘要和查询的数据仓库
- Streaming
- 解决非java程序员使用Hadoop的问题
- Zookeeper
- 分布式协同服务,主要解决分布式下数据管理问题
Ambari是基于Web的一个大数据管理平台,可以快速的帮助你搭建一个集群
同类产品CDH
优点:
- 图形界面操作方便
- 组件全
- 社区资源丰富
缺点:
- 有一些bug,但是一般重启就可以解决
- 网慢的话安装会很慢
