- 大数据概述
- 大数据解决了什么问题：海量数据存储和海量数据分析
数据量越来越大，海量数据的存储
解决了数据的计算：分而治之
- Hdoop和大数据的关系
大数据平台是：Apache开发的的分布式系统，是java 、语言写的，分布式平台，适合海量数据分布式存储和计算的平台
总结：大数据是时代发展的产物，而Hadoop是一种处理大数据的技术手段。
- 大数据4V特性
规模性（Volume） 海量数据
高速性（Velocity） 要求速度快
多样性（Veriety）(数据多种多样，结构化数据（mysql sqlserver） 半结构化数据（HTML,XML,JSON）,非结构化数据（视频，音频，图片，PPT）)
价值性（Value）有用的价值密度低，海量数据里有价值的数据是有限的。
二、Google三驾马车:
1、GFS--- 2003年10月份发表了一篇论文--------HDFS
2、MapReduce----2004年12月5日发表的论文《MapReduce：超大集群的简单数据处理》--MapReduce
3、BigTable，-----2006年11月6—8日发表了论文《BigTable：结构化数据的分布式存储系统》----Hbase
- Hadoop的核心组件
HDFS:（Hadoop Distributed File System）分布式文件系统，主要用于：海量数据的存储，量数据思想--------Doug Cutting 道格卡廷---------HDFS(开源)
MapReduce:是一种编程模型，主要用于用于大规模数据集（大于1TB）的并行运算
Yarn:（Yet Another Resource Negotiator，）另一种资源协调者
四、Hadoop几个方面的特征：
- 高扩展性：横向扩展集群机器数量
- 高容错性：副本机制，数据按block进行存储，每个block都自动保存多个副本，保证数据不丢失
- 成本低：普通机器，总计个数多，处理数据
- 高效率：Hadoop通过分发数据，在数据所在的结点上并行处理，处理速度快
- 高可靠性，自动维护数据的多个副本，任务失败后，自动重新计算。
- 发展历史
2002-Apache Nutch(爬虫)-------2004 NDFS(是HDFS的前身)--------
2004—MapReduce论文 --------2005产生开源的MapReduce
2006年 MapReduce和HDFS独立出来，----------Hadoop
2008年 Hadoop正式成为Apache项级项目。
- 几个版本
第一代 0.2x------1.0x 稳定版，而0.21x和0.22x ，增加了NameNode HA特性。
第二代 0.23x------2.0x 加了HDFS Federation(联邦机制)和YARN
