目录
①大数据(Big Data)与云计算、物联网的相互关系
②介绍Hadoop、MapReduce、HDFS和Hbase以及其他功能组 件,复习重点以及其他可用点!
一 大数据介绍
1信息科技为大数据时代提供技术支撑
2数据产生方式的变革促成大数据时代的来临
3大数据特点
4大数据影响
5大数据关键技术
6 大数据产业
7大数据与云计算、物联网的关系
二 Hadoop
①大数据(Big Data)与云计算、物联网的相互关系
②介绍Hadoop、MapReduce、HDFS和Hbase以及其他功能组 件,复习重点以及其他可用点!
三次信息化浪潮
一 大数据介绍
1信息科技为大数据时代提供技术支撑
☺存储设备容量不断增加
☺CPU处理能力大幅提升
☺网络带宽不断增加
2数据产生方式的变革促成大数据时代的来临
·运营式系统阶段
·拥护原创内容阶段
·感知式系统阶段
3大数据特点
①数据量大
②数据类型繁多
③处理速度快
④价值密度低
4大数据影响
四种范式:
实验科学 理论科学 计算科学 数据密集型科学
5大数据关键技术
层面分为:
数据采集与预处理
数据存储和管理
数据处理与分析
数据安全与隐私保护
数据计算模式分为:
批处理计算 MapReduce Spark
图计算 百度的DStream 淘宝的银河流数据处理平台
图计算 Pregel
查询分析计算 Impala
6 大数据产业
IT基础建设层
数据源层
数据管理层
数据分析层
数据平台层
数据应用层
7大数据与云计算、物联网的关系
云计算:虚拟化 分布式存储 分布式计算 多租户
物联网:识别和感知技术 网络与通信技术 数据挖掘和融合技术
二 Hadoop
……



