大数据技术原理与应用
学习内容：
- 大数据概述
1.1大数据时代1.2大数据的概念和影响1.3大数据的应用1.4大数据的关键技术1.5大数据与云计算、物联网的关系
学习时间：
2022/03/10
学习产出：
1.1大数据时代
信息化浪潮
信息化浪潮/发生时间/标志/解决问题/代表企业
第一次/1980年前后/个人计算机/信息处理/InterIBM苹果微软
第二次/1995年前后/互联网/信息传输/ 雅虎谷歌阿里巴巴百度
第三次/2010年前后/物联网、云计算和大数据/信息爆炸/新的市场标杆企业
技术支撑：
1 存储——存储设备容量不断增加
2 CPU——处理能力大幅度提升
3 网络带宽不断增加
阶段
１ 第一阶段 运营式系统阶段
２ 第二阶段 用户原创内容阶段
３ 第三阶段 感知式系统阶段（物联网的迅速普及）
大数据的发展历程
时间 阶段
上世纪90年代至上世界末期 萌芽期
本世纪前十年 成熟期
2010年以后 大规模应用期
1.2大数据的概念和影响
4V：快速化/多样化/价值密度低/大量化
大数据是有结构化数据和非结构化数据构成
影响：
（１）全样而非抽样
（２）效率而非精确
（３）相关而非因果
1.3大数据的应用
（１）业务流程优化
（２）理解满足客户需求
（３）金融交易
（４）实时掌控交通情况改善日常生活
（５）研发智能汽车、医疗方面
案例：美国传统流感预测、影视投资等等
1.4大数据关键技术
大数据技术层次：
（１）数据采集
（２）数据存储与管理
（３）数据处理与分析
（４）数据隐私与安全
两大核心技术：
（１）分布式存储
（２）分布式处理
大数据典型的计算模式：
批处理计算（针对大规模数据的批量计算，代表产品：MapReduce/Spark）、流计算（针对流数据的实时计算，代表产品：Strom/S4/Flume/银河流）、图计算（针对大规模图结构数据的处理，代表产品：Pregel/GraphX/PowerGraph/Hama）、查询分析计算（大规模数据的存储管理和查询分析，代表产品：Dremel/Hive/Impala等）
1.５大数据与云计算、物联网的关系
1.5.1云计算
解决两个核心问题：分布式存储、分布式计算
典型特征：虚拟化、多租户
定义概念：通过网络以服务的方式为用户提供非常廉价的IT资源
优势：不需要自建IT基础设施
三种云服务：IaaS——基础设施即服务， PaaS——平台即服务，SaaS——软件即服务
云计算关键技术：
虚拟化（Hadoop/Linux/虚拟机/Win/硬件）、分布式存储、分布式计算、多租户（同时为多个用户服务）
云计算典型应用：政务云、教育云、医疗云、中小企业云
1.5.2物联网
定义概念：物物相连的互联网，是互联网的延伸。
层次架构：
感知层（导航定位、摄像头、传感器等等）、网络层（电信网、互联网、广电网、专用网等等）、处理层（服务支撑平台、网络管理平台、信息处理平台、信息安全平台）、应用层（智能交通、智能家具、智慧医疗等等）
典型的物联网应用：掌上智能公交、智慧城市
物联网关键技术：识别技术、感知技术（RFID）
物联网的应用：智能工业、智能交通、健康医疗、智能家居、环保监测、智能安防、智慧农业等等
总结：
云计算为大数据提供技术基础，大数据为云计算提供用武之地；
云计算为物联网提供海量数据存储能力，物联网为云计算技术提供了广阔的应用空间；
物联网是大数据的重要来源，大数据技术为物联网数据分析提供支撑；
