所涉及的资料量规模巨大到无法透过主流软件工具,在合理时间内达到撷(xie)取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
研究机构Gartner对大数据的定义——“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
麦肯锡全球研究所对大数据的定义——一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征
特点IBM提出5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)
关键技术大数据处理在于数据采集、数据存储与管理、数据处理与分析、数据隐私与安全。现阶段限制大数据发展的关键技术主要是数据存储与管理、数据处理与分析,而分布式存储、分布式处理是解决数据存储与管理、数据处理与分析的核心技术。
技术工具分布式存储和分布式处理的主要技术工具是大规模并行处理(MPP)、数据挖掘、分布式文件系统、分布式数据库、分布式并行处理技术、云计算平台、互联网和可扩展的存储系统等。
趋势一、数据的资源化
二、与云计算的深度结合
三、科学理论的突破
四、数据科学和数据联盟的成立
五、数据泄露泛滥
六、数据管理成为核心竞争力
七、数据质量是BI(商业智能)成功的关键
八、数据生态系统复合化程度加强
影响全样而非抽样
效率而非精确
相关而非因果
大数据、物联网、云计算的关系物联网技术无时无刻都在产生数据,推动了数据增长,包括结构化和非结构化数据。物联网技术造成了大数据的爆发。
云计算是解决大数据的数据存储与管理、数据处理与分析技术产物,主要解决了两个问题:
1、分布式存储、分布式处理
2、虚拟化、多租户
大数据产品应用| 大数据计算模式 | 解决问题 | 代表产品 |
| 批处理计算 | 针对大规模数据的批量处理 | MapReduce、Spark等 |
| 流计算 | 针对流数据的实时计算 | Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等 |
| 图计算 | 针对大规模图结构数据的处理 | Pregel、GraphX、Graph、PowerGraph、Hama、GoldenOrb等 |
| 查询分析计算 | 大规模数据的存储管理和查询分析 | Dremel、Hive、Cassandra、Impala等 |
政务云:部署容灾备份、城市管理、智能交通等应用,通过集约化建设、管理和运行,可以实现信息资源整合和政务资源共享,推动政务管理创新,加快向服务型政府转型。
教育云:可以有效整合幼儿园教育、中小学教育、高等教育以及继续教育等优质教育资源,逐步实现教育信息共享、教育资源共享及教育资源深度挖掘等目标。
中小企业云:让企业以低廉的成本建立财务、供应链、客户关系等管理应用系统,大大降低企业信息化门槛,迅速提升企业信息化水平,增强企业市场竞争力。
医疗云:推动医院与医院、医院与社区、医院与急救中心、医院与家庭之间的服务共享,并形成一套全新的医疗健康服务系统,从而有效地提高医疗保健的质量。
知识拓展OLTP(On-Line Transaction Processing):在线事务处理/联机事务处理,是传统关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。
OLAP(On-Line Analytical Processing):在线分析处理/联机分析处理,是数据仓库的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。MPP
数据单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB



