栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

云计算与大数据技术应用 第二章

云计算与大数据技术应用 第二章

大数据的定义:
在一定时间范围内用常规软件工具进行捕捉,管理和处理数据集合。
经典案例:1.啤酒和尿布
                  2.谷歌和流感
大数据的范围:采集、储存、搜索、共享、传输、分析和可视化
内存:运行速度
储存:储存容量
海量数据产生:(1)来自大人群互联网
                         (2)来自大量传感器机械
                         (3)科学研究及行业多结构专业数据
1887年—1890年:电功器
19444年:预见大数据
1997年:用大数据描述超级计算机产生的大量信息
2003—2006年:谷歌提出大数据可重用方案
2008年:提出大数据概念
2009年:大数据逐渐走进互联网
2012年:大数据成为一种新的资产类别
2013年大数据元年

1zb=10亿TB
各数据量单位:KB>MB>GB>TB>PB>EB>ZB>YB>NB>DB
单位以PB衡量的数据可成为大数据
1位(二进制0或1)
1字节(8位)——1个英文字母或二进制8位数
1文字=2字节=16位

第四范式
第一范式(实验)→第二范式(理论)→第三范式(计算)→第四范式(数据)

大数据的特征
大量化:存储量大、增量大
多样化:来源多(搜索引擎、社交网络)格式多(结构化数据、非结构化数据)
快速化
有价值

大数据的关键技术
1.大数据预处理技术:
数据采集
数据存取
基础架构支持
计算结果展现
2.大数据存储技术:
存储设备能持久可靠的存储数据
提供可伸缩接口
提供高数查询,更新操作
3.大数据分析技术:
数据处理
统计与分析
数据挖掘
模型预测
4.大数据计算技术

大数据的典型计算架构
Hadoop→处理本地数据
spark→收集并更新
storm→延迟毫秒级

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/700514.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号