大数据的定义:在一定时间范围内使用常规软件工具进行捕捉,管理好和处理数据集合
经典案例:
啤酒与尿布
谷歌与流感
大数据的范围;采集,收集,储存,共享,传输,分析和可视化。
内存:运行速度
存储:储存容量
海量数据的产生:(1)来自大人群互联网
(2)来自传感器机器
(3)科学研究及行业多结构专业数据
1887-1890年:电动器
1944年:预见大数据
1997年:用大数据描述超级计算机产生的大量信息
2003-2006年:谷歌提出大数据可重用方案
2008年:提出大数据概念
2009年:大数据逐渐走进互联网
2012年:大数据成为一种新的资产类别
2013年:大数据元年
1.2第四范式实验——理论——计算——数据
大数据的特征:
(1)大量化 :储存量大,增量大
(2)多样化:
来源多: 搜索网络,社交网络
格式多: 结构化数据,非结构化数据
(3)快速化
(4)有价值
企业推动大数据:腾讯,华为,谷歌,ETC,数据库,阿里均使用了大数据
1.3 大数据的关键技术(1) 大数据预处理技术
数据采集
数据存取
基础架构支持
计算结果展现
(2)大数据存储技术
存储设备能持久可靠的存储数据
提供可伸缩接口
提供高效查询,更新等操作
(3)大数据分析技术
数据处理
统计和分析
数据挖掘
模型预测
(4)大数据计算技术
1.4 大数据的典型计算架构Hadoop——处理本地数据库
Spark——收集并更新
Storm——延迟毫秒级
云计算概述
无处不在的云计算:电子日历,地图导航,钉钉
什么是云计算?
像水,电,煤,一样利用你的IT资源 关键词:按需使用,超大规模,高弹性。定义:指按需使用IT资源和应用程序,通过互联网,按使用量计费
四种云
(1)公有云——提供公共的IT资源
缺点:保密性较低
(2)私有云——提供个给政府,学校·等地
优点:保密性高
(3)社区云——研究人员用
(4)混合云——包含以上任意两种
生活中的例子:
1出现论 混合云
2吃饭论 (1)餐厅——公有云
(2)在家做饭——私有云
(3)在家+厨师——混合云
3酒店论 公有云
第二章 2.1云计算的基本特征(1)资源无限量供应
(2)提供自助式服务
(3)远程提供服务
(4)资源可控
(5)按使用量计费
2.2 云计算的发展背景(1)1960年,计算机革命
(2)1990年,互联网革命
1994年,weblo(单向传递)
2004年 ,weblo(双向传递)
(3)2010年,移动互联网革命
2.3 典型的云计算基础架构 2.4 云计算模板下的IT建设特点:
- 开放硬件平台,软件与硬件解耦
- 分布式设计,软件定义储存
- IT建设的传统IOE架构,转向互联网架构
- 集中资源池的共享,虚拟化,分时共享
- 动态调配,弹性收缩,低成本
- 芯片新介质取得突破
优点:省时,省力,省钱,省地,省人,省电
2.5 云计算的特点- 虚拟化技术
- 动态可扩展性
- 按需部署
- 灵活性高
- 可靠性高
- 性价比高
- 地理分布
- 先进安全技术
- 2.6 云计算的主要服务模式
IaaS SaaS PaaS
- IaaS(基础设施即服务) 关键技术:虚拟化技术
- PaaS(平台即服务) 数据库服务,Web应用
特点:
(1)简化开发人员
(2)提供PC端火软件端的开发套件
(3)丰富的开发环境
(4)完全可托管的数据库服务
(5)可配置的应用程序的构建
(6)支持多语言的开发
(7)面向市场
关键技术:分布式并计算,分布式储存
- 3 SaaS(软件即服务) 关键技术:多租户技术
- 4 三种服务的区别
(1)IaaS——最底层
提供基础设施服务
(2)PaaS——提供软件
部署平台
(3)SaaS——拿来即用
第三章 虚拟化技术 3.1什么是虚拟化?作为一种计算机资源管理,将各种的IT资源实体资源抽象化为了另一种形式的技术
3.2云计算与虚拟化有什么关系?云计算1.0——以虚拟化为核心
云计算2.0——以资源为核心
云计算3.0——以应用为核心
云计算是一种服务
虚拟化是一种技术基础
3.3 物理机{ 操作系统(Host Os)硬件(Host Machine)}
虚拟机
操作系统(Guest Os)
虚拟机( Guest Matchine)
VMM(虚拟键监控器)
硬件(Host Machine)
3.4 虚拟化的特点1 分区——可分为多个虚拟机
2 隔离——虚拟机与虚拟机之间
3 封装——独立的文件夹形式
4 相对于硬件独立——屏蔽底层硬件不兼容的问题
3.5 虚拟化类型(1)寄居虚拟化:在主操作系统上安装和运行一个程序 VMware
特点
- 简单易于实现
- 安装和运行应用程序时,依赖于主操作系统对设备的支持
- 有两层Os,管理开销大,性能损耗大
- 虚拟机对各种物理主机的调用都是通过虚拟化层和宿主一起调用完成的
(2)裸金属虚拟化——在硬件部署虚拟化层
特点:
- 不依赖于操作系统
- 支持多种操作系统
- 依赖虚拟层内核和服务控制台进行管理
- 需要对虚拟化层进行内核开发
(3)混合云虚拟化——插入内核模块
特点:
- 相对于寄居虚拟化性能高
- 相对于裸金属虚拟化不需要内核开发
- 支持多种操作系统
- 需要底层硬件支持
(1)全虚拟化:即所抽象的VM具有完全的物理特性,虚拟化层负责捕捉cpu指令,为指令访问硬件充当媒介
特点:Os无需修改,速度和功能比较好使用非常简单,移植性好
(2)半虚拟化
特点:架构更简单,对Os进行修改用户体验比较麻烦,速度上占有一定优势
(3)硬件辅助虚拟化
3.7 虚拟化技术的优势与劣势优势:
- 减少物理资源的投入,节约成本
- 虚拟数据资源迁移方便
- 提高物理资源的利用率
- 更加环保,节省能源
- 易于自动化维护与操作,减少维护成本
- 数据安全更有保障
劣势:
- 目前业界没有统一的虚拟技术标准与平台,没有开放的协议
- 如果没有对数据进行备份,应用虚拟化会存在一定的安全隐患
- 虚拟数据中心的迁移特别是对在线服务的迁移,对用户影响巨大
KVM 全虚拟化,内置在内核中,便于版本的安装,升级和维护
Xen 半虚拟化,需要修该内核,版本更新重新编辑整个内核,隔离好
第四章 数据中心 4.1数据中心的概念数据中心,顾名思义就是数据的中心,是处理和存储海量数据的地方,英文全称为Data Center。用专业的名词解释,数据中心是全球协作的特定设备网络,用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。
4.2数据中心的定义,作用,及分类数据中心的定义
数据中心是全球协作的特定设备网络,用来在因特网络基础设施上传递、加速、展示、计算、存储数据信息。数据中心大部分电子元件都是由低直流电源驱动运行的
数据中心的作用
随着数据中心行业在全球的蓬勃发展,随着社会经济的快速增长,数据中心的发展建设将处于高速时期,再加上各地政府部门给予新兴产业的大力扶持,都为数据中心行业的发展带来了很大的优势。
数据中心的分类
数据中心的发展历程
巨型机时代
具有很强的计算和处理数据的能力,主要特点表现为高速度和大容量,配有多种外部和外围设备及丰富的、bai高功能的软件系统。 在一定时期内速度最快、性能最高、体积最大、耗资最多的计算机系统
PC时代
PC时代说的bai是电脑、平板、手机甚至智能电视等duIT设备都zhi同时使用一个统一的操作系统的时代
云计算大数据时代
全球知名咨询公司麦肯锡最早提出“大数据”时代的到来,麦肯锡称:“数据,已经深入到当今各行各业的职能领域,是重要的生产因素。人们不断对海量数据的挖掘和运用,意味着生产率增长和消费者盈余会成为新一波的浪潮。” 其在生物学、物理学、环境生态学等领域及军事、金融、通讯等行业也存在很久了,在近年来互联网和信息行业的发展才开始受人们关注。
塔式服务器
塔式服务器一般是大家见得最多的,它的外形及结构都与普通的PC机差不多,只是个头稍大一些,其外形尺寸并无统一标准。由于塔式服务器的机箱比较大,服务器的配置也可以很高,冗余扩展更可以很齐备,所以它的应用范围非常广,应该说目前使用率最高的一种服务器就是塔式服务器。我们平时常说的通用服务器一般都是塔式服务器,它可以集多种常见的服务应用于一身,不管是速度应用还是存储应用都可以使用塔式服务器来解决
机架式服务器
对于信息服务企业(如ISP/ICP/ISV/IDC)而言,选择服务器时首先要考虑服务器的体积、功耗、发热量等物理参数,因为信息服务企业通常使用大型专用机房统一部署和管理大量的服务器资源,机房通常设有严密的保安措施、良好的冷却系统、多重备份的供电系统,其机房的造价相当昂贵
DT时代互联网的发展,直接把人类带入一个信息爆炸的时代。海量的数据改变了传统商业、科学研究以及日常生活的方方面面。而随着互联网特别是移动互联网的兴起,数据中心也成为了一个非常热门的概念。不管是通信行业、金融行业、IT行业、政府部门,数据中心这四个字都随处可见。



