一、HCIA存储技术趋势与智能存储组件 1、存储技术趋势 1.1 数据与信息提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档
什么是数据？
数据是对所有事物的数字表示。
数据的种类
①结构化数据
②半结构化数据
③非结构化数据
数据的处理周期
数据处理是人或机器对数据进行的重组或重新排序，以增加其特定的价值。数据处理包括以下基本步骤：
什么是信息？
信息是已经被处理、具有逻辑关系的数据，是对数据的解释。
信息是经过处理的数据，其中包括具有上下文，相关性和目的的数据。
数据与信息的关系
数据经过加工处理之后，能够成为信息；而信息需要经过数字化转变成数据才能存储和传输。
信息生命周期管理
ILM(Information life cycle managment，信息生命周期管理)是指从信息产生和初始储存阶段到最后过时被删除时的一套综合管理方法。
什么是数据存储？
数据存储系统
存储的物理结构
数据存储分类
数据管理技术的演变
数据存储的应用
存储架构历程
从硬盘到磁盘阵列
从分离到融合
分布式存储
通过软件将物理资源组织起来构成高性能逻辑存储池，在保证可靠性的同时提供多种存储服务。
一般而言，分布式存储是将数据分散存储在多台独立的设备上，采用可扩展的系统结构、利用多台存储服务器分担存储负荷、利用位置服务器定位存储信息。
存储虚拟化
存储虚拟化可以将存储设备进行抽象，以逻辑资源的方式呈现，统一提供全面的存储服务。
可以在不同的存储形态或设备类型之间提供统一的功能。
云存储
云存储系统是一个多存储设备、多应用、多服务协同工作的集合体，它使用高度虚拟化的多租户基础设施为企业提供可扩展的存储资源，可以根据组织的要求动态配置。
机械硬盘发展简史
容量越来越大，体积越开越小
固态硬盘发展简史
闪存介质发展
接口协议
接口协议指的是需要进行信息交换的接口间需要遵从的通信方式和要求。
硬盘接口是硬盘与主机系统间的连接部件。
接口协议发展简史
NVMe与NVMe-oF
NVMe,Non-Volatile Memory Express
提升性能
降低时延
NVMe-oF,NVMe over Fabrics
潜力：低延迟，高带宽
目的：加速服务器主机和目标存储设备之间的数据传输
存储产品发展历程
智能时代来临
蒸汽时代——>电气时代——>信息时代——>智能时代
智能时代对数据存储的新要求
智能时代数据存储的特征
数据存储发展趋势
存储介质发展趋势
DNA存储
DNA作为存储介质的优势：
体积小；
密度大；
稳定性强。
现阶段的瓶颈与局限：
DNA分子合成成本高；
读取和搜索数据的效率不高。
原子存储
因原子足够小，原子存储器的单位体积容量也会比现有介质更大。
随着科技的发展，有序排列原子成为了现实。
现阶段的瓶颈与局限：
原子存储器对运行环境要求严苛
量子存储
量子存储器难以同时满足的条件：
高存储效率；
低噪音；
长寿命；
室温下使用。
存储网络发展趋势
华为存储产品发展历程
智能数据存储架构
智能存储组件分为控制框、硬盘框、级联模块、硬盘、接口模块等五个组件。
2.1 控制框控制框采用部件模块化设计，主要由系统插框、控制器（内含风扇模块）、BBU模块、电源模块、管理模块和接口模块等组成。
控制框正视图详解
是全新一代中端混合闪存存储系统，为企业提供稳定可靠，融合高效的数据服务。
用于连接应用服务器的前端端口接口模块，根据每个接口模块能够访问的控制器的数目的不同，分为共享接口模块与非共享接口模块。
控制器，Ctrl ：存储系统中承载业务处理的核心模块
BBU模块，能够在系统外部供电失效的情况下，提供后备电源支持，以保证存储阵列中业务数据的安全性
电源模块，PSU(Power supply Unit)电源模块为交流电源模块，支持控制框在最大功耗模式下正常运行
笔记本电源模式 接入电源后 最大功率模式
管理模块：主要提供管理接口，包括管理网口、串口、维护网口
接口模块：IM ，承载业务或管理接口的现场科更换模块
控制器是设备中的核心部件，主要负责处理存储业务、接收用户的配置管理命令、_保存配置信息、接入硬盘和保存关键信息到保险箱硬盘。
BBU模块和风扇模块
硬盘框采用部件模块化设计，主要由系统插框、级联模块、电源模块和硬盘模块等组成。
系统插框：通过背板为各种接口模块提供可靠的连接，实现各个模块之间的信号互连与电源互连。
级联模块：通过级联端口来级联控制框和其他硬盘框，实现与控制框和其他硬盘框的通信，是控制框与硬盘框之间、硬盘框与硬盘框之间进行数据传输的连接点。
电源模块：可以支持硬盘框在最大功耗模式下正常运行。
硬盘模块：为存储系统提供存储容量，可作为系统保险箱，并且可以实现业务数据、系统数据和缓存数据的存储作用。
硬盘框正视图
每个级联模块提供1个级联端口“P0”和1个级联端口“P1”。级联模块通过级联端口来级联控制框或硬盘框，实现与控制框或硬盘框的通信，是控制框与硬盘框之间进行数据传输的连接点。
华为CloudEngine 系列盒式交换机是面向数据中心推出的新一代高性能、高密度、低时延以太网交换机，采用灵活的前后/后前风道设计，可以应用于IP SAN组网，分布式存储组网场景。
光纤交换机是一种高速的网络传输中继设备，它较普通交换机而言采用了光纤电缆作为传输介质。光纤传输的优点是速度快、抗干扰能力强，可应用于FC SAN组网场景。
串口线缆用来连接设备的系统串口到维护终端。
硬盘分为机械硬盘和固态硬盘。
2.5.1 机械硬盘机械硬盘的结构大致包括：盘片、磁头臂、读/写磁头、主轴、硬盘接口和控制电路等。
工作原理
硬盘容量和缓存
硬盘容量
硬盘容量=柱面数磁头数扇区数*扇区大小，单位为MB或GB，影响硬盘容量的因素有单
碟容量和碟片数量。 缓存（Cache） 由于CPU和硬盘之间存在巨大的速度差异，为解决硬盘在读写数据时CPU的等待问题，在硬盘上设置适当的高速缓存，以解决二者之间速度不匹配的问题，硬盘缓存与CPU上的高速缓存作用一样，是为了提高硬盘的读写速度。
影响硬盘性能的因素
单碟容量是影响硬盘连续IO时吞吐量性能的首要因素。
转速是影响硬盘随机IO性能的首要因素。
寻道速度是影响硬盘性能的一个间接因素。
接口速度是影响硬盘性能的一个最不重要的因素。
固态硬盘概述
相对于HDD而言，固态硬盘SSD在性能、可靠性、能耗、轻便性方面有着绝对的优势，目前已经在各领域得到广泛应用。
SSD特点：
使用flash技术存储信息，数据传输速度比HDD快
内部没有机械结构因此耗电量更小、散热小、噪音小
SSD盘使用寿命受擦写次数影响
CPU的虚拟化技术是一种硬件方案，支持虚拟技术的CPU带有特别优化过的指令集来控制虚拟过程，通过这些指令集，VMM会很容易提高性能。
1.1.2 服务器虚拟化服务器虚拟化能够通过区分资源的优先次序，并随时随地将服务器资源分配给最需要它们的工作负载来简化管理和提高效率，从而减少为单个工作负载峰值而储备的资源。
1.1.3 存储虚拟化虚拟存储设备需要通过大规模的raid子系统和多个I/O通道连接到服务器上，智能控制器提供LUN访问控制、缓存和其他如数据复制等管理功能。
1.1.4 网络虚拟化网络虚拟化整合后的设备组成了一个逻辑单元，在网络中表现为一个网元节点，管理简单化、配置简单化、可跨设备链路聚合，极大简化网络架构，同时进一步增强冗余可靠性。
1.1.5 应用虚拟化应用虚拟化通常包括两层含义，一是应用软件的虚拟化，一是桌面的虚拟化。
1.2、XEN虚拟化技术的优缺点 1.2.1 优点- Xen构建于开源的虚拟机管理程序上，结合使用半虚拟化和硬件协助的虚拟化。操作系统与虚拟化平台之间的这种协作支持开发一个较简单的虚拟机管理程序来提供高度优化的性能。
- Xen提供了复杂的工作负载均衡功能，可捕获CPU、内存、磁盘I/O和网络I/O数据，它提供了两种优化模式：一种针对性能，另一种针对密度。
- Xen利用一种名为Citrix Storage Link 的独特的存储集成功能。使用Citrix Storage Link，系统管理员可直接利用来自HP、Dell Equal Logic、NetApp、EMC等公司的存储产品。
- Xen包含多核处理器支持、实时迁移、物理服务器到虚拟机转换（P2V）和虚拟到虚拟转换（V2V）工具。集中化的多服务器管理、实时性能监控，以及Windows和Linux的快速性能。
- Xen会占用相对较大的空间，且依赖于0号虚拟机中的Linux操作系统。
- Xen依靠第三方解决方案来管理硬件设备驱动程序、存储、备份和恢复，以及容错任何具有高I/O速率的操作或任何会吞噬资源的操作都会使Xen陷入困境，使其他虚拟机缺乏资源。
- Xen缺少802.1Q 虚拟局域网（VLAN）中继，出于安全考虑，它没有提供目录服务集成、基于角色的访问控制、安全日志记录和审计或管理操作。
- Xen目前最大的困难在于Linux内核社区的抵制，导致XEN相关的内核改动一直不能顺利进入内核源代码，从而无法及时得到内核最新开发成果的支持。
-
内存管理
KVM 从 LinuX继承了强大的内存管理功能。一个虚拟机的内存与任何其他 Linux 进程的内存一样进行存储，可以以大页面的形式进行交换以实现更高的性能，也可以以硬盘文件的形式进行共享。Numa支持（非一致性内存访问，针对多处理器的内存设计）允许虚拟机有效地访问大量内存。 -
存储
KVM 能够使用 Linux 支持的任何存储方式来存储虚拟机镜像，包括具有 IDE、SCSI和 SATA的本地硬盘,网络附加存储(NAS )(包括 NFS 和 SAMBA/CIFS),或者支持 ISCSI和光纤通道的 SAN。多路径 VO 可用于改进存储吞吐量和提供冗余。由于KVM 是 Linux 内核的一部分，它可以利用所有领先存储供应商都支持的一种成熟且可靠的存储基础架构,它的存储堆栈在生产部署方面具有良好的记录。 -
设备驱动程序
KVM 支持混合虚拟化，其中准虚拟化的驱动程序安装在客户机操作系统中，允许虚拟机使用优化的I/O 接口而不使用模拟的设备，从而为网络和块设备提供高性能的 VO。KVM 准虚拟化的驱动程序使用 IBM和 Red Hat 联合 Linux 社区开发的 Virtio 标准，它是一个与虚拟机管理程序独立的、构建设备驱动程序的接口，允许为多个虚拟机管理程序使用一组相同的设备驱动程序，能够实现更出色的虚拟机交互。 -
Linux 的性能和可伸缩性
KVM 也继承了 Linux 的性能和可伸缩性。KVM 虚拟化性能在很多方面（如计算能力、网络带宽等）已经可以达到非虚拟化原生环境 95%以上的性能。KVM 的扩展性也非常好，客户机和宿主机都可以支持非常多的 CPU 数量和非常大的内存。例如，Red Hat 官方文档就介绍过，RHEL 6.×系统中的一个KVM 客户机可以支持 160 个虚拟 CPU 和高达 2Tb的内存，KVM 宿主机支持4096 个CPU 核心和高达 64Tb 的内存。
- 开源 KVM 一个开源项目，这就决定了KVM一直是开放的姿态，许多虚拟化的新技术都是首先在KVM上应用，再到其他虚拟化引擎上推广。
- 性能 KVM吸引许多人使用的一个动因就是性能，在同样的硬件条件下，能提供更好的虚拟机性能，主要是因为KVM架构简单，代码只有2万行，一开始就支持硬件虚拟化，这些技术特点保证了KVM的性能。
- 免费 KVM因为是开源项目，绝大部分KVM的解决方案都是免费方案，随着KVM的发展，KVM虚拟机越来越稳定，兼容性也越来越好，因而也就得到越来越多的应用。
- 技术支持 免费并不意味着KVM没有技术支持。在KVM的开源社区，数量巨大的KVM技术支持者都可以提供KVM技术支持。另外，如果需要商业级支持，也可以购买红帽公司的服务。
KVM可以运行在不支持虚拟化的CPU硬件上，但是在这样的话，效率会很低；KVM也可能会和虚拟机virtualbox冲突； KVM只是提供命令行接口，用户可以写脚本来管理KVM，并没有一个友好的GUI。
1.4、红帽RHEV技术功能特性及优缺点 1.4.1 功能特性1.在线迁移；
2.高可用；
3.系统计划调度；
4.电源管理；
5.模板管理；
6.快照。
1.性能和可扩展性：为实现企业级的虚拟化应用程序，如Oracle、SAP和MicrosoftExchange，为其提供领先的性能和可扩展性。
2.安全性：业界领先的安全性，在安全增强型红帽企业Linux内核基础上构建。
3.企业功能：业虚拟化管理功能，包括实时迁移、高可用性、负载均衡、节能等。
4.灵活性：通过消除桌面操作系统和基础硬件之间的依赖性，实现业务灵活性和连续性。
5.成本优势：与其他解决方案相比较，凭借红帽软件订阅模式的强大功能，能够以更低的购置和总拥有成本获得相同或更好的功能集，从而获得收益。
1.技术不成熟：KVM的出现不过三四年时间，在可用资源、平台支持、管理工具、实施经验方面当然不能与出现8年之久的Xen相比。
2.需要Windows支持；KVM3.0之前的RHEV-M管理程序需要Windows支持，这是KVM在部署过程中最大的障碍，RedHat公司已经意识到这个问题的严重性，从KVM3.0开始，开发出基于Linux的RHEV-M，取消了其只能运行于Windows服务器上的尴尬，这一改动得到大量Linux用户的支持。
3.管理的物理服务器数量少，每台M端只能管理500台以内的H端服务器。
-
VMware Workstation VMware Workstation是VMware公司销售的运行于台式机和工作站上的虚拟化软件，也是VMware公司第一个面市的产品（1999年5月）。该产品最早采用了VMware在业界知名的二进制翻译技术，在x86CPU硬件虚拟化技术还未出现之前，为客户提供了纯粹的基于软件的全虚拟化解决方案。
-
VMware ESX Server ESX服务器（一种能直接在硬件上运行的企业级的虚拟平台），虚拟的SMP，它能让一个虚拟机同时使用四个物理处理器，和VMFS一样，它能使多个ESX服务器分享块存储器。
-
Virtual Box Oracle VirtualBox是由德国InnoTek软件公司出品的虚拟机软件，现在由甲骨文公司进行开发，是甲骨文公司xVM虚拟化平台技术的一部分。它提供使用者在32位或64位的Windows、Solaris及Linux操作系统上虚拟其他X86的操作系统。使用者可以在VirtualBox上安装并执行Solaris、Windows、DOS、Linux、OS/2Warp、OpenBSD及FreeBSD等操作系统作为客户端操作系统。最新的VirtualBox还支持运行Android4.0系统。
-
Hyper-V Hyper-V是微软提出的一种系统管理程序虚拟化技术。Hyper-V设计的目的是为广泛的用户提供更为熟悉及成本效益更高的虚拟化基础设施软件，这样可以降低运作成本、提高硬件利用率、优化基础设施并提高服务器的可用性。
用户模式的Qemu利用LibKVM 通过loctl进入内核模式，KVM 模块为虚拟机创建虚拟内存，虚拟CPU后执行VmLaunch指令进入客户模式。加载GbuestOS并执行。如果GuestOS 发生外部中断或者影子页表缺页等情况，则GuestOS的执行会被暂停，并退出客户模式，执行异常处理，之后重新进入客户模式，执行客户代码。如果发生//O事件或者者信号队列中有信号到达，就会进入用户模式处理。
KVM 切换器的主要目的是让同一组KVM操作台司可以连接到多台设备，这可以让使用者从操作台访问及控制许多台计算机或服务器。能够选择性地从自己已的KVM操作台控制一个或另一个设备。大多数企业都需要服务器来执行幕后的工作以协助企业顺畅运运作。
从虚拟机的基本架构上来分析，虚拟机一般分为两种，分别称为类型一和类型二。
其中，类型一虚拟机是在系统上电之后首先加载运行虚拟机监控程序，而传统的操作系统则是运行在其创建的虚拟机中。类型一的虚拟机监控程序，从某种意义上说，可以视为一个特别为虚拟机而优化裁剪的操作系统内核。因为，虚拟机监控程序作为运行在底层的软件层，必须实现诸如系统的初始化。物理资源的管理等操作系统的职能;它对虚拟机的创建、调度和管理，与操作系统对进程的创建、调度和管理有共通之处。这一类的虚拟机监控程序一般会提供一个具有一定特权的特殊虚拟机，由这个特殊虚拟机来运行需要提供给用户日常操作和管理使用的操作系统 环境。著名的开源虚拟化软件Xen、商业软件VMware ESX/ESXI和微软的Hyper-V就是类型一虚 拟机的代表与类型一虚拟机的方式不同，类型二虚拟机监控程序在系统上电之后仍然运行一般意义上的操作系统(也就是俗称的宿主机操作系统)虚拟机监控程序作为特殊的应用程序，可以视作操作系统功能的扩展，类型二虚拟机最大的优势在于可以充分利用现有的操作系统。因为虚拟机监控程序通常不必自己实现视理资源的管理和调度算法，所以实现起来比较简洁。但是，这一类型的虚拟机监控程序既然依赖操作系统来实现管理和调度。就同样也会受到宿主操作系统的一些限制。例如，通常无法仅仅为了虚拟化的优化而对操作系统做出修改。本书介绍的KVM就属于类型二的虚拟机，另外，VMware Workstation. nuaBox 也属于类型二虚拟机。
KVM 模块是KVM 虚拟机的核心部分。其主要功能是初始化CPU硬件，打开虚拟化模式，然后将虚拟客户机运行在虚拟机模式下，并对虚拟客户机的运行提供一定的支持。
为了软件的简洁性并保证其性能，KVM 仅支持硬件虚拟化。打开并初始化系统硬件以支持虚拟机的运行，是KVM模块的职责所在。以KVM在Intel公司CPU上的运行为例，在被内核加载的时候， KVM模块会先初始化内部的数据结构;做好准备之后，KVM模块检测系统当前的CPU，然后打开 CPU控制寄存器CR4中的虚拟化模式开关，并通过执行vmxon指令将宿主操作系统(包括KVM模块本身)置于虚拟化模式中的根模式;最后，KVM模块创建特殊设备文件/dev/kvm并等待来自用户空间的命令。接下来，虚拟机的创建和运行将是一个用户空间的应用程序(Qemu)和KVM 模块相互配合的过程。
