UCS（统一计算系统）[1]

服务器的发展趋势
可扩展性：服务器的革新

scale up庞大服务器
scale out 普通服务器 服务器利用效率低
scale in 刀片式服务器 管理复杂 可扩展性有限

CPU和内存扩展性问题
单核CPU（CPU瓶颈）->多核CPU（CPU利用率低）->多核虚拟化环境（内存是瓶颈）

硬件迁移问题
服务器管理问题

UCS：存储相关 网络相关

刀片式服务器优点：
1.省电
2.制冷节约
3.减少了冗余设备的投资
4.共享交换，降低接线的复杂度
5.快速的硬件供给

刀片服务器的缺陷：
1.增加物理的密度，也增加了电力和制冷的挑战
2.增加了计算的密度，也增加了带宽和接线的需求
3.每一个机架和它的本地交换机增加了额外的管理点

服务器的革命UCS
机架式部署
-优化塔式服务器
-ToR或EoR交换机布线
好处
-提高空间利用率
-增加部署灵活性
缺点：
-布线
-供电效率
-供冷效率

ToR:Top of Row 优点：机架间的线较为简单 缺点：每一个sw都需要一个IP地址，网管难度大

EoR:End of Row 优点：网管简单 缺点：机架间的线过多过于复杂

cisco Fex（一个模块） 融合了tor和eor的优点
服务器接入Fex，Fex注册到SW 管理只要登录SW就可以一起管理
SW有5k 6k 7k 9k FI


刀片式服务器
-集成交换机
-背板连接
好处
-空间利用率提高（半宽）
-连线聚合
-电源效率提升
缺点
-I/0灵活性（没有物理网卡）
-管理问题

机箱管理
- 增加管理层设备
好处
- 保持机箱内一致性
- 共享机箱的基础设施
缺点
- 增加管理开支成本
- 需要机箱汇聚管理

应用部署
-每个OS单一应用
好处
- 独立
- 简单
- 方便
缺点
- 效率低
- 电源、制冷
- 设备数量大幅增长

服务器部署虚拟化

1000v实现虚拟有效的被管理 安全性
专门为数据中心设立的UCS
- 内嵌管理器
- 采用统一交换网络
- 优化服务器虚拟化特征
- 去除不必要的设备
- 交换机
- 适配器
- 管理模块
-减少1/3-1/2基础设施，完成相同工作

两FI

一个单一的系统整合了：
网络：统一交换
存储：多种连接方式
经优化的虚拟化
成本减少：管理设备、服务器、交换机、布线
统一管理 动态资源部署

UCS的优势
去除了不必要的设备，实现以太网交换机、存储交换机和管理模块

重要革新之一：嵌入式管理
不需要单独的管理服务器，内建管理处理器

重要革新之二：统一的Fabric（统一交换矩阵）

实现融合网络
省钱

重要革新之三 优化的虚拟环境


vic可编程硬件，可虚拟出来很多（256）网卡，性能就像硬件一样
革新之四 内存扩展
革新之五 无状态服务器

无状态=除了硬件以外里面啥都没有 开机开不了 得先定义service profile
如果这个服务器坏了 直接关掉 插到另一个服务器 再调用service profile又好使了

革新之六 混合服务器

一 、UCS组件
UCS E系列 又有路由器 又有服务器
UCS B系列整体架构

FI（内嵌UCS manager网管软件）
Fex（B系列嵌到里面，C系列正常Fex）
机箱（半宽 全宽 高性能）
CPU
内存

C系列机架可以独立使用 也可以这样子通过2232pp（也是一个Fex)串到FI上，对两个进行同时管理。

chassis 机框
Expansion slots 扩展槽 可扩展16个UP（unified port)口
6248UP 1U 32个模块 可扩展
6296UP 2U 最多96个口
口可以是以太网 可以是FC 可以是FCoE（多）
服务器出来必定是汇聚网络
内建中心管理
Nexus os（NX-OS）是交换机的操作系统
支持VM-FEX

FI6120XP支持一个扩展模块 6140XP支持两个扩展模块
6300（UCS mini）

下面四个黑色的是10G的口 旁边的黑色单独一个是40G的口
又能连B又能连C

Fabric Extender(Fex) 必买 考虑冗余买俩

中间不能交叉！

1 2 4 8根可以 其他选项都不行
也不能这样

买几个FI就几个Fex
两个FI是并行工作 数据层面双A 管理层只有一个

FE2104XP 4就是4个10G的上联口 8个连接服务器背板端口 4根上联 1根连服务器 4根下联
FE2204XP 4就是4个10G的上联口 16根10G端口 4根上联 2根连服务器 8根下联
FE2208XP 8就是8个10G的上联口 上联80G 8根上联 4根接服务器 32根下联

UCS 2104XP Fex有3个子系统
1.IO混合单元（The Redwood IO_MUX)
2.机框管理控制器(The Chassis Management Controller(CMC))
3.机框管理交换机(The Chassis Management Switch(CMS))

上图CMC管理芯片里面有flash、内存、简单的CPU
I/O混合芯片（2104为例）4根10G上联 8根10G接服务器 1个10G连到CMS 1个100Mbps连到CMC
CMS有8个100Mbps去往服务器的CIMC（主板上的管理芯片）
100Mbps CIMCs算是带外网管口
这样子连
PC连接FI，FI再连到Fex,Fex再通过IO，再到CMS，再通过100Mbps的带外网管口连接到CMC，CMC再将图形化界面返回给PC

右下角Downlink ports 右上角uplink ports
2104 8 4
2204 16
2208 32

CMC（The Chassis Management Controler)是内置FE的处理器，与CIMC、aka BMC进行交互，管理员不需要直接去管理，而是通过上方的FI就可以实现统一管理
功能：提供整个chassis discovery和management，报告结果给UCS manager，同时为Redwood management software提供platform services
主要功能：提供机框的发现，来了要发现你是什么服务器，然后报告给manager
上连FI下连服务器

CMS就是一个交换机，8个百兆连接服务器的CIMC，1个G连接IO

FI、Fex和Server三者连接关系图

FI里面的Intel Xeon是管理芯片，里面有NXOS（Nexus OS)，UCSM
RS232可以连console口 CLI
连NIC就是图形化界面
FI之间有互联的口 L1 L2 心跳线 L1接L1 L2接L2

为什么是 1 2 4 8 要均分

B系列服务器（Blade Servers:UCS B-Series）

5108机框，简单机框，内部没有交换机（Fex不算内部交换机，因为内部没有交换，只有上去回来）

支持最多8个半宽 四个全宽 支持混合配置
支持4个电源（为了冗余）

支持8个风扇，每一个里边有俩

背面支持插两个2100或者2200系列的FEX模块
cisco所有产品基本都是热插拔，插上电也可以拧开螺丝进行插拔

正常配置



1个Fex只能接1个FI 如上图 左边FEX接左边FI 右边FEX接右边FI

左边的B200是半宽 所以一边一根
右边的B440是全宽 所以一边两根
通过配置来决定虚拟机的卡是走左边还是右边

接线 1 2 4 8

服务器
B22 m3 第3代 B后面的数代表型号 一般定义内存槽位 越大越高级 要看是否nb两个数都要看

CPU E5240 12个槽位

B200 M3

CPU E5260v2 24个槽位 M3往上可插两张卡 M1 M2只能插一张卡

B200 M4

CPU E5240v3 24个槽

B230 m2

CPU E7-2800 32个槽位

B260 M4

一个全宽的 CPU E7v2 48个槽 1.5T内存

B420 M3

B460 M4

两层全宽 E7v2 96个槽 3T内存

Server Adaper网卡
B系列接背板 没有物理口 C系列有物理口
使用VIC的VM-FEX技术

M81 KR

适合M1 M2设备 一边一个10G 虚拟出128个虚拟口

M3之后有两个槽，有一个槽专门为1240而留!
Cisco UCS VIC 1240

4个10G口 256个虚拟接口 IO吞吐量90万IOPS 20 20 加个扩展卡40 40

cisco UCS VIC 1280

相较于1240直接40 40 别的没有区别

CPU使用情况（买一个CPU槽位只能使用一半）

内存插得越多内存主频会下降 有一个专门为1240准备的槽 在下面，叠在上面的可以是扩展卡也可以是1240卡

这个口可以插这根线

可以接很多东西 但是一般通过里面的内接网管来控制

内存位从0开始插 前四个可以插A0 B0 C0 D0
上图7处已经有一个1240 在8的地方可以再扣其他的

vic卡连线

可能性很多

1CPU1VIC1240

只能20 20 因为是1240

1cpu 1vic1240+扩展卡

扩展卡不能算正常卡 只是帮忙串线 40 40 不需要第二个CPU 但只能虚出256个虚拟网卡

1CPU1VIC1240 2204XP只能实现10 10
因为是10G一个口 左边没有卡 有扩展卡的话可以20 20

cisco UCS VIC 1340 与1280最大的区别是可以提供40G 有个槽位专门准备
cisco UCS VIC 1380 与1280最大的区别是可以提供40G

C系列服务器
分为几种
①scale-out（独立安装）

C22 M3 类似B系列的分类
跟B22 M3是一样的配置

C220 M3跟B220 M3差不多
性能也是一样的配置
C24 M3 （主要用于阵列）

C3160（360T 主要用于阵列）

可以买来独立安装一个存储系统 直接做阵列 不一定要EMZ

②Entherprise-Class（企业级）
C220 M3

机架式服务器 跟B220M3差不多
…

C系列VIC卡
C不用买任何卡，B必须配卡 C不一定

两个槽 PCle1(CPU1) 全高（一定要插VIC） PCle2(CPU2)半高

VIC 1225

singleconnect 类似于1240 10 10

cisco UCS VIC 1227

VIC卡的优势在于虚拟化 网管一定要VIC
如果想从FI控制，上联的线必须从VIC卡出，接到FEX，才能从FI进行网管
UCS M系列 模块化Modular
也可被FI管理
UCS M4308

UCS E系列

命令行初始化

MDS 多层交换矩阵交换机（Multilayer Fabric Switch）
cisco 2960s基本配置

将1 2 3口划入vlan5

清空配置

初始化配置

高可用性FI连接
两个FI互联


每个FI是一个分离的实体，都在运行NX-OS（CLI）和UCSM（UI 多），在同一时间只有一个FI的UCSCM是active的，每个FI的I/O都是active的
每个FI的管理口需要被连接到相同的2层网络 每个FI都有自己的管理IP
一个FEX只能被连接到一个FI

两个FI的配置
（登录其中一个FI A配置）

B上配置：很少 能检测到对端的FI 需要配FI A的 和B的IP地址
初始化配置后可通过网页网管

KVM管理键盘鼠标
点击会下载一个应用程序 再进行登录

UCSM面板介绍
Rack机架式服务器

定义的service profile


有颜色的框表示有问题

ucs基本配置

连线这里要选实际机箱连接最低的数量，因为第一个选项意思是通过几根链路来发现你的机箱 选项只有1 2 4 8
Power Policy
Non Redundant没有冗余 n+1（n个工作负载均衡，1个备用）Grid（拿一半备用）
配置DNS

配置时区和NTP（时间）

连FEX


接服务器：server port
上连交换机：uplink port
PC或服务器直连FI：application port
接FCoE直连存储：FCoE storage port

这里竖直第一列server port 第二列uplink port

FI工作原理
FI不是一个交换机
FI是两个tor设备 机柜顶头摆两个FI来接机箱里的设备
1.提供网络连接
2.提供FC上联到存储
3.在UCS机箱内没有交换功能（必须要通过FI才能互相通讯）

两种网络操作模式
1.EHM-Ethernet End Host Mode(默认模式）终端主机模式 推荐
2.ESM-Ethernet Switching Mode 交换模式

FI就像一个拥有很多MAC地址的主机

不运行生成树
较少的网络问题
所有链路都可使用（没有STP阻挡）

有一个默认的策略方式环路：同一个上行链路来的不可能再从这个上行链路回去
仅需学习服务器端的MAC地址，减少控制层的负担
（服务器的地址记住，不认识的地址直接往上传就行了）
两个FI不会因为交换数据而互相连接
：L1-L1 L2-L2的集群连接，仅仅用于管理

他只能这样

不能这样

不同vlan只能借助外面的3层才能通

如果不用pinned，则服务器传输会使用轮巡模式上传 按顺序一个一个

有pinned：强制只走某个上行链路或者某个port channel

RPF（Reverse Path Forwording)检查反向检测：如果pinned固定了一个上行的port channel 那么下来的信息（也可以是访问服务器的信息）也只能从固定的port channel下来否则会被丢弃

如果从服务器来的unknown包 会泛洪到上行链路、其他服务器
如果从网络来的unknown 直接丢了
known包（只可能跟服务器有关）
网络来的known 转发到服务器
服务器来的known 根据目的转发 到其他服务器
known组播 看IGMP
unknown组播 从服务器来 泛洪到其他服务器和上层链路
从网络来 泛洪到所有服务器

从上行链路来的 要么去服务器 要么丢了 不可能回去

EHM学到MAC地址会老化
如果A坏了 会自动切换到B

服务器MAC地址可以静态配置

ESM模式切换（一般不会切换）会重启FI

会像普通交换机一样 引入STP 上行链路阻碍
但很多交换机的配置没有
若俩FI要交换数据用这个

配置uplink

配这俩口

要先配上行交换机 再到FI上进行配置
一般要配：
1.接口trunk
2.spanning-tree portfast trunk
3.指定trunk的Vlans
4.创建port-channels（必须使用LACP（链路聚合控制协议） active（LACP主动在配置的链路上发送Frame） mode）并添加接口

如果被连接到分离的二层，需要使用pin group技术分离（比如 上行链路是分离的DMZ和生产网）

vlan可以是全局的（多），也可以是基于某一个FI来配置

创建vlan

设置俩10G口active

下面的FI同样也要创建VLAN



102packet nexus1kv用

创建port channel



一定要记得激活port channel


就绿了

顺序：
交换机：vlan port-channel
UCS：vlan port-channel 激活port-channel

存储基本概念
UCS可使用的存储方式：
1.Local
2.Fibre Channel(FC)
3.iSCSI
4.NFS
UCS：SANBOOT
一般用FC存储（要用FI）

RAID （ Redundant Array of Independent Disks ）即独立磁盘冗余阵列，简称为「磁盘阵列」，其实就是用多个独立的磁盘组成在一起形成一个大的磁盘系统，从而实现比单块磁盘更好的存储性能和更高的可靠性。
https://zhuanlan.zhihu.com/p/51170719
提高速度 提供容错

一对一的连接不靠谱 就想到了以太网交换式网络 中间嫁接存储交换机，这样一个服务器可以访问很多阵列，一个阵列可以为多个服务器服务

cisco存储交换机是MDS

FC的WWN就近似MAC地址 但是需要单独购买FC交换机 FC存储卡
iscsi：通过TCP/IP来承载scsi 效率比FC差 但是便宜
NFS：文件共享

UCS使用存储的好处
UCS使用Service Profiles这个概念提供了灵活性和可移动性（因为刀片不需要硬盘、存储分离）
使用SANBOOT才能让UCS获得更大优势：本地硬盘有很多限制、不支持通过NFS启动
启动使用的存储不等同于只能用那种存储方式（可以与起机的存储方式不同）

SanBoot网络存储管理系统，是一套基于微软.vhd虚拟磁盘的数据存储管理系统，采用微软的.vhd标准，支持从hyper-v , oracle vm virtualbox，物理计算机磁盘启动和物理计算机的网络启动。

Fivre Channel（FC）工作速率在1 2 4 8 G
提供对物理硬盘的“block level access"，存储整列
要用FC 一定要创建FC的HBA（Host Bus Adapters）卡连接到FC（使用光纤进行连接）

FC地址
服务器：发起者initiators
存储阵列：目的targets
两个接口通的前提：
1.在同一个VSAN
2.在一个zoning（额外考虑安全性，默认俩口无法通讯）

WWNN（world wide node name):一个设备或者一个HBA的地址
WWPN（world wide port name）：一个特殊端口的地址（用的多）
WWNN和WWPN，类似MAC地址，出厂时被固化到HBA
每一个设备有一个WWNN，每一个口有一个WWPN

FC端口类型
N_Ports-Node Ports，一个终端设备的端口（服务器或者阵列）
E_Ports-Expansion Ports，FC交换机对联接口
F_Ports-Fabric Ports，交换机连接N_Ports的接口

NPV（N_Port Virtualization)

NPIV（N_Port ID Virtualization)
默认UCS使用NPIV，允许在N_Port身后存在很多initators发起者
需要FC交换机（MDS）工作在NPIV模式

因为就像上图的第二个 一个N_Port里面有很多虚拟的VM 就需要很多FCID

FI使用NPV（下面多个服务器的N_Port虚拟成一个N_Port)技术
核心交换机FC启用NPIV而不是NPV
MDS（核心FC网络）会把FI认为是一个拥有多个ports和FC IDs的FC节点：
1.cisco UCS FI工作在NPV模式
2.上联端口（uplink port）工作在Proxy N_Ports(NP_Ports)模式
3.刀片服务器端口工作在F_Ports

cisco NPV详细介绍
1.每一个服务器接口都被pinned到一个边界端口
2.所有的流量都通过pinned的端口来转发
pinning是通过循环的方式来实现的
服务器接口支持NPIV
核心交换机也需要支持NPIV

现在的UCSM FI支持两个模式
1.FC End-Host Mode
2.FC Switching Mode

End-Host是默认模式
1.使用HPV
2.FI就像一个拥有很多WWPNs的主机