这是一份说动客户掏钱的Proxmox VE安全方案，如果从技术的角度去看这份方案，那么它是不高大上的，可取之处也不多。但是如果从售前的角度去看，它足以说动一个小企业老板去掏钱了，因为它抓住了企业老板的一个痛点——业务系统的数据不能出现安全问题。
这个方案是《Proxmox VE单节点多业务vlan与虚拟网络项目实战》的后续篇。在往下写这个安全方案之前，我交待一下在这个方案之前发生的事情。该企业对成本非常敏感，找我们的合作伙伴上了一套订单管理系统，出于成本考虑，客户只选1个节点服务器，我们也告知客户1个节点服务器的风险，企业既有网络安全性不足的风险等，但是在成本面前，安全的问题让路了。
在项目上线的时候，还跑着测试的数据，订单系统服务器就被黑客攻击了，服务器密码被篡改，服务器也瘫痪了。没办法，我们只好重装系统重新部署，同时，利用既有网络的多业务网关做一些访问控制。这件事，我们一直没有跟企业客户说，不敢说。给多少钱，就办多少事了。
订单管理系统交付给客户之后，客户用着爽得不得了，终于实现掌上随时查看经营数据了。随之而来，企业老板开始对业务数据的安全性关注起来了，于是就有了这一份说动客户掏钱的Proxmox VE安全方案。
当然了，不是说有了这份Proxmox VE安全方案之后，客户就直接掏钱了，而是说客户就数据安全这一块，叫我们出正式方案，正式的方案在这里就不贴了。
以下是正文：
订单系统数据安全结论| 序号 | 选项 | 安全名称 | 方案说明 | 是否实现 | 实现方式 |
|---|---|---|---|---|---|
| 1 | 网络安全 | 从外到内的行为管控 | 通过XMG-5100多业务安网关已实现只允许企业客户访问订单系统，其余的不能访问。 | 是 | 已实现 |
| 2 | 从内到外的行为管控 | 通过XMG-5100多业务安全网关可以实现，但是目前企业并没有启用该功能和做相关配置。 | 否 | 需请设备供应商做配置 | |
| 3 | 从内到内的行为管控 | 当前内部人员可随意访问订单系统所在的网段或者服务器本身等，存在一定安全隐患，且需要在内部增加防火墙专门保护服务器。 | 否 | 需增加1台专业防火墙和1台交换机 | |
| 4 | 系统安全 | 系统账号使用管控 | 通过服务器虚拟化操作系统PVE设置不同权限账号，已实现不同账号查看或管理不同内容，防止恶意或无意删除行为。 | 是 | 已实现 |
| 5 | 虚拟防火墙使用管控 | 通过在服务器内部搭建虚拟网络，启用虚拟防火墙，通过虚拟防火墙对进入服务器的流量进行管控。注意，服务器内部搭建的虚拟防火墙功能没有专业防火墙功能强大，只能做一些基础的安全防护。 | 是 | 已实现 | |
| 6 | 存储安全 | 1个节点服务器硬盘备份 | RAID1是将一个两块硬盘构成RAID磁盘阵列，其容量仅等于一块硬盘的容量，因为另一块只是当作数据“镜像”。如果没有做RAID1机制，那么一旦硬盘损坏，那么硬盘上的数据存在丢失的风险。 | 否 | 需增加1台服务器之后，再对现有服务器做硬盘备份 |
| 7 | 2个节点服务器集群 | 在2个节点的情况之下，即“服务器集群+RAID1机制”，通过服务器集群机制，两台服务器可以作为主备份，同时每台服务器上的硬盘也具备有主备硬盘。 | 否 | 需增加1台服务器 | |
| 8 | 3个节点服务器超融合 | 在3个节点的情况之下，采用超融合架构实现集群高可用，有1台服务器坏了之后，高可用可以自动将故障服务器上的虚拟机迁移到没有故障服务器，硬盘有故障也不会导致数据丢失。通过分布式存储，采用三副本数据存储，也就是每个数据都会分散性存储3份。这是安全性最高的方案。 | 否 | 需增加2台服务器 | |
| 9 | 电力安全 | 机房市电永续供应 | 服务器在运行过程中不允许出现突然断电的情况，因为这样对服务器硬件损失极大，很容易导致数据无端丢失。市电供应企业无法左右。 | 否 | 取决于市电 |
| 10 | UPS电源保护 | UPS电源保护方案，确保数据中心在停电之后，电力可续航2~6个小时，防止突然断电而导致的数据丢失和设备非正常关机导致的性能损坏。 | 否 | 需要增加1套UPS电源方案 |
订单管理系统是汉东省某某有限公司的核心业务系统，承载着整个企业的经营数据，数据安全的重要性不言而喻。
数据安全存在着多个层次，如网络安全、系统安全、存储安全及电力安全等，下面我们就网络安全、系统安全、存储安全及电力安全这三方面来分析订单管理系统的数据安全问题。汉东省某某有限公司企业网络架构如图1所示。
订单系统服务器：订单后台系统主要部署在某某有限公司办公楼二楼机房，建设内容包括：
（1）服务器设备，在网络机柜部署1台服务器硬件；
（2）虚拟化套件，在服务器上部署1套虚拟化套件；
与办公监控网互通：订单后台系统与办公监控网互联互通，实现办公终端访问订单后台系统，实现订单后台系统与金蝶服务器打通。建设内容包括：
（1）订单后台系统网段，订单后台系统独立划分VLAN10，与办公监控网VLAN20做虚拟隔离；
（2）VLAN网段互联互通，VLAN10和VLAN20通过多业务网关XMG-5100做三层转发，实现VLAN10和VLAN20的互联互通；
公众号小程序服务：公众号小程序服务器运行在阿里云转跳服务器，建设内容包括：
（1）公众号小程序，在阿里云服务器上部署公众号小程序和域名解析服务器；
订单系统访问控制：订单后台系统需要对外开放服务端口，因此需要对订单系统的访问做好访问权限和规则控制，建设内容包括：
（1）在既有的多业务网关XGM-5100配置好好对外开放的服务端口；
（2）允许公众号小程序服务器的对服务器对订单后台系统访问，其余外网用户不允许访问。
1、网络安全方案结论：
| 序号 | 安全名称 | 实现方式 | 是否实现 |
|---|---|---|---|
| 1 | 从外到内的行为管控 | 通过XMG-5100多业务安全网关已实现只允许企业客户访问订单系统，其余的不能访问。 | 是 |
| 2 | 从内到外的行为管控 | 通过XMG-5100多业务安全网关可以实现，但是目前企业并没有启用该功能和做相关配置。 | 否 |
| 3 | 从内到内的行为管控 | 当前内部人员可随意访问订单系统、监控系统等，存在一定安全隐患，且，需要在内部增加防火墙专门保护服务器。 | 否 |
汉东省某某有限公司企业网是由第三方集成商承建，选用的网络设备供应商是信锐公司，企业网络架构如图1所示。网络设备的作用如下：
多业务网关XMG-5100：这是一个多业务网关设备，主要用于从内到外、从外到内的行为管控。
XMG-5100多业务安全网关是信锐技术自主研发的多元化、高性能的网络控制器设备，集无线控制器、认证服务器、内网终端状态可视化分析、上网行为管理、上网行为审计、流量控制、VPN、防火墙、有线无线管理系统于一体。并具有二三层无缝无感知漫游、智能射频、多元化的认证方式、精细化的用户行为管理、灵活的QoS控制、无线协议优化、有线无线一体化，以及对内网有线疑似中毒终端的筛查、定位以及封堵等。
核心交换机RS3300-52T：这是一个企业核心交换机设备，主要用于从内到内、从内到外的数据转发。
RS3300-52T-4F安视交换机提供48个10/100/1000base-T以太网端口、4个千兆SFP光口。RS3300系列交换机在同类产品中处于领先地位，能够满足大型网络的组网需求，并具备丰富的智能和安全特性，广泛应用于园区接入、千兆到桌面等多种场景。
接入交换机S3200-10T-2F：这是一个企业接入交换机设备，主要用于办公电脑终端接入。
S3200-10T-2F交换机是信锐技术高性能8口千兆网管型接入交换机，提供8个自适应千兆RJ45下联端口，以及2个千兆SFP上联端口
POE交换机XS1550U-26P-PWR：这是一个POE接入交换机设备，主要用于视频监控终端、无线AP接入。
XS1550U-26P-PWR系列是信锐高性能的千兆POE交换机，作为信锐整体网络解决方案的组件，可通过网线为无线AP等POE受电设备供电，提供最大单端口30W供电，满足中小网络场景无线AP、监控摄像头、IP电话等设备接入使用。
1.2、从外到内的行为管控从外到内的行为管控是指企业员工、企业客户、外部人员等使用互联网访问内网服务器的行为管控、不良分子使用互联网攻击内网服务器的行为管控。
为什么要做这个访问内网行为管控？主要原因有两个，一个是只允许企业客户、经批准的外部人员使用互联网访问订单系统，确保内网安全。另一个是拒绝不良分子使用嗅探器等黑客攻击工具对内网服务器工具，确保内网安全。
从多业务网关XMG-5100的功能来看，是可以实现基本的防火墙功能，目前我们已经在多业务网关XMG-5100上启用防火墙功能，并且做了精细化的管控，即只允许阿里云转跳IP、XX公司远程运维IP访问订单服务器，其余访问内网的行为一概拒绝。
多业务网关XMG-5100的转发规则配置，如图2、图3所示。
从内到外的行为管控是指企业内部员工使用企业网（包括有线办公、无线手机接入）访问外网（互联网）的行为管控。
为什么要做这个上网行为管控？主要原因是企业的内部员工IT能力有限、安全意识不够强，导致访问了外部的挂马/病毒/后门网站、下载了挂马/病毒/后门软件，从而导致企业内部网络感染病毒，尤其是核心业务系统如订单系统，会容易遭受到病毒攻击，从而导致数据安全问题，比如订单系统、视频监控系统等的数据被篡改、被窃取、被勒索等等。
从多业务网关XMG-5100的功能来看，是可以实现基本的上网行为管理和上网行为审计的，但是到目前为止，企业并没有在多业务网关XMG-5100启用和配置上网行为管理和上网行为审计功能。
1.4、从内到内的行为管控从内到外的行为管控是指企业内部员工使用企业网（包括有线办公、无线手机接入）访问内网订单系统、视频监控系统的行为管控
为什么要做这个内网内部行为管控？主要原因有两个，一是只允许特定的企业员工访问订单管理系统，确保服务器的安全。二是防止有些不良员工、感染病毒的终端访问订单管理系统，防止数据被窃取或被损毁。
从汉东省某某有限公司企业网来看，内网的网络设备都是交换机，而交换机只是负责转发数据，无法承担内部用户管控的责任。如果要实现针对内部的行为管控，需要在订单系统服务器之前增加1台防火墙设备，通过防火墙设备做访问管控，如图4所示。
结论：
| 序号 | 安全名称 | 实现方式 | 是否实现 |
|---|---|---|---|
| 1 | 系统账号使用管控 | 通过服务器虚拟化操作系统PVE设置不同权限账号，已实现不同账号查看或管理不同内容，防止恶意或无意删除行为。 | 是 |
| 2 | 虚拟防火墙使用管控 | 通过在服务器内部搭建虚拟网络，启用虚拟防火墙，通过虚拟防火墙对进入服务器的流量进行管控。注意，服务器内部搭建的虚拟防火墙功能没有专业防火墙功能强大，只能做一些基础的安全防护。 | 是 |
企业级虚拟化平台Proxmox VE软件安装在通用服务器上，Proxmox VE采用超融合虚拟化架构，将计算、存储、网络和安全进行虚拟化，聚合成一个统一的虚拟资源池，为上层平台提供虚拟主机资源服务，然后通过在虚拟机上安装应用所需要的操作系统，就可以在虚拟机上运行业务应用系统。在本项目中，超融合解决方案架构如图5所示。
订单系统服务器虚拟网络的核心是PVE虚拟化平台上创建虚拟防火墙1台、虚拟交换机（OVS）2台、虚拟主机7台，通过虚拟交换机（OVS）将物理交换机、虚拟防火墙和虚拟主机等连接起来，组成虚拟化网络。
订单系统服务器虚拟网络的逻辑结构如图6所示。
系统账号安全管控是指订单服务器虚拟化操作系统的账号安全管控，通过设置不同权限的账号，赋予不同使用者不同的权限，从而最大程度包含系统安全。
为什么要做这个系统账号安全管控？主要原因是有各种不同的使用者需要登录订单系统服务器进行系统维护、应用发布、应用维护等，不同的使用者需要设置不同的权限，防止恶意或无意删除、篡改等行为。
目前某某有限公司订单服务器操作系统账号统计如下表所示。
| 序号 | 账号 | 使用者 | 权限 |
|---|---|---|---|
| 1 | root | 系统管理员 | 系统root 用户可以通过Linux PAM 域登录系统，并拥有最高管理权限。 |
| 2 |
目前某某有限公司订单服务器操作系统账号设置如图7所示。
虚拟防火墙使用管控是指通过虚拟化系统在服务器内部搭建虚拟防火墙，利用虚拟防火墙对进出服务器的流量进行管控，不符合要求的访问将会被拒绝。
为什么要做这个虚拟防火墙使用管控？主要原因有两个，一是企业网出口的多业务网关防火墙能力不是很强，是一个路由器、上网行为管理、防火墙三合一的设备，防护能力没有专业防火墙好，有些漏网的攻击可能进入到企业网内部，进而攻击服务器。二是企业内部没有做安全防控，任何人都可以访问服务器所在的网段。基于以上两个原因，在服务器内部搭建了虚拟防火墙，以此来做访问控制。
虚拟防火墙的访问控制规则配置如图8所示。
结论：
| 序号 | 安全名称 | 实现方式 | 是否实现 |
|---|---|---|---|
| 1 | 1个节点服务器硬盘备份 | RAID1是将一个两块硬盘构成RAID磁盘阵列，其容量仅等于一块硬盘的容量，因为另一块只是当作数据“镜像”。如果没有做RAID1机制，那么一旦硬盘损坏，那么硬盘上的数据存在丢失的风险。 | 否 |
| 2 | 2个节点服务器集群 | 在2个节点的情况之下，即“服务器集群+RAID1机制”，通过服务器集群机制，两台服务器可以作为主备份，同时每台服务器上的硬盘也具备有主备硬盘。 | 否 |
| 3 | 3个节点服务器超融合 | 在3个节点的情况之下，采用超融合架构实现集群高可用，有1台服务器坏了之后，高可用可以自动将故障服务器上的虚拟机迁移到没有故障服务器，硬盘有故障也不会导致数据丢失。通过分布式存储，采用三副本数据存储，也就是每个数据都会分散性存储3份。这是安全性最高的方案。 | 否 |
订单系统服务器硬件采用的是通用服务器XX，服务器XX是一款2U双路高端旗舰机架式服务器，以强劲的计算性能，完善的生态兼容，极致的空间扩展能力，满足各行业应用配置需求，适用于数据分析处理、深度学习分布式存储等多种应用场景。通用服务器XX如图9所示。
硬盘备份是指通过使用RAID1机制，将一个两块硬盘构成RAID磁盘阵列，其容量仅等于一块硬盘的容量，因为另一块只是当作数据“镜像”。RAID1磁盘阵列显然是最可靠的一种阵列，因为它总是保持一份完整的数据备份。
在1个节点的方案中，由于服务器虚拟化软件本身不具备数据存储的功能，需要与本地存储（服务器自带的硬盘）一起使用，因此虚拟化软件本身不具备有数据冗余、灾备功能，所以只能通过硬件服务器本身的RAID机制去实现。
目前订单系统服务器硬件有八个盘位，即八块硬盘，如果启用了RAID1机制，则只能使用四块硬盘，另外四块硬盘只能作为备份。考虑到硬盘资源可能不足，在做磁盘规划的时候并没有做RAID1机制，也就是没有做服务器硬盘备份。
由于订单系统服务器当前没有做RAID1机制，那么一旦硬盘损坏，那么硬盘上的数据存在丢失的风险。
注意，RAID1机制实现硬盘备份，却无法实现服务器备份，当服务器有故障时，数据仍然存在丢失的风险。
3.2、2个节点服务器集群服务器集群是指通过PVE虚拟化系统的集群功能，将2台服务器使用集群的方式进行管理，其中有1台服务器出故障了，另外1台服务器可以继续使用，不受影响。
一般2节点的集群部署虚拟机，平均资源占用达到了每个节点50%以上，一旦其中一个节点出现故障宕机，正常的节点的资源不能完全接管集群全部虚拟机，虚拟机会出现非正常关闭的情况。
目前订单系统服务器只有1台，如要实现服务器集群备份，还需要增加1台服务器硬件。
3.3、3个节点服务器超融合超融合产品集群的最小规模取决于副本存放策略，如果采用两副本的存储策略，最少3个节点起步。“超融合”架构方案与1个节点或2个节点方案比起来，多了一个“分布式存储”软件，它其实就是“服务器虚拟化+分布式存储”架构，方案架构如图10所示。
超融合产品集群的最小规模取决于副本存放策略，如果采用两副本的存储策略，最少3个节点起步，因为要确保集群多数票机制生效。
目前订单系统服务器只有1台，如要实现服务器集群备份，还需要增加2台服务器硬件。
4、电力安全方案结论：
| 序号 | 安全名称 | 实现方式 | 是否实现 |
|---|---|---|---|
| 1 | 机房市电永续供应 | 服务器在运行过程中不允许出现突然断电的情况，因为这样对服务器硬件损失极大，很容易导致数据无端丢失。市电供应企业无法左右。 | 否 |
| 2 | UPS电源保护 | UPS电源保护方案，确保数据中心在停电之后，电力可续航2~6个小时，防止突然断电而导致的数据丢失和设备非正常关机导致的性能损坏。 | 否 |
汉东省某某有限公司机房的市电供应很不稳定，月均1起突发性停电。这种市电供应的不稳定性，根源在于市电供应商方面，是企业目前无法左右的。但是，这种频繁的突发性停电，会导致服务器在运行过程中出现突然断电的情况，这种突发性停电对服务器硬件损失极大，很容易导致数据无端丢失。
4.2、UPS电源保护通过UPS电源保护，确保机房在停电之后，电力可续航2-6小时，防止突然断电而导致的数据丢失和设备非正常关机导致的性能损坏。企业利用这2-6个小时的时间，一者等待市电供应恢复，二者在UPS耗尽之前将停电故障报给XX公司，由XX公司远程进行服务器有序关机。
续航2-6个小时的UPS电源保护方案，网络拓扑如图11所示。
