基于超融合技术的数据中心网络安全设计

◆苑顺周 姚晓冬 邢羽

基于超融合技术的数据中心网络安全设计

◆苑顺周 姚晓冬 邢羽

（公安部第一研究所 北京 100048）

近年来，基于超融合技术构建数据中心领域的基础架构受到越来越多的关注。相比于传统架构和虚拟化技术，超融合技术实现了计算、网络和存储资源的统一管理，具有更高的平台投资效费比、简化管理难度及扩展性强等优势。随着网络安全的重要性不断提升，对基于超融合技术的数据中心网络安全方面提出了更高的挑战。通过划分超融合架构的不同子网，分析其中涉及的网络安全风险点，提出了物理隔离、VLAN隔离、访问控制、配置安全策略等网络安全设计思路，在提升数据中心运行效能的前提下，使得数据中心网络更加安全、可靠。

超融合；数据中心；网络安全

传统的数据中心在过去经历了几个发展阶段，包括：大型机时代、独立服务器时代、中心化存储时代、虚拟化时代。目前，由标准x86架构加上虚拟化技术组成的云计算已经占据了大部分市场。但新的架构目前还存在着诸多问题，特别是对于私有云来说，虚拟机快速增长可能导致存储网络压力的增加，更多的机器和存储阵列导致管理复杂度的提高[1]。超融合技术打破了传统的服务器、网络和存储的孤立界线，实现了统一的超融合架构（Hyper-Converged-Infrastructure，HCI）形态[2]。超融合技术（以下简称超融合）更加高效、天然地将计算、存储、网络等组件融合到一起，有利于系统的横向扩展、提高整体系统的I/O和性能，基于超融合的软件定义数据中心能更好为用户提供云服务[3]。

超融合是近几年兴起的一种新的 IT 基础架构，符合软件定义数据中心理念，通过软件结合标准的 x86 服务器来构建分布式存储，强调的是分布式存储软件和虚拟化软件的融合部署，并不是单纯指软、硬件融合。绝大多数的数据中心基础架构的层次划分很清晰，对于物理架构分层，大概可以分为以太网络层、服务器层、光纤网络层和存储层。超融合架构，主要基于分布式存储等技术来压缩传统SAN架构的服务器层、光纤网络层和存储层为一层，可简称为超融合层。超融合层的设备具备计算、网络（主要是存储网络）和存储功能。超融合架构的核心功能是对传统架构进行纵向压缩（融合）的，免去了复杂的SAN网络，并提供了更高的存储IOPS和支持服务器虚拟化，如图1所示。

图1 数据中心传统架构与超融合架构对比

国际上，Nutanix、VMware、DELL EMC、HPE、Cisco、Microsoft等大公司纷纷进入到超融合市场的竞争之中；在中国的情况也类似，有华为、新华3 深信服、浪潮、曙光等一线厂商纷纷推出各自的超融合产品。各厂商的技术和实现方式各不相同，但是对超融合的概念理解基本是一致的，比如使用通用硬件平台、软件定义、虚拟化、统一管理平台等。在超融合逐渐成为企业云环境主流基础设施的趋势下，超融合的核心竞争力依然是在软件上，用软件定义来实现IT基础架构各项服务，包括计算、存储、网络融合、灾备、运维管理等，实现以虚拟化为中心的技术架构（图2）。

图2 超融合架构示意图

目前，通过Gartner关于超融合市场的报告，包括了国内外的各大知名厂商（如图3），市场竞争的激烈程度可见一斑。

图3 2019年11月Gartner超融合基础架构魔力象限

超融合产品在数据中心基础设施中扮演的角色越来越重要，会有越来越多行业开始接受和采用它，并会将它放入到更多的生产环境之中，分析认为超融合市场在未来一段时间中依然会处于高速增长的状态（资料来源于Gartner官网）。

1 超融合架构的网络划分

网络是超融合技术架构不可缺少的组成部分。当业务系统对性能有着很高的要求时，很容易使得超融合网络遇到瓶颈。传统数据中心的集群有专门的存储系统，访问共享的数据。然而，基于超融合架构的数据中心通常将内部每个节点的存储汇聚到一个虚拟存储池，I/O需求负担较重的环境会将负载都压在了超融合网络之上。基于市场上主流超融合厂商的基础架构，大致都分为带外管理网、集群管理网、存储网、业务网以及业务系统涉及的对外接口网，共5种网络类型。

1.1 带外管理网

带外管理（Out-of-Band Management）是基于硬件的一种管理方式，使用专用硬件模块或特殊的远程管理卡提供管理接口，通过专用的数据通道对设备进行远程维护和管理，完全独立于设备操作系统之外，甚至可以在设备关机状态下进行远程监控与管理。目前，绝大部分服务器都提供带外管理接口。

带内管理使得网络中的管理数据和业务数据在相同的链路中传输，当管理数据（SNMP、NetFlow、计费等）较多时，将会影响到整个网络的性能，只有当管理数据较少时，对整个网络的性能影响不明显，可采用带内管理。带外管理网将管理数据与业务数据分开，在这个通道中，只传输管理数据、统计信息、计费信息等，可以提供网络管理的效率与可靠性，也有利于提高网络管理数据的安全性。对于超融合架构的数据中心来讲，涉及多个集群的众多节点的管理与监控，可能运维人员需要面对几十、几百甚至上万台服务器，对设备的访问控制、操作记录等均需借助带外管理网来完成。

1.2 集群管理网

集群管理网是管理超融合平台的基础，保证了集群内各个节点互相通讯，使得各个节点信息同步。对于超融合架构来说，集群是一个分布式结构，将多个节点融合在一起，集群中的各个节点将共同管理集群资源和任务，构成分层存储的统一资源池，以实现虚拟机对资源的无缝访问。管理集群涉及配置、监视集群内的对象，包括虚拟机、存储、网络、硬件、运行状况、任务监视、报警等，各个超融合厂商基本上都支持基于Web的管理控制台进行集群管理。

1.3 存储网

存储网实现了超融合架构下多设备的分布式存储，提高了存储的IO性能和可靠性。超融合架构的核心功能是对传统架构进行纵向压缩（融合），免去了复杂的SAN网络，每个超融合节点都有存储设备，存储节点互相热备，如果一个节点出现故障，整个业务系统仍可以正常工作。为了保证存储IO的性能，通常超融合节点之间存储网络采用万兆以太网交换机进行通信。

1.4 业务网

业务网是基于超融合架构的数据中心最为核心的网络。根据数据中心建设背景，在超融合架构上可能运行着各种各样的不同的业务系统，而每个业务系统构成一个业务网，一个超融合集群上可能运行着多个业务系统网络。

1.5 对外接口网

每个业务系统除了完成系统功能外，通常需要与其他系统进行业务对接，从而在超融合架构上需要单独考虑对外接口网络的设置。

2 网络风险点

2.1 不同子网连接到同一个网络安全域

在搭建超融合架构时，考虑到降低建设成本或管理复杂度，有些系统将带外管理网、集群管理网、存储网、业务网、对外接口网络的两种、三种甚至是5种网络合并成一个网络，这种未有效控制网络安全边界的系统具有较大的安全风险。超融合基于分布式存储技术，对超融合节点间的存储网的IOPS要求极高，否则无法保证节点间的同步，当其他子网与其连接到同一个网络安全域内时，导致超融合系统故障的风险比较大。业务网属于平台最为关键的子网，不建议与其他子网进行合并。集群管理网是管理超融合的唯一入口，也不建议与其他占高带宽的子网进行合并，否则影响平台的管理顺畅度。相比其他子网的网络可靠度，对外接口网属于最不可信的网络安全域，更不应跟其他子网混用。

2.2 子网之间网段未有效隔离

对于两个或多个子网之间不需要进行数据交互的情况下，设计网段时应该设置不同的网段进行部署。如果未按照信息的重要程度划分子网，使得广播风暴、恶意代码的传播、网络攻击等变得更容易，并且管理者为不同业务区域部署相应的安全策略变得更为复杂，不利于对系统的安全运维，最终对系统的稳定运行造成影响。

2.3 重点业务网安全策略不够

超融合业务网络系统内包含各种业务需求的虚拟机，如果业务网内虚拟机未安装杀毒软件、端口限定、路由控制等方式进行防护时，系统易受到病毒的侵袭、黑客的非法闯入、数据窃听和拦截、拒绝服务攻击、垃圾邮件等等。

2.4 对外网络未部署访问控制措施

如果超融合架构的对外网络系统未在网络边界处部署诸如防火墙、入侵检测等访问控制设备，则无法对来自外部非可信网络的网络通信进行控制，无法对可能潜在的网络攻击行为进行检测和报警，极易存在被网络攻击的风险。

2.5 网络管理不规范

对于网络安全的管理，很多企业都存在多名用户使用同一账户进行登录管理的情况，对系统仅设置超级管理员用户，存在管理账户滥用权限和恶意破坏的风险。超融合架构下子网划分更为复杂，管理制度、操作规范的缺乏可能使得相关工作缺乏规范依据和质量保障，进而影响到系统的安全建设和运维。

3 网络安全设计

结合超融合架构技术特点，每个子网都可以看作一个网络安全域，设计原则是系统网络安全域之间的边界应划分明确，安全域与安全域之间的所有数据通信都应安全可控。设计方法考虑合理划分安全域边界，实施“分域分级防护”的策略。设计目标是保障超融合为数据中心提供高效的技术架构的前提下，强化网络安全的研究设计。根据以上分析的网络风险点，提出以下网络安全设计思路：

3.1 物理网络隔离

根据超融合基础架构涉及的网络划分为带外管理网、集群管理网、存储网、业务网、对外系统接口网，设计为物理网络隔离，在每个超融合节点上对各子网配置不同的网络端口，连接到各自不同的网络交换机上（如图4），这样设计的安全性应该是最高的。物理隔离的好处是避免了不同子网连接到同一个网络安全域的风险。当然有些使用率低、带宽占用少的网络，可能没有必要单独配置网络设备，也可以在做好网络安全策略、网段隔离的情况下连接到相同的交换机上，比如带外管理与集群管理共用一套网络设备。但是，生产业务网、存储网和对外接口网络不建议混用网络交换设备。

图4 物理隔离的超融合节点网卡连接情况

3.2 不同VLAN隔离

VLAN 隔离技术的应用，可以把超融合架构涉及的带外管理网、集群管理网、各种业务网、存储网、对外接口网划分成不同的逻辑子网（如图5），把数据链路层广播报文封闭在逻辑子网之内，形成各自的广播域。VLAN 技术有效限制了广播报文的传输范围，一定程度上抑制了广播风暴、防止了恶意代码的传播，可以一定程度上提高数据中心超融合架构网络的安全性。

图5 超融合架构下VLAN隔离网络安全域

3.3 访问控制设备隔离

对于各种类型系统来说，涉及与其他外部系统进行数据交互时，可以考虑双重防护，第一重考虑超融合节点区分对内网卡和对外网卡进行隔离；第二重考虑对外网卡与外部系统连接之间必须经由防火墙隔离，根据业务需要设置防火墙安全策略为只允许指定IP网段或指定端口的数据通过（如图6）。当业务系统涉及外网连接时，超融合对外连接可能需要各种隔离网闸、硬件防火墙、VPN等访问控制设备进行隔离。

图6 对外系统连接使用防火墙的情况

3.4 配置网络安全策略

常用网络安全策略包括安装操作系统补丁程序、安装杀毒软件、关闭无用服务和端口、启用操作系统防火墙、路由控制等。

传统的数据中心都是由物理网络来分隔不同业务系统，以确保各业务系统之间是相互隔离的。然而，根据超融合技术架构特点，就需要对数据中心内的网络做出相应的调整，不同超融合设备厂家也设计了不同的网络安全策略产品，比如：Nutanix自带一款软件定义的网络产品Flow，该产品被高度集成到超融合架构中，使用微分段（Microsegmentation）技术简化策略管理，创建了分布式防火墙，保障虚拟机流量的安全性。VMware自带的一款网络与安全虚拟化产品VMWare NSX，该产品为虚拟机提供了几乎所有的网络服务，如路由器、负载均衡、防火墙等。

3.5 增强网络安全管理

网络安全管理既要保证网络用户和网络资源不被非法使用，又要保证网络管理系统本身不被未经授权的访问，制定合理的安全管理措施，是保证网络安全的重要策略之一。

网络设备的安全管理主要包括网络设备的互联原则、配置更改原则等，超融合软件的安全管理，包括平台软件的使用原则、配置更改原则、权限设置原则等。网络安全管理是一个有关网络维护、运营和管理信息的综合管理系统，主要功能是性能管理、配置管理、故障管理、计费管理等，管理的重点是安全主旨的设立、安全人事管理、安全责任与监督等。

4 结语

基于超融合技术作为数据中心领域的基础架构，对传统的计算、存储、网络等组件进行了融合，使得云平台运行更加高效且有利于系统横向扩展，顺应了当下各行业发展，但是其安全隐患场景也越来越多。主流超融合技术将网络大致分为带外管理网、集群管理网、存储网、业务网和对外接口网，结合超融合技术特点，本文梳理了涉及的各种网络风险，提出各种网络安全设计思路，以供各应用场景进行参考。在保障超融合为数据中心提供高效的技术架构的前提下，强化网络安全的研究设计，更好服务于各种应用场景。

[1]艾如鹏.基于Openstack的超融合平台的研究与实现[D].华南理工大学，2017.

[2]钱朝阳，陆明胜.浅谈超融合基础架构[J].数字技术与应用，2016，9（2）：216-217.

[3]朱炎逢，徐晓安，等.超融合网络技术与多区域科技合作基地平台的建设[J].科学与技术，2019，36（21）：18.

中央级公益性科研院所基本科研业务费专项资金资助项目（公安部第一研究所面上项目：A20613）