集团化医院多数据中心的建设思考

◆章俊 曹磊 涂志炜

集团化医院多数据中心的建设思考

◆章俊 曹磊 涂志炜

（南昌大学第一附属医院信息处 江西 330000）

随着大型医院集团化发展，多活数据中心成为多院区协同医疗的基石。本文思考建立跨院区双冗余的传输架构，采用SDN控制器弱控组网方案，通过VxLAN技术打通跨院区大二层网络，利用MP-BGP EVPN完成控制面的自动学习，实现虚拟服务动态漂移，确保医疗业务的连续性。SDN控制器负责服务策略下发，安全资源灵活分配等。此外，本文思考建立一套针对医院业务，可跨院区管理的监控平台，提升数据中心运维效率。

数据中心；VxLAN；弱控制；监控平台

为了使集团化医院各院区统一管理，多院区实现协同抗击疫情，就必须建设一套跨院区的多活数据中心。多活数据中心可以使临床产生的每一条数据实时同步到各院区的数据库，保证信息的完整性、统一性。

近年来，随着虚拟化技术的发展与完善，医院将各信息系统部署在虚拟服务器上。为实现数据中心跨院区负载均衡与容灾，虚拟机须能跨院区漂移。本文思考以SDN（Software Defined Network，SDN）控制器弱控制组网方案为核心，裸光纤为传输载体，采用双冗余传输架构实现多院区数据同步互通。通过虚拟扩展局域网（Virtual eXtensible Local Area Network，VxLAN）可实现虚拟机在不改变MAC和IP的情况下跨院区自动漂移，充分利用空闲资源进行负载分担，保证业务连续性。弱控制组网方案不仅避免了因SDN控制器的不稳定造成的网络故障，还可以通过MP-BGP（MPLS-Based BGP）EVPN（Ethernet Virtual Private Network，EVPN）实现地址自动学习，隧道自动建立。同时，医院建立一套安全资源池，由SDN控制器根据业务需要灵活分配安全资源。此外，为了提升跨院区的网络协同运维，本文探索建立一套不仅包含网络服务告警还可以针对医院业务挖掘潜在问题的统一运维监控平台。

1 多数据中心传输架构

为实现多院区异地之间的互联互通，可租用运营商的传输资源，采用裸光纤的方式进行数据传输。一般而言，医院的外网与内网区域在边界上都必须严格的隔离。即便是跨院区互通时，也仅仅外网之间、内网之间分别互通。然而，如果内外网分别由两根裸光纤互联，这势必将增加传输成本。为此，可在每个院区配置一台波分复用设备，将内、外网的数据信号通过不同波长的光载波复用在一根物理光纤上传输。由此，既节省了传输资源开销，又保证了内外网络的隔离。

为加强数据中心的健壮性，建议多个数据中心采用双冗余传输架构，如图1所示。所谓双冗余，其一、采用环形互联；其二、租用两根不同运营商的裸光纤线路。采用环形传输可增加网络的健壮性。当任意两个数据中心之间的传输线路意外中断、闪断或者吊死等现象，可采取应急措施，由另外半边环的传输转发可达。此外，医院租用两个不同运营商的裸光纤进行数据传输，当某一运营商的传输设备发生灾难级故障时，可切换由另一运营商的传输线路承载。避免因第三方故障导致院区间通信中断。

图1 多数据中心传输架构

跨院区的传输线路在使用前，应该进行充分的压力测试。在两个院区的数据中心分别模拟一定数量的患者进行跨院区挂号、就诊，打印影像图文报告等，测试裸光纤的最大并发数、传输时延和速度。此外，还需考虑到，当虚拟机（Virtual Machine，VM）突发性发生大规模跨院区漂移时将产生巨大的东西向流量，此时的裸光纤是否能承受瞬间的高流量。

2 基于SDN弱控制组网的多数据中心

为了满足集团化医院的发展需要，实现跨院区的数据中心网络和超融合服务器融为一体，在IP可达的范围内广播二层以太网帧（MAC）信息，首先考虑将VxLAN技术引入数据中心建设。其高扩展性可在传统数据中心上进行小范围的改造后实现互联。其最关键的一步是将传统的二层MAC叠加在UDP数据包头部。该数据格式可用以实现多数据中心的大二层互通，虚拟机在不用改变原有MAC地址与IP地址的情况下跨数据中心进行任意漂移，保证医院业务的连续性。引入SDN控制器实现软件配置下发，不仅可以简化网络配置工作，还能按需分配安全资源。笔者建议医院数据中心采用SDN控制器弱控制组网，SDN控制器不执行流表下发等控制动作，避免因SDN的bug或者故障导致全院数据中心网络瘫痪。

图2 跨院区的两个数据中心组网

以两个院区为例，基于VxLAN的跨院区数据中心可规划为如图2所示，每个院区都为脊叶架构（Spine-Leaf）。超融合服务器上联的接入层交换机可看作Leaf，核心交换机作为Spine。

（1）虚拟交换机（Virtual Switch，vSwitch），由超融合服务器节点上经配置虚拟产生，VM通过vSwitch实现在传统的VLAN下交互。

（2）在Leaf交换机上配置虚拟隧道终点（VXLAN Tunnel End Point，VTEP），将二层的数据包封装并将VLAN ID映射为VxLAN标识号（VXLAN Network Identifier，VNI）。因此，二层ARP请求便可在IP可达的网络中广播VM的MAC地址。

（3）核心交换机上配置MP-BGP EVPN和路由反射器（Route Reflector，RR）。EVPN作为VxLAN的控制平面承担跨数据中心的路由发布，RR负责将接收到的EVPN路由发布到其他节点。

（4）SDN控制器不承担严格意义上的VxLAN控制平面，仅用于服务策略等下发。因为就目前现状而言，SDN控制器的稳定性远不如已经发展多年的传统网络设备，处于顶层的SDN一旦瘫痪，将影响全局。

图3 整体协议架构

如图3所示，通过底层至顶层的整体协议架构，VM的MAC地址可由大二层广播至医院所有的数据中心节点。当某一物理机节点负荷较高或者因故障无法承载业务时，VM自动漂移至其他空闲节点，而VM上业务的使用者无任何感知，增加了医院各个数据中心的冗余性和可靠性。此外，SDN控制器的引入使得业务部署更加灵活便捷。由于医院涉及的业务系统特别多，而网络运维的人又特别少，每增加一个业务需要逐台配置网络设备。而业务系统对应的VLAN、IP等又常常缺乏统一的规划，导致网络经常被错误配置。SDN能统一管理配置网络，简化配置过程。不仅如此，SDN控制器还可以按照业务需求，根据IP网段从资源池中分配相应的安全资源，如图2所示，确保安全防护紧跟业务，无论VM飘到那个物理节点，虚拟安全资源都能为其提供防护。

3 统一运维监控平台

由于医院网络规模不断扩大，设备数量增多，网络协议的多样化，跨区域协作难度大，这给医院网络运维人员的日常工作带来了巨大挑战。为了有效提升医院网络运维监控工作，极大程度地帮助运维人员发现问题，定位问题，解决问题和问题溯源，需要建设一套跨多个数据中心的统一运维监控平台，方便运维人员在一个院区监控整个医院的网络运行情况。此外，在传统的数据中心的模式下，数据流量主要是由终端通过接入、汇聚、核心至服务器进行数据交互的南北方向。而集团化医院的多数据中心，不仅有南北流量，还将产生虚拟机之间、数据中心之间的东西向流量。因此，多数据中心的管理平台还需要重点关注东西向的带宽利用率，并发数等。

统一的网管监控平台的建设规划不仅要实现传统的网络监控，还需要针对临床医疗的业务特点，统计、分析临床使用的业务波动，深挖网络与服务的潜在问题。监控平台主要涵盖动环监控、网络与服务、网络性能、虚拟机性能和业务监控等五大内容，如图4所示。

图4 统一运维监控平台的指标体系

网络性能需要制定相应指标的阈值。例如，当带宽利用率超过80%时，可能发生数据包拥塞的情况，存在丢包重传的隐患；当跨院区传输时延大于5毫秒时，将会影响数据中心间的同步，需考虑切换备用线路。

虚拟机性能不仅仅需要观察CPU利用率，内存利用率，更需要关注IOPS（Input/Output Operations Per Second，IOPS），读写延迟，吞吐量等。服务器节点的读写速度将直接影响到医生查询报告，护士刷系统领药单等查询响应时长，关系到临床对信息系统使用的满意度。对于IOPS量较大的虚拟机可迁移至全闪存节点提高读写效率；对于吞吐量较高的虚拟机可增加CPU、带宽等资源。

由于在医院运行过程中，常常出现收费处支付异常情况，医院信息系统（Hospital Information System， HIS）调用第三方接口失败等情况。为此，笔者认为医院今后的监控平台不仅要关注网络、服务器等基础设备，更需要关注上层业务应用情况。通过读取系统日志，统计医保、银联支付失败或“单边账”的错误值（error code）或原因值（cause code）；统计HIS与影像系统（Picture Archiving and Communication Systems，PACS）等接口调用时系统响应异常的原因等。通过平台搜集、统计和分析医院业务使用层面的异常情况，帮助运维人员挖掘网络和服务的潜在问题。

4 结语

本文思考通过环形的双冗余传输架构构建多区域数据中心，增加通信稳定性。采用VxLAN技术实现跨院区的大二层网络互通，保证医疗业务的连续性。建设统一的运维监控平台，提升多数据中心的运维效率。

集团化医院下，多院区数据中心将融为一张整体的网络。在方便医院统一运营和管理的同时，也给医院的网络安全埋下了潜在的隐患。一旦单个院区遭受安全威胁，势必将影响整个医院下多个院区的网络安全态势。此外，动态的业务均衡也使得医院安全防护边界日渐模糊。在多数据中心建设过程中，如何同步地部署安全防护，安全策略将成为另一大难题。

[1]张届新，吴志明.基于VxLAN组网的云数据中心互联方案[J].电信科学，2016.

[2]曾珊，陈刚，齐法制.高性能云数据中心弹性网络研究[J].计算机工程与应用，2018.

[3]黄伟，赵峰，陈刚, 等.基于VxLAN的医院多网融合架构研究与应用[J].医学信息学杂志，2019.

[4]李民，曹阳，郭益锋.基于EVPN技术的医院网络设计与改造[J].中国数字医学，2018.