超融合架构在本院医院信息系统中的部署和应用

叶俊，刘琴，李立，刘松林

江苏省泰兴市人民医院 信息科，江苏 泰州 225400

引言

随着互联网+医疗技术的日新月异，医疗业务系统的数据共享、互联互通的需求日益增加，对数据中心的运营、维护一体化管理提出更高要求[1]，对底层信息系统架构的安全性、容灾性、稳定性也提出了更高的要求。在超融合技术的发展上，国外产品包括Nutanix和VMware的VSAN在内，都以自主产品为主，有成熟稳定的优势，但部署了以后，只能按照各自的技术路线进行相应扩展。国内基本都是以深度优化和整合开源技术为主，优势是比较开放，用户选择空间较大，可以支持多种虚拟化平台，这方面要根据各医院实际情况来进行选择。

本院以VMware vSphere6.5超融合架构搭建服务器群，对各个子系统进行高度设备集成，在满足本院各类应用软件上线要求同时，保证了医院信息系统的高可用性、业务的不间断性、服务器部署能力和一体化管理能力的提高，利用超融合技术突破了原有刀片虚拟服务器给信息化发展瓶颈，具有更弹性的横向扩展能力。从本院实践来看，本院选择超融合虚拟化和云计算技术的解决方案，体现了更强的IT资源管理和容灾性能，显著降低运营成本，提高管理灵活性[2]。

本院在2015年实施部署了一套基于EMC存储的双活数据中心，一套设备部署在核心机房，另一套设备部署在住院大楼，同时各部署了1套IBM FLEX刀片服务器，由虚拟机和多个节点分布式存储资源池相结合组成一个虚拟化系统，由8台高性能服务器和2台EMC VPLEX网及EMC VNX存储组成。随着医院业务规模和种类不断扩大，虽然逐渐感受到服务器虚拟化带来的便利和高效，但每当新业务需要存储空间时，分配各项资源需要进行反复核算，无法随服务器计算能力的扩展实现存储容量的存储水平或垂直扩展 ，存储资源利用率低 ，安全性差。图1为我院基于EMC存储的双活数据中心示意图。

图1 我院基于EMC存储的双活数据中心示意图

1 虚拟化平台基础架构建设部署

1.1 需求分析

本次信息集成平台方案核心就是将应用系统如：HIS、PACS、RIS、LIS、EMR等数据库进行集成融合，便于医院决策分析平台，后台运维管理系统，OA办公自动化、数据上报平台等顺利应用。在医疗技术和计算机技术日新月异的今天，信息系统需要简单、高效、安全、易于扩展、易于管理，利用超融合技术对硬件资源统一整合管理是迎合了这种发展趋势[3]。

1.2 系统集成的内容

HIS、EMR、集成平台等应用是医院最核心的应用之一，核心HIS的数据每天提供大量用户访问的计算资源和存储资源及网络资源，其特点为需要大量的CPU和内存及需要大量的存储IOPS性能，其他门户和应用前置机等应用则是大并发，需要提供大量用户访问，然后将用户需要的数据从数据库中读取，因此不需要非常大的CPU和内存，但是需要保障应用稳定，前置机等应用支持负载均衡技术，可通过负载均衡将用户访问分担到不同的前置机服务器[4]。

基于此，医院信息系统数据中心集成平台的建立，对各个子系统进行设备集成，满足医院各类应用软件上线要求；超融合具有更弹性的横向扩展能力，可以为数据中心带来最优的效率、灵活性、规模、成本和数据保护，系统整合及数据迁移，实现原有系统设备利用、数据迁移及重新部署。

1.3 系统部署

1.3.1 硬件网络部署

鉴于医院核心应用系统为医院信息集成平台、电子病历等应用，经多次论证，决定采用软件定义的超融合模式进行环境部署，基于软件定义的平台以超融合打造的分布式IT架构，进行系统集中监管，实现平台特性的可编程化，建立从底层数据到上层应用的高可靠性、高可用性、负载均衡的网络硬件平台[5]。

为保障核心医院决策分析平台对数据存储的大量读写能够降低延迟，采用3副本，新区大楼异地部署7台DELL R740超融合服务器，2颗Intel Xeon X5118 CPU，16颗 32 G DDR4内 存，2块 800 GB SATA 2.5” MLC G3HS EnterpriseSSD，12块 1.2 TB 10 K 12 Gbps SAS 2. 5” SAS，1 块 阵 列 卡 Controller，2 块 Intel X710‐DA2 ML22xlOGbE SFP+ Adapter，2块 SD Media， 以 及 数 据中心部署3台DELL R740超融合服务器，2颗Intel Xeon X5118 CPU，16颗32 G DDR4内 存，2块800 GB SATA 2.5”MLC Enterprise SSD，8块 960 GB SATA 2.5”MLC Enterprise SSD，1块 阵 列 卡 Controller，2块 Intel X710‐DA2 ML22xlOGbE SFP+ dapter，2块SD Media，提供数据存储空间，通过华为CE6850万兆裸光纤将两地数据中心连通最终实现双活数据中心（可提供大量的计算资源），通过VMware VSAN企业级软件定义存储软件将服务器虚拟化，分别提供给核心应用使用。

新的超融合基础架构下的应用虚拟化平台建设好后，它完全兼容现有的虚拟化平台，并且原有的传统架构下的虚拟机可以实现在线的数据迁移。同时对老的虚拟机版本统一升级到6.5版本。图2为超融合服务器架构图。

图2 超融合服务器架构图

1.3.2 网络负载均衡

在医院两层架构的核心业务具有数据量大、高并发等特点，采用负载均衡机制，采用F5 均衡负载F5‐BIG‐LTM‐I2600根据设定的负载策略，每秒L7 请求数350 K,把请求分发到集群中的每一台服务器上，每秒L4 连接数125 K，让整个服务器群来处理业务请求，从而达到提升性能的作用。

1.3.3 防火墙

服务器部分属于医院整个数据中心最核心的部分，与其他网络互联时必须通过防火墙进行隔离，外部用户只能访问服务器端固定开放的端口，其他端口禁止扫描及使用，最大限度地保护服务器部分的安全。外网出口部分需要使用防火墙进行保护，主要功能为NAT功能，将内网地址翻译为外网IP，内部PC可以访问外部Internet网络，同时也对外部网络的攻击进行防护。通过 VMware NSX 平台提供的扩展服务插入和服连接口，将安全业务虚拟机透明的部署在每台 ESXi主机上。SG‐6000‐CloudHive安全策略能够跟随虚拟应用的变更而动态的变化。在VMware NSX的流量重定向能力的配合下，将可能产生的漏洞端口堵住，减少攻击，能够实现微隔离、可视化操作[6]。

2 虚拟化技术的应用

2.1 数据库备份与恢复

针对关键业务以及虚拟机本身在距离数据中心5 km处建立影子虚拟机保护，核心数据基本存放与虚拟化平台上，采用DELL R740备份一体机，配置2颗intel Xeon 4110 CPU，32 G内存，6块8 T NL_SAS磁盘，提供Veer备份软件功能。

重复数据消除技术不再需要在每台服务器中安装备份agent软件，将文件分解成多个子段以确定哪些子段具有唯一性，从而最大限度地减少备份存储需求，可对全虚拟化平台业务进行自动化备份以及业务连续性保护，通过基于中文client端的直观用户界面，可以轻松恢复完整虚拟机或单个文件，并采用快速磁盘备份，能够实现可靠的恢复[7]。

2.2 安全资源池规划

资源池划分为计算、存储、安全、网络和管理5个子系统，服务器虚拟化将硬件、操作系统和应用程序一同装入一个可迁移的虚拟机档案文件中，能够实现设备资源池化，每台机器上有多个负载，对资源进行共享，软件相对于硬件独立，采用软件定义的数据中心，改变了传统数据中心的运行和管理模式，数据中心已经转有运行在基于x86服务器的虚拟化软件所管理。存储池采用横向扩展及纵向扩展，本部采用三节点全闪设备，异地采用7节点磁盘和闪存设备节点之间的延时可以在100 ms以内，延时小于5 ms；逻辑交换运行于三层网络之上的二层网络，与物理网络解耦；逻辑路由在虚拟网络之间以及虚拟网络和物理网络之间路由；逻辑防火墙为分布式防火墙，内核集成。

这种转变提供了极大的灵活性和可控性，同时提高了效率，也大大降低了成本，提高现有医院数据资源利用率，系统扩展能力强，可根据业务量弹性扩容，适应业务系统突发需求。资源能够自动分配，缩短系统部署周期，加快业务上线速度，当集群资源不足时，可对集群增加计算或存储资源，方便医院数据自动化、合理化分配及应用[8]。

2.3 安全配置

通过VMware NSX 平台提供的扩展服务插入和服务连接口，第三方公司vSOM组件能够从VMware NSX平台同步配置信息，通过SG‐6000‐CloudHive将安全业务虚拟机透明的部署在每台ESXi主机上。可按照医院系统应用情况，创建和变更快速的制定安全策略，能够跟随虚拟应用场景的变更而动态的变化[9]。

3 应用效果评价

VMware vSphere6.5虚拟化技术搭建服务器群底层平台运行近1年，陆续将之前IBM FLEX刀片服务器上EMR、PACS、移动护理等重要系统，迁移到虚拟化平台，其应用效果明显，主要体现在以下几方面。

3.1 服务器替换整合

医院的HIS、LIS、RIS业务服务器使用时间都超过8年，EMR、PACS业务服务器超过5年，内存、CPU、网络、I/O存储等硬件都不能满足现有业务的需求，且由于各性能不能协调运作，造成瓶颈。将实体机原有操作系统、应用程序和数据制作成镜像，将IBM FLEX刀片服务器添加到VMware vSphere Client控制台，对其克隆，部分系统迁移到新虚拟化平台，通过网络从原有环境迁移到虚拟化所搭建的光纤通道阵列中，可以在不影响生产业务的情况下，用较快的时间将这些系统迁移到虚拟服务器上[10]。上线1年来，整合部署虚拟服务器36台，虚拟化技术将多个系统整合到一台服务器上，系统的兼容性问题得到解决，部署时间短，统一管理平台，服务器的资源得到充有效的利用，可以实现零宕机的硬件维护和升级等资源得到合理利用。表1为刀片机与超融合服务器资源整合、资源部署、设备利用率等方面情况比较，差异有统计学意义（P<0.05），表明超融合具有明显优势。

表1 刀片机与超融合服务器硬件资源整合、部署、利用率等方面情况比较（%）

3.2 应用系统快速部署

利用虚拟化平台预置的虚拟机模板及虚拟机的导入、导出和复制功能，可以主动地提前规划配置资源，快速部署了数据库、中间件等，同时支持在线扩展内存、存储等热添加方式，服务器部署时间从数小时安装系统、安全设置、打补丁等压缩至几分钟，数据库配置、应用加载、中间件部署等时间也缩减到几分钟，从根本上改变了新应用上线部署周期长的局面[11]。近一年来，利用虚拟化平台部署虚拟服务器62台，特别值得一提的是，在疫情防控期间，时间紧任务重，加上春节期间，无法购买到物理服务器，因为部署虚拟化服务器，大大节省购买和部署服务器时间，成功部署了疫情上报服务器、云影像服务器、预约诊疗服务器、分诊叫号服务器、自助机服务器等，解决了大量实际困难。图3是超融合架构在医院信息系统中应用VSAN群集。

图3 超融合架构在医院信息系统中应用VSAN群集

3.3 集中统一管理平台

医院数据中心资源呈几何级增加，且数据重要性不言而喻，机房服务器和存储设备的运行管理日益重要复杂。信息工作人员登录vSphere Web Client端在统一管理平台里，以实现虚拟化高可用性功能，就可以对所有主机和虚拟机以及山石云格进行统一管理，全面监管，自动通知和报警，主要包括：虚拟机模板建设及备份；虚拟机快照实现实时系统恢复；虚拟机实时监控，在线迁移。统一管理平台高可靠性保证不停机和数据不丢失，实现服务不中断[12]。

4 讨论

超融合虚拟化和云计算技术在我院的成功部署，满足医院信息集成平台和各类应用软件上线要求，保证医院信息系统的高可用性，业务的不间断，提高服务器部署能力和一体化管理能力。目前，在超融合平台上安装运行了近120台各类虚拟化服务器，除HIS业务以外，还包括PACS、RIS、LIS、CIS、移动护理等所有的医院业务办公系统。原有刀片服务器没有足够的硬盘插槽，且受冷却条件和紧凑机箱的限制，刀片服务器CPU性能较低，电源功率和机箱空间也限制了可安装的DRAM内存容量。利用超融合技术突破了原有刀片虚拟服务器给信息化发展瓶颈[13]，能拥有更多的驱动器用于实现数据冗余和网络共享，具有更弹性的横向扩展能力，多节点可以通过网络聚合起来，形成统一的资源池，可以为数据中心带来最优的效率、灵活性、规模、成本和数据保护[14]，有效地整合了医院信息系统的服务器资源，减少服务器数量，降低运维成本，资源共享和容灾备份，节省机房空间，减轻UPS、精密空调压力，实现节能减排，消除了因服务器硬件故障造成的系统停机隐患。虚拟化技术在架构设计中将变得更为流行，将为医院数字化建设提供了强有力的支撑和保障，为互联网医疗奠定基础。但是由于系统部署简单，带来虚拟机数量过多，虚拟服务器散乱现象，导致管理难度大幅提高。通过虚拟化技术，可以成功地实现服务器替换和整合，尽可能将物理服务器数量减到最少，实现软件与硬件相对分离目标，加速应用业务和测试环境的部署，同时，借助虚拟化架构统一管理平台，自动通知和报警，自动化容错纠错，降低了风险管理的难度，显著提高各模块可用性和可靠性，为医院信息系统的业务连续性和节能减排做出贡献，取得较好的经济效益和社会效益[15]。