基于多资源池的医疗数据中心建设实践

高彭彭 陈佳佳

摘  要：随着“5G+”、“互联网+健康医疗”、智慧医疗技术的不断发展融合，医疗行业发展速度的加快，医院各项业务正常运行对信息技术的依赖程度也越来越高。在此基础上，如何构建高效运行、架构合理且安全的数据中心成为医院面临的重要挑战。某县级医院采用超融合基础架构，科学评估超融合集群计算存储资源，建设高度虚拟化、基于软件定义下的数据中心基础设施。不同于传统的逻辑资源划分，本文按照功能和区域将数据中心划分为内网计算存储资源池、外网应用资源池、桌面云资源池、安全资源池和容灾备份资源池共五大资源池，通过基于多资源池医疗数据中心建设实践，有效提升全院业务系统性能，保障了医院业务安全和连续性。

关键词：多资源池  数据中心  资源需求  超融合

中图分类号：R197.3          文献标识码：A                  文章编号：1674-098X（2021）02（c）-0127-05

Multi-resource Pooling Medical Data Center Construction Practice

GAO Pengpeng1  CHEN Jiajia2*

（1.People's Hospital of Helan County，Yinchuan， Ningxia Hui Autonomous Region， 750200 China; 2.People's Hospital of Helan County， Yinchuan， Ningxia Hui Autonomous Region， 750200 China）

Abstract： With the continuous development and integration of "5G+"， "Internet + health care"， and smart medical technology， the development of the medical industry has accelerated， and the normal operation of various hospitals' businesses has become increasingly dependent on information technology. On this basis， how to build a data center with efficient operation， reasonable structure and safety has become an important challenge facing the hospital. A county-level hospital adopted a hyper-converged infrastructure， scientifically evaluated hyper-converged cluster computing storage resources， and built a highly virtualized， software-defined data center infrastructure. Different from the traditional logical resource division， this paper divides the data center into five resource pools in accordance with functions and regions： intranet computing storage resource pool， extranet application resource pool， desktop cloud resource pool， security resource pool， and disaster recovery backup resource pool. Through the construction practice of medical data center based on multiple resource pools， the performance of the whole hospital's business system is effectively improved， and the safety and continuity of hospital business is guaranteed.

Key Words： Multi-resource pool; Data center; Resource demand; Hyper-convergence

隨着“5G+”、“互联网+健康医疗”、智慧医疗技术的不断发展融合，医疗行业发展速度的加快，医院各项业务正常运行对信息技术的依赖程度也越来越高。通过信息化手段进一步提高系统可用性和稳定性，同时实现数据中心的节能减排[1]，有效降低中心运营成本，建设无单点故障和单点瓶颈、“永远在线”、可灵活扩展的医疗数据中心是所有医院信息中心管理者的努力目标和方向。

2019年5月国家正式发布《信息安全技术网络安全等级保护基本要求（GB/T 22239-2019）》标准，结合2018年4月国家卫生健康委发布的《全国医院信息化建设标准与规范（试行）》要求，医院信息化基础设施建设需以等级保护框架为基本要求，结合各种安全技术措施的组合，从外到内构建纵深、主动的防御体系，并对承载的EMR、HIS、LIS、PACS、CIS等核心业务系统进行分层分域管理，从横向到纵向保护医疗业务的稳定运行和数据安全，有效应对网络安全事件，维护医疗数据的完整性、保密性和可用性的目标。

1  概述

自20世纪90年代末以来，医院信息化分别经历了以财务收费为核心的医院管理信息化阶段，以业务系统建设支撑管理和临床的医院业务应用导向阶段，到目前以建设数据仓库、临床数据中心（CDR）以及医院信息平台的医院互联互通导向阶段[2]。以数据为中心、整合资源服务临床、决策和科研过程，提高医院的科学化、规范化、精细化水平，正在成为当前医院信息化发展的重要方向。

某二级医院是当地最大的公立非营利性综合医院，占地面积60亩，开设10大住院病区和30个门诊科室，承担县区30万人口的基本医疗和公共卫生服务。医院从2010年开始进行信息化建设，其中基础平台设施经历了物理机阶段、双机热备阶段、服务器存储虚拟化阶段。目前全院信息系统业务子模块包含HIS、LIS、EMR、OA、PEIS、HRP、院感等在内的共21个系统、75个子模块，数据库主要有Oracel、SQL Server、MySql、DB2等，月新增容量约1T，目前数据总容量21TB。终端硬件设备超过500个，服务器和存储近30台，而且因为前期信息化均处于分散投入、分批建设模式，导致硬件品牌有14个，其中存储品牌4个，安全设备品牌6个，服务器品牌5个。核心业务通过VMware存储双活技术进行冗余，同时通过Oracle RAC和Dataguard技术进行数据库的负载均衡和冗余备份。但是包括诊间支付、院感管理、不良事件上报、心电系统等近15个业务系统在纯物理机上运行，无容灾备份机制。

2  医院数据中心建设需求和目标

随着国家强基层和分级诊疗战略的不断深入和医院新技术新业务的积极开展，为进一步满足辖区内城乡居民的就医需求，分别新购包括MRI、CT、DR、彩超、电子胃肠镜和腹腔镜等多台设备，三年内日数据增长量呈爆炸式增长。移动护理、移动查房、质控中心、院感中心等业务模块紧密上线，信息系统对计算与存储资源的需求呈指数增长，对数据中心基础设施的扩展性也提出了非常大的挑战。

2020年初新冠疫情爆发，如何能第一时间快速上线新的业务系统，传统线下诊疗方式持续向线上延伸，以前数据中心采取的纵向扩展性能有限，即使考虑使用分级，需要额外购买软件许可，成本开销很大。同时虽然使用x86架构服务器做虚拟化，但共享无保障，不同厂商品牌设备组合效果不好，也有IO瓶颈。

基于以上，医院计划新建以持续发展的临床业务需求为导向，以动态扩展为特征，结合分布式存储和虚拟化云安全的基础属性，打造具有前瞻性和未来云化升级基础的数据中心架构。

建设目标：

（1）无单点故障和无单点瓶颈;

（2）“永远在线”的业务系统;

（3）跨软/硬组建的深度分析能力;

（4）中心资源全面软件定义;

（5）运维管理方便快捷。

3  多资源池化数据中心建设实践

3.1 医院数据中心架构选型

传统医院信息技术实施路径正逐渐从物理部署方式向云化转型，其实施路径大致分为物理部署、虚拟化、云化（资源整合）与全面云化（业务敏捷）这个过程。本次数据中心项目建设是医院数字化转型的关键工程，将现有的虚拟化烟囱整合为资源池，实现统一管理、共享使用，简化数据中心基础架构，为以后基于业务敏捷的云化架構打下坚实的基础。

超融合架构技术是在一个设备单元内同时具有云计算、网络、数据存储等资源，结合虚拟化技术，其中包括SSD缓存加速、重复数据消除、数据压缩[3]、多副本存储保证等业务连续性的一系列元素，最终形成一个统一的资源池型框架。超融合架构（如图1）在数据中心中承担着计算资源池和分布式存储资源池的作用[4]，极大简化了数据中心基础架构，同时以软件定义计算资源和多副本存储方式实现业务数据无单点故障、无单点瓶颈，具备随时分配、随时扩展、性能线性增长的能力。

目前超融合主流厂商主要有：Nutanix Acropolis Enterprise Storage、Vmware Vsan、Smart X ZBS、深信服 Asan、华为 FusionCube、华三UIS 等。

在本次数据中心规划建设中，综合医院原有基础设施基于VMware虚拟化技术，为保证技术延续性和成本控制，选择VMware 的VSAN 7.0方案作为本次数据中心建设的基础架构选型。而VMware本身也是全球虚拟化和云计算基础架构的领导者，软件原生集成计算、网络和存储虚拟化技术和自动化管理功能，具备非常强的兼容性和耦合性。

3.2 建设案例概述

3.2.1 超融合集群规划原则

（1）同一个集群尽可能使用同类型服务器，硬件资源尽可能相同，尤其是CPU型号;

（2） 规划集群规模考虑资源冗余，CPU、内存和存储资源需额外规划10%～20%的资源;

（3）考虑到资源冗余和集群高可用性，单个集群的节点数量要求最少4台。

3.2.2 虚拟机计算资源需求计算

按照医院未来业务发展，在不考虑AI等图形资源消耗处理的情况下，非核心业务平均每个虚拟机需要资源为：4个vCPU，32GB 内存，则25个业务系统需要100个vCPU和800GB内存资源。核心业务EMR和HIS，需要至少一台1应用服务器和两台数据库服务器做RAC，每台服务器规划计算资源16vCPU和64GB内存，因此按照现有业务计算共需148vCPU和1T内存。

考虑10%～20%的冗余度，则整个超融合平台最佳配置为192vCPU，2304GB 内存，考虑冗余节点，实际超融合平台单节点配置CPU 48核，内存576GB，共5台服务器做超融合集群。

3.2.3 虚拟机存储资源需求计算

虚拟机硬盘需求总量=vDISK*每个虚拟机需求数量，按照40个虚拟机设计，平均每个虚拟机规划需要800GB硬盘，则需要32TB。

结合超融合vSAN虚拟存储多副本设计原则，则整个超融合平台硬盘需要裸容量64TB，按照20%冗余度设计，需要至少配置76TB总硬盘容量（5个节点），平均到每个节点则配置为19TB（8块2.4TB 10K转硬盘）。

超融合平台采用5节点组成超融合集群，为医院全院信息系统业务提供高性能计算、存储资源，并满足业务连续性和高可用要求。

3.2.4 网络资源需求计算

网络资源池在规划时考虑未来云融合架构的扩展性，由传统三层架构改成二层架构网络，同时利用 “多合一”的网络虚拟化技术支持设备间的冗余，通过“一分多”的虚拟网络技术简化系统运维。在本次项目实践中，内网核心交换机是两台华为CloudEngine 16804做网络虚拟化，通过40GE光纤互联提高核心链路利用率，同时实现负载均衡。数据中心网络系统采用VxLan和SDN技术将网络的控制层和数据转发层相分离，实现网络快速部署和流量可视化，同时可以快速定位故障点，配合使用虚拟端口组技术提高数据传输效率。

3.3 基于多资源池数据中心规划

与传统按照各类基础设施进行划分逻辑资源池不同，本次项目按照业务功能和区域将数据中心划分为内网计算存储资源池、外网应用资源池、桌面云资源池、安全资源池和容灾备份资源池共五大资源池，如图2，形成一个绿色、高效、一体化的医院数据中心整体架构。

3.3.1 内网计算存储资源池

承载内网核心业务数据，通过5台x86物理服务器，每台2颗24核CPU、576G内存和23TB存储（含3.84TB SSD固态硬盘做缓存盘，19.2TB SAS硬盘做容量盘）。内网计算存储资源池可创建虚拟服务器40～50台，存储均采用多副本分布式存储，有效保证高峰值访问并发量和临床业务连续性。即使其中某一台物理服务器出现故障，业务数据会通过VMotion功能自动将应用和数据一起漂移至其他服务器。在这个过程中，业务不受任何影响，终端使用用户几乎没有感知。

3.3.2 外网应用资源池

随着“互联网+健康医疗”和智慧医院建设、移动支付业务的不断推进，大量内部应用系统需要和互联网侧数据作交互。为保障医疗数据安全，网络基本架构通常使用网闸设备做内网和外网两侧的安全隔离，网闸采用非TCP/IP协议进行基于端口的数据“摆渡”。与外网交互功能模块和需求的日益增多，传统购置纯物理机做前置机一方面无法灵活扩展和冗余，另一方面随着前置机规模增大，资源浪费和管理困难度也随着越来越大。

本次项目建设中对互联网区域采用4节点超融合服务器，综合外网区域应用场景，大部分前置机业务对计算存储资源性能要求不高，采取利旧升级方式，改造目前在用的物理服务器，形成完成外网区虚拟化集群，实现服务器资源的整合。

3.3.3 桌面云资源池

桌面云目前主要分RDV、IDV和VDI三种，不同的架构模型均有自身的优势和应用场景。桌面云技术将硬件虚拟化，达到达到按需分配、集中管理的模式。结合医疗行业背景，在本次项目中选择VDI平台构建一站式桌面云资源池。采用两台高性能服务器，组建总容量达80核、512G内存的主备桌面云资源池。在医院内网环境内，使用ARM架构下的瘦终端，接入桌面云系统获得与传统PC一致的使用体验，不同科室不同业务部门灵活分配资源配置，同时实现高可用和高可靠性[5]。

3.3.4 安全资源池

安全资源池基于软件定义技术将医疗系統所需要的各项安全能力统一集成到通用的硬件资源设施中。摒弃传统的物理安全设备堆叠，采用虚拟安全资源池的方式，实现包括访问控制、IPS入侵防御、WAF防护、网页防篡改、安全审计、漏洞扫描在内的各类安全组件，灵活配置、按需开启，提高基础资源利用率。在近几年来国内外信息安全事件层出不穷的大背景下，虚拟安全资源池升级扩展也具有得天独厚的优势，同时也简化运维，提高信息中心管理工做效率，完成安全配置自动化部署和统一管理。

3.3.5 容灾备份资源池

由于医院业务的特殊性，任何人为或自然因素所导致的应用或系统中断、丢失，都会造成医院巨大的经济损失[6]，因此一套完整的容灾备份体系是医院信息化建设需要重点考虑和规划。本次项目在本院区结合Oracle RAC和DataGuard等技术实现数据库快速切换和灾难性恢复，同时采用云端双活主备机制，将数据中心和云端业务都是活动的状态，并且实时同步。当本地机房出现网络或灾难性服务器故障时，终端访问自动转移至云端，整个过程无需人工操作，业务不受任何影响。云端灾备资源池通过万兆光纤专线和本地数据中心直连，PRO和RTO趋向于零，支持任意时间节点的数据回退，实现对信息系统数据、应用等整体容灾备份。

4  结语

基于多资源池的医疗数据中心建设可以极大地满足医院在目前“互联网+健康医疗”、移动支付、线上问诊和网络安全的发展需要，是传统医疗行业在未来信息化建设发展中的有效尝试和实践，同时也实现了应用部署敏捷化、运维自动化和统一管理的要求，有效提升全院业务系统性能，保障了医院的业务连续性和稳定性。

参考文献

[1] 肖激雷，董建成.医院私有云数据中心应用探讨[J].医学信息学杂志，2016，37（12）：30-33.

[2] 李颢.医疗数据仓库中数据抽取-转换-加载（ETL）系统的研究与实现[D].北京：电子科技大学，2020.

[3] 陈雪峰，段劲宇，杜安瑞，等.超融合架构在医院现代化数据中心的应用实践[J].医学信息学杂志，2018，39（12）：36-41.

[4] 高东平，李伟，王士泉，等.医学大数据应用信息系统策划与设计[J].中华医学图书情报杂志， 2017，26（8）：1-7.

[5] 王珂.云平台中的瘦终端协议的设计与实现[D].北京：电子科技大学，2018.

[6] 孔明军，李芹，王瑜.医院信息系统双活容灾备份体系的实现探讨[J].科技创新导报，2017，14（7）：129-130.

[7] 韩煜.医院临床数据中心构建的思路分析[J].医学信息，2020，33（17）：18-19.