分布式存储技术在医院核心系统中的作用

成晓清

（无锡市第二人民医院信息科，江苏 无锡 214000）

0 引言

医疗行业信息系统中最重要的是信息存储及管理，包括病人临床信息和医院管理信息等。医疗行业IT 部门面临的最明显挑战是信息数字化造成的信息量持续增长与存储容量有限之间的矛盾[1,2]。就拿HIS 系统来说，信息量持续增长带来的存储系统需求有：一是随着就诊人数的增长，需要保证系统的性能满足业务发展的需要；二是需要满足7×24 小时高可靠运行的业务连续性要求；三是需要保证数据的安全性和可恢复性，避免因数据丢失引起的医疗纠纷[3-6]。随着医院不断有新的应用系统上线，数据呈级数增长，原有的系统迫切需要扩容升级[7]。由于医院内的HIS、PACS 和电子病历等系统是在不同时期分批建成的，导致各系统的数据处于分散存储状态。不仅如此，每个系统所采取的存储方式与存储介质也各不相同，而且有些存储系统已经无法满足业务不断发展的需要。随着上述系统应用规模的不断扩大，在数据管理方面的问题日益凸显出来，主要表现为：容量不足，数据调用不便；系统结构相对落后，系统稳定性有待提高；最后，分散存储的模式，严重影响了数据资产的管理效率。分布式存储技术具有大容量、高性能、高可靠、易扩展、易整合、易管理等特点，可以解决上述问题。文中将通过分布式存储技术与传统存储技术的特点及缺陷分析，对分布式存储技术的原理进行介绍，在分析其优势的基础上给出系统设计建议。

1 传统集中式存储的特点及缺陷

目前医疗行业核心HIS 系统底层存储一般都是集中式存储，即一套完整的存储通过iSCSI 或者FC 协议给服务器提供存储空间。一般由两台服务器或者多台服务器作为HA 集群来承载HIS 系统的应用，集中式存储作为共享存储存放HIS 系统的数据，架构图见图1。集中式存储架构优点是稳定可靠，部署较简单，维护方便，但随着医疗数据的增长及业务连续性的要求，一些缺点慢慢凸显出来，主要有：一是存储容量有限制，集中式存储较难横向扩展；二是集中式存储一般采用了“控制器+盘柜”方式部署，所有的功能都集成到了控制器上，对于服务器的性能要求很高，会出现控制器瓶颈，性能会下降；三是集中式存储性能一般，而全闪存存储性能虽好但价格昂贵。总之，带来的问题有系统大而复杂、难以维护和发生单点故障、扩展性差等问题。

图1 集中式存储架构

2 分布式存储架构的特点、优势、原理及设计建议

2.1 分布式存储架构的特点及优势

随着医疗信息化的不断发展，医院的许多业务也呈现出爆炸式的增长，其后端的数据库系统对数据量和性能的要求也逐渐提高。而IOE 这种在过去很多年当中一直占据主导地位的数据库系统架构，已经很难满足高速发展的业务需求，其性能，扩展性，成本等各方面的缺点逐渐暴露了出来。与此同时，x86 平台却凭借自身的开放性以及兼容性等特点，积极拥抱一些革命性的硬件产品，如Flash高速存储设备，InfiniBand 低延迟高带宽网络传输设备等，使得x86 服务器在企业的生产环境中承载关键的数据库系统变为了可能。

分布式存储一般用三台或多台x86 服务器以集群的形式作为存储单元，每个存储节点可配置PCIe Flash 卡，SSD 或者HDD，成为一个独立的存储单元，IO 资源也可按需进行水平扩展。使用两台Infiniband 交换机，防止单点故障。分布式存储的架构图见图2。

图2 分布式存储架构

2.2 分布式存储架构的原理

三台存储节点组成分布式存储，每台存储服务器的磁盘划分为：两块盘做RAID1 安装操作系统，其他的磁盘或者Flash 卡分别做RAID0，作为数据盘，通过IB 网络把磁盘空间映射给计算节点。整个架构使用开源技术和Linux 技术，主要技术原理如下：（1）Infiniband 技术：Infiniband（简写IB）是一种计算机网络连接标准，原来主要用于节点间需要有大量数据传输需求的HPC 高性能计算，随着技术发展和新业务场景出现，使用领域变得越来越广泛。整个IB 网络由主机上的HCA（Host Channel Adapter）卡，IB 交换机和IB 线缆组成，目前IB 设备的主要制造商是Mellanox。IB 网络能够保证在低延时情况（200ns）通过4 倍聚合通道（4X aggregate links）的单个物理接口支持40Gb或56Gb 的带宽，Infiniband 的作用主要是通过IB网络( 包括HCA 卡、IB 线等) 高性能的传输大量 数 据。（2）RDMA 技 术（Remote direct memory access）：RDMA 技术是一种主机到另一台主机的直接内存访问技术，在这过程中不需要两台主机上操作系统的介入。它的出现使得创建一个高吞吐和低延时的网络成为现实。RDMA 支持零拷贝网络互联，通过物理适配器（如HCA 卡）可以直接从应用程序内存区中获取或者传入数据，不需要CPU、cache 和上下文切换的介入，可以和同一时间的其他操作系统操作并行，使得数据的传输延时降低和效率提高。（3）iSER 协议：iSER 的全称是iSCSI extension for RDMA，是数据传输协议iSCSI基于RDMA 技术的一种扩展。传统的iSCSI 协议是通过以太网络的TCP/IP 协议栈来传输的，其传输效率并不高。而iSER 协议则可以将iSCSI 指令转义成RDMA 操作，通过支持RDMA 技术的网络来传输数据。RDMA 支持Zero-Copy, Kernel-Bypass, None-CPU 等技术，可以完全避免数据在应用程序内存以及操作系统缓存之间重复拷贝，并且无需占用主机CPU 资源，大幅提高了数据传输的效率。（4）分布式存储的运行逻辑：每台存储节点上的每块数据盘作为一个pv，通过iSER 协议、Infiniband 交换机把每一个pv 映射给计算节点。计算节点发现存储节点映射上来的pv，通过多路径做聚合，然后通过udev 规则给发现的磁盘做重命名，最后在计算节点的相应目录里面可以看到所有存储节点映射上来的磁盘，作为共享磁盘，给HIS 系统存放数据空间。

2.3 分布式存储的设计建议

分布式存储节点主要用于高性能存储介质的IO 输出，对节点的计算性能要求中等。CPU 配置2颗主流的中低端型号即可满足性能要求，单颗CPU的核心数不少于12 核，单核频率不低于2.2GHz。内存配置不小于64GB。

存储节点一般设计SSD 固态硬盘和SAS 磁盘两种类型的介质用于不同类型数据存放。根据它们的性能和匹配不同的数据业务：SAS 硬盘，两块SAS 硬盘主要用于安装操作系统；NVMe SSD 闪存介质，用于存储数据库的热数据，NVMe SSD 闪存卡的高IO 性能结合网络和存储软件等，保证数据库的高性能。由于业务上的数据写入较为频繁，要求SSD 固态硬盘具备较高的设计写入寿命，要求达到5 年3DWPD 每天全盘覆盖写的要求；SATA SSD固态硬盘，用于存储数据库的归档数据，SSD 固态硬盘的高吞吐写入性能结合网络和存储软件等，保证数据库切换归档日志的高性能。由于归档日志的写入较为频繁，要求SSD 固态硬盘具备较高的设计写入寿命，要求达到5 年1.4 DWPD 每天全盘覆盖写的要求。

一般HIS 数据库的存储资源的使用量约在1TB 左右，且对数据库IO 吞吐要求较高，访问频率 较高，比较适合NVMe SSD 闪存盘。通过多块NVMe 闪存介质的叠加IOPS 能力和吞吐能力能达到超高的水平，满足业务上数据测试的访问要求。

和分布式存储匹配的InfiniBand 交换机设计建议：节点的互联交换机使用100Gbps Infiniband网络，配置两台Infiniband 交换机，组成两个独立的星型网络，实现节点间互联网络的冗余。计算节点上配置两块双端口Infiniband HCA 卡，组成两种节点互联网络，包括访问存储节点的存储网络和计算节点间互相访问的心跳网络，分别占用两台Infiniband 交换机的两个端口。存储节点上配置两块单端口Infiniband HCA 卡，组成存储网络，分别占用两台Infiniband 交换机的一个端口。综合以上2 台计算节点和3 台存储节点的配置要求，目前已经要求两台交换机分别占用7 个端口，同时考虑到未来节点的扩展情况，建议配置36 端口的Infiniband 交换机。同时交换机需要有冗余电源和带外管理功能。

3 传统集中式架构和分布式架构对比

传统集中式架构与分布式架构在硬件投入上的对比：集中式存储硬件投入巨大，每年还需承担高额的维保费用，使用成本太过高昂；分布式架构中选用的全部都是性价比较高的x86 服务器，另外配置PCIe Flash 和IB 设备，价格透明，服务灵活简单。

传统集中式架构与分布式架构在高可用上的对比：传统集中式架构完全由单一的磁盘阵列保证，一是通过raid 技术做到数据的冗余，保证不会因为磁盘的损坏造成数据的；二是通过例如电源的冗余、控制器的冗余等，提高硬件本身的可用性。分布式架构数据库一体机使用最少三个x86 服务器整合成一个大的存储池，并通过以下方式实现存储层的高效利用，一是对数据做mirror，做到数据的冗余；三是保证所有的数据会随机的放到三个存储节点中的任意两个，所以存储节点中的任一节点出现问题，对数据库的整体访问不会带来影响。

传统集中式架构与分布式架构在横向扩展上的对比：传统集中式架构较难实现横向扩展，而分布式架构可以通过添加存储节点的方式在线实现横向扩展。

传统集中式架构与分布式架构在IO 性能上的对比。传统集中式架构在IO 性能上一般使用机械硬盘+闪存盘架构，性能一般。分布式架构存储节点可以插NVMe SSD 磁盘，较传统SSD 磁盘性能有成倍提升。

传统集中式架构与分布式架构在管理上的对比。传统集中式架构一般较难远程管理，大部分问题是通过机房巡检的方式发现。分布式架构可通过web 页面远程进行管理，并且支持遇到故障可自行通过邮件、短信方式进行告警。

4 总结

随着医疗信息化的发展，传统的集中式存储在高性能、高可用、数据持续增长上一些问题日益凸显出来，为了解决这些挑战，分布式、超融合技术逐渐应用到医疗信息化系统中，探索医疗大核心系统的新技术、新模式，将会是重点的发展方向。