数据资源存储高可用建设研究与实践*

韩吉义

（内蒙古师范大学图书馆，呼和浩特 010022）

随着信息时代的不断发展，各种数据资源数字化程度越来越高，数字资源所占的比例不断提高，用户也越来越习惯于使用电子资源。特别是数据资源管理部门，数据结构的开放性和内容多样性，以及信息快速发展和大数据化，都对数据存储设备提出了更高的要求：大容量、高性能、高可用性、安全性。

1 数据资源存储现面临问题

一是为了满足日益增长的信息要求，各单位不断引进各种相关数据库，购买专业资源库，使得本地数字资源呈井喷式增长，数据增长量之快导致原有的存储容量已经不能满足扩充的需求。

二是近年来，各单位注重本地数据资源数字化建设，自建一些数据库，为当地社会经济文化发展服务，特别是那些重点部门和重大科研项目的数据库建设，这些资源的数字化，极大地丰富了本地资源库，同时也必将对存储容量产生巨大的压力，许多地方文献都是以图片、音视频为载体，所占空间较大。

三是为了满足不断地增加的数据量，各单位只能不断地购买存储设备，增加存储容量，导致经费紧张，存储数据的成本在不断地增加。

四是各单位在数字化建设发展过程中不断增添存储设备，不同品牌的存储产品，复杂的存储基础架构，导致异构存储设备大量存在，存储空间利用率不高，对日常存储管理也带来很多不利，数据迁移、容量扩充都要停止服务后才能进行，当一个目录下存放的资源超过一定数量后，很可能会导致文件查找效率下降，影响到上级存储中结构化数据响应时间和运行效率，而且很难进行数据维护。

五是面对复杂的存储环境，对数据资源管理人员也提出了更高的要求，为了有效管理这些设备，需要具有强大的技术储备，需要更多的熟悉各种厂商产品才能维持系统的正常运行，运行维护的人力成本显著增加。

六是越来越多的数据资源放在复杂的存储环境中，同时还需要不间断提供服务，对数据的高可用性及安全性也是一种挑战，一旦因存储设备问题导致数据出错、丢失或设备宕机，将会产生不可估量的损失。

2 存储虚拟化

存储虚拟化是将多个存储设备抽象为一个存储资源池，通过将一个或多个目标服务与功能，与其他附加功能实现集成，实现全面功能服务的提供。通常来说，存储区域网络SAN（Storage AreaNetwork），在实现虚拟化存储后会被视作服务器操作的一个子系统，从而实现集中管理和统一部署[1]。

存储虚拟化是一种贯穿于整个IT 环境、用于简化本来可能会相对复杂的底层基础架构的技术，它能将资源的逻辑映像与物理存储分开，根据具体的需求把存储资源动态地分配给各个应用。在存储虚拟化条件下，可以通过磁盘阵列模拟存储池，为应用提供速度像磁盘一样快、容量却像存储池一样大的存储资源[1]。

通俗理解，将已有的存储资源虚拟成一个“存储池”，把许多零散的存储资源放在一起并有效地整合起来，采取集中化管理，并根据具体的需求把存储资源动态地分配给各个应用服务。管理人员操作时不需要了解具体的分区位置、磁盘驱动器等信息，根据应用服务的需求从存储池中划分出相应的空间即可，可以人工管理，也可以通过第三方程序自动进行识别、部署和管理。虚拟化隐藏了物理层的存储结构，降低了系统管理复杂性，而且虚拟化还可以提高存储整理利用率，减少宕机时间的概率。

为保证磁翻板液位计的稳定运行，深圳计为自动化技术有限公司(以下称“计为”)将磁翻板液位计防护等级的最低出厂标准定为IP65。至此，计为旗下所有系列磁翻板液位计的防护等级均高于国家行业标准规定的防护等级IP54，能够更好地满足不同用户不同工况下的使用要求。

考虑到现在面临的问题及未来的发展趋势，也为了提升信息设施管理水平，可以采用存储虚拟化来解决：即采用虚拟化技术，通过多个服务器和存储，实现存储资源的整合和统一管理，来满足各种类型的系统和网络的要求。

2.1 高可用性

虚拟化可以在不中断的情况下进行数据迁移、软硬件升级、备份和还原操作，提升数据可用性，同时，不用对服务器和网络进行设置，容量按需分配，这样可以提高存储数据高可用性和工作效率，保障业务连续性，还可以帮助降低设备购买成本和安装复杂性，提升基础架构的灵活性和可用性。

2.2 灵活性

随时根据服务需求更改存储容量，灵活分配满足服务要求的若干子存储空间。从虚拟存储池创建一个逻辑卷分配给前端应用使用时，可以指定该逻辑卷是创建在虚拟存储池里一个存储逻辑单元上还是创建在多个逻辑单元上，或者指定的某几个逻辑单元上，其分布灵活，给操作人员提供了多种灵活使用的措施，便于对逻辑卷的性能进行优化设计。

2.3 兼容性

利用存储网关对原有不同品牌的存储进行整合，将以前不同时间购买的存储组成一个存储池，用网关对其进行异构整合，优化数据存储环境，统一管理。管理人员无须为将来是否可以采用异构存储而烦心，只需要考虑将来什么存储设备更适合自身的应用即可，简化存储设计的复杂程度，强化存储的管理。

2.4 动态分配性

虚拟化可以实现动态资源调整，对存储资源进行管理，也可以根据制定策略进行管理。这使得在不断变化的工作负载中也能实现平稳发展，实现存储使用率实现最大化。当一个逻辑卷创建完成，在使用的过程中，可以根据实际需求动态调整；数据增长量不大，分配空间过剩，或数据增长过快，导致其很快接近饱和时，都可以在线对该逻辑进行减容或扩容。

2.5 便利性

虚拟化可以减少管理多个设备接口的必要性，也无须花更多时间来管理和跨SAN 服务级别的需要。这将有助于减少设备管理的时间和成本支出。

2.6 保护性

实现数据冗余，提高数据安全性，对数据提供有效保护。利用虚拟技术可以在存储池中划分相应的镜像数据；生产数据的备份，通过相关技术使得镜像数据始终与生产数据随时同步，一旦生产数据损坏或丢失，镜像数据可以转换为生产数据继续服务。虚拟化实现数据冗余，保证了数据的安全性，使得有效数据在不同情况下依然提供服务。

借助虚拟存储将复杂的存储虚拟化环境简单化，让存储真正实现按需分配，基于存储的虚拟化手段，目的就是面向用户的应用进行优化，存储虚拟化可以解决异构平台的数据管理问题，存储虚拟化可以把用户不同的存储系统融合成单一的平台，解决数据管理问题，并通过分级存储实现信息的生命周期管理，从而进一步优化应用环境。

3 数据资源存储虚拟化实践

3.1 方案设计

以内蒙古师范大学图书馆存储建设为例，采用存储虚拟化建设。内蒙古师范大学图书馆先前已经做了服务器虚拟化建设，根据目前存储虚拟化的研究及应用效果，结合图书馆现有的技术环境条件，业务工作的实际需求，设计了“2+1”式解决方案（图1）。运用虚拟化技术，利用存储网关，实现双存储系统运行+一个容灾中心。这个方案可以兼容异构存储，同时具备完整数据保护和管理功能，为虚拟环境提供必要的存储功能支持，帮助虚拟化主机轻松实现各种针对存储的管理工作，实现虚拟化服务器应用级数据自动漂移及容灾，虚拟化服务器自动备份与恢复，利用可靠的技术手段有效提升图书馆原有系统对各类型灾难的防御能力。

图1 存储虚拟化设计

存储网关的就是虚拟化存储的管理设备，在主机端和存储端之间部署一套虚拟化网关，该网关能够虚拟一层文件系统，使连接在网关上的后端存储具有相同的文件模式。它主要就是进行存储异构整合，统一管理存储空间，保存本地存储镜像，同时，还可以提供远程容灾等全面数据保护功能。为用户提供高度整合、高度可靠的扩展性存储基础架构，以更低成本获得更高响应速度，满足快速增长的业务需求。

这个方案中关键是“2”即双存储系统运行（图2）。利用虚拟化技术整合存储，形成存储资源池，由存储网关进行控制管理，在存储资源所在数据层形成两套数据，即生产数据和镜像数据。镜像数据是通过虚拟卷产生的生产数据备份，实时同步且它们的内容一模一样，双存储系统运行即存储系统和镜像存储系统同时工作，通过SAN 给管理层应用提供数据服务，一旦其中一个因故障停止，另一个可以无缝持续提供服务。

图2 双存储系统示意图

通过存储虚拟化管理系统，能实现将数据从一台存储设备上整体迁移到另一台存储设备上，也可以支持从一台存储设备上部分数据迁移到另一台存储设备上，也支持一台存储设备内部数据迁移，存储设备之间迁移可以支持异构存储和通过不同存储通信协议之间切换，并且可以实现在数据迁移完成后，将迁移后的存储设备作为主存储设备，整个数据切换过程对于应用层是无缝切换，不会被应用层感知，严格控制了数据迁移中产生的风险。

采用双存储系统同时运行就是避免单点故障，为用户提供了高可靠性、高安全性的存储架构，有效地减少了宕机概率和停止服务事件的发生。利用前端服务器冗余、后端存储虚拟化及链路冗余等技术手段，来实现服务器、存储等硬件设备故障的快速转移，在无人值守状态下自动切换，保障业务的连续运行，实现双数据中心的存储系统冗余双活高可用，实现应用级容灾。

“1”是指建立一个异地容灾中心。图书馆最关键的内容是各种数据资源，这些数据是图书馆建设多年的积累，也是关键知识的收藏保护和再利用，一旦丢失，损失惨重，增加异地容灾中心就是为了更好地保护这些数据。

“2”和“1”之间通过存储网关和网络进行联系。当业务正常运转时，两地存储虚拟化网关之间网络连接畅通，能够通过统一管理界面同时管理两地存储虚拟化网关，并为两端的存储池配置相同的权限。确定需要进行复制的主磁盘，复制功能要求主磁盘必须配置快照资源，提前为快照资源规划合理的存储空间，确定作为复制目标的副本磁盘资源，如复制到已有逻辑资源，要求与主磁盘同等大小；如在复制配置过程中新建副本磁盘资源，要求预留与主磁盘同等大小的磁盘空间。结合主磁盘数据变化量，可用于复制的网络带宽，规划合理的复制间隔或者复制策略（连续或者增量方式）。当主中心发生故障时，异地可以保证数据副本可以在主数据中心故障解除后进行数据回滚。

3.2 方案实施

在赛罕校区和盛乐校区中心机房各部署1 套存储虚拟网关系统来分别管理两校区的存储设备，并且这两个网关之间也建立通信机制，在赛罕校区实现双存储系统运行，盛乐校区建设容灾中心。

赛罕校区通过网关虚拟化整合原有存储设备，将不同时期购买的存储设备统一管理，不同类型的存储设备只需将其RAID 初始化后的所有存储空间全部分配网关，提供统一的存储资源池，以后的管理维护已经和具体是哪家厂商的什么型号和什么类型存储已经无关，只需要从网关的存储虚拟化管理界面里就可以进行统一规划管理和分配使用，通过简单的图形管理界面即可完成所有规划，降低管理使用的复杂程度。

在创建好虚拟存储池的基础上，提前规划好的应用，分别从对应的虚拟存储池中分割其所需大小的特定逻辑空间给前台应用。如果某一个存储空间使用一段时间后，其所剩容量不足以为下一个应用再次进行存储空间分配时，可以采用扩充原有的存储设备容量或者采购新的存储设备容量，将该扩充容量在线地加入到该存储池中，进行在线扩容。如果有的存储池容量分配过多，有的存储池容量使用增长过快导致容量接近饱和，可以在线确认，如果存储容量分配过多的存储池里有没有使用过的存储空间，可以将该没有使用过存储空间调配到容量不足的存储池里。用户可以自行定义某一个存储池只完成某些高级存储功能，也可以定义其完成所有存储高级功能，这些都可以根据用户的实际需求，来进行合理使用规划，根据自己的业务运行灵活选择的存储空间。

通过虚拟网关存储系统的镜像功能，将来自多阵列的两组LUN 虚拟为一组镜像卷为主机提供数据服务保证两个存储阵列之间数据的实时同步。在实现数据冗余的同时，有效地实现了主机层和阵列层的隔离，主机只能“看到”虚拟化智能存储设备提供的一组镜像卷，阵列层的故障切换对主机层透明。当其中一台存储阵列故障时，另一台存储阵列自动无缝接管业务，提供不间断的数据访问能力。

为保证异构存储之间的数据传输，增加光纤交换机，异构存储之间使用光纤进行数据传输，提高存储池内部传输速度。

在盛乐中心机房部署一套存储系统，作为异地容灾中心。接入SAN 网络中，存储系配置双控制器，采用SAS 磁盘和NL-SAS 磁盘，同时配置自动分层功能，将经常被访问的数据自动迁移到高性能的固态存储器中，将数据量大且访问频率不高的数据放在大容量NL-SAS 中，从而提高数据访问利用效率。将已保护的数据通过远程复制功能软件，按照设定好的复制策略，通过网络依次将数据传输到对端的存储系统上。复制策略根据实际的数据增量和传输带宽灵活制定。利用存储系统精简复制技术，可以实现连续传输的模式，将数据丢失量降到最低。

目前，内蒙古师范大学图书馆存储虚拟化建设已经运行相当长时间了，取得了较好的效果。根据需求设计了5 个存储池：SYSTEM OS、DATA24、DATA27、DATA30、DATA50。面对新增的操作系统、不断增长的数据量、不断扩充的存储空间，该套系统可以快速处理数据，在不停机的情况下能够按需求添加存储和性能修改，同时兼顾各项业务自动化的正常运行。数字资源的有效利用率、访问响应率、稳定服务率都有较大提升，加上制定的存储数据的安全容灾策略，数据资源的安全性也有了保证，基本解决了之前存在的问题，为将来图书馆进一步数字化建设奠定了夯实的基础。

4 小结

使用存储虚拟化解决了当下存储设备一些迫在眉睫的问题，存储设备的建设中，可以兼容不同品牌的产品，在同一基础架构下，使得异构存储设备共同存在，提高了存储空间利用率，在数据迁移、容量扩充等日常存储管理方面更加方便快捷等。但是使用过程中也发现了一些新的问题，例如数据备份策略还不是很合理、存储网关之间的数据传递对网络带宽要求高影响其他业务等问题，这些问题有待进一步解决。

存储虚拟化技术不是万能的，不一定对所有数据类型和系统都合适，但是存储虚拟化是数字化建设的大势所趋。管理人员需要把自己现有的存储资源、存储技术和存储虚拟化相关联，找到最适合自己的存储方案才是最为重要的。