基于“自然资源云”的数据灾备系统设计与实现

徐世亮 操 屹 计国兴

1(江西省自然资源事业发展中心 南昌 330025) 2(九江市自然资源档案馆 江西九江 332005)

根据原国土资源部出台的《国土资源部关于做好不动产登记信息管理基础平台建设工作的通知》和《国土资源部信息化工作办公室关于印发“国土资源云”建设总体框架的通知》，某省自然资源厅在2017年开展了“自然资源云”支撑平台和省级不动产登记信息管理基础平台建设项目，建设了“自然资源云”和省级不动产登记信息管理平台，实现了将省级不动产登记信息管理平台作为“自然资源云”的首个应用.随着该省“自然资源云”的不断应用，实现了自然资源“一张图”等应用系统和数据上云.随着省级不动产登记信息管理平台和自然资源“一张图”等系统的深度应用，积累了海量数据，对数据存储和数据安全的要求更加凸显.因此迫切需要升级一套高性能、高容量、高安全性、高可靠性、可扩展性的集中式存储系统，并对重要数据进行有效保护，同时开展数据备份和异地数据灾备建设[1-2].

1 现状分析

根据某省厅数据灾备系统建设的相关要求，首先梳理省厅的各类数据和存储介质，掌握当前正在运行的数据类型、数据大小、数据存储空间等情况，为制定技术方案奠定基础.

从数据内容看，省厅数据中心的数据主要包括现状类数据、规划类数据、管理类数据、社会经济类数据.其中，现状类数据主要包括基础地理、基础地质、资源调查、自然保护地等数据.规划类数据包括基本农田红线、生态保护红线、城镇开发边界、土地利用总体规划、矿产资源总体规划等数据.管理类数据主要包括建设用地审批、建设项目用地预审、采矿权、探矿权等数据.社会经济类数据包括人口数据、社会数据、经济数据等数据.

从存储形式看，省厅存储数据类型包括结构化数据和非结构化数据2种数据.其中结构化数据采用Oracle 11g数据管理系统进行存储，服务器全部使用Oracle RAC的方式进行部署，数据主要包括现状数据、规划数据、管理数据、不动产登记数据.非结构化数据采用NFS文件系统进行存储，主要包括瓦片、业务审批系统附件、办公自动化系统附件、档案文件、不动产登记附件等.

省厅存储各类数据总量约33 TB，分别存储在2台EMC存储设备中.其中1台为EMC VNX 5700，存储容量10 TB；另外1台为EMC VNX 5300，存储容量23 TB.上述2台EMC存储设备使用时间已超过5年，硬件性能下降、访问速度较慢，不能实现存储自动切换.

2 技术方案

2.1 基本思路

根据某省厅数据灾备系统建设的现状分析，数据灾备系统需要建设的内容包括数据中心双活存储、数据中心本地灾备和该省下辖市级(异地)数据备份中心.基本思路是在本地数据中心新增2台高性能的存储设备配置双活，将原有2台EMC存储设备的数据迁移整合至新购的本地数据中心主存储中[3-4].本地数据中心新增1台备份一体机，定期对本地双活存储中的业务系统和数据库进行备份.市级(异地)数据备份中心新增1台容灾存储设备和1套容灾软件，通过远程复制技术实现从本地数据中心的数据通过专线复制到市级(异地)数据备份中心的容灾存储设备中，通过容灾软件每天2次定时发起远程复制任务，以及每天定时发起快照任务，实现数据的异地备份.通过容灾软件可实现业务系统和数据库的快速恢复.按照上述思路，在本地数据中心实现了存储双活，通过备份一体机实现了数据的逻辑备份和恢复；在异地实现了与本地存储数据的异步复制.当本地数据中心任意1台存储设备物理损坏时，双活存储中的另1台存储设备接管并承载业务.当本地数据逻辑受到破坏时，既可以采用本地备份一体机恢复，也可以将异地容灾中心的数据通过专线网络进行恢复.

2.2 技术实现

按照省厅数据灾备系统建设的基本思路，结合省厅数据中心的运行环境(主机和存储系统)以及该省自然资源专网建设的实际情况，提出了某省厅数据灾备系统的技术方案.采用2台华为OceanStor 18500 V3存储设备配置双活作为新存储设备，采用数据迁移技术将原EMC VNX 5700，EMC VNX 5300 存储的所有数据平滑无缝地迁移至双活存储设备中.此次存储迁移涉及的服务器约40台，包括Linux数据库服务器、Windows应用服务器、虚拟化服务器等.由于各个系统迁移的数据量和数据文件格式不同，某省“自然资源云”的结构化数据采用Oracle 12c数据管理系统进行存储，非结构化数据采用双活存储的文件存储服务进行存储[5-6]，因此数据迁移采用以下4种方式进行:一是数据库逻辑导入导出；二是P2V迁移技术；三是VMware主机迁移、存储迁移技术；四是文件复制.后2种方式都需要将新购存储和原使用的存储映射到相应的服务器上.“自然资源云”本地数据灾备和异地数据容灾系统拓扑图如图1所示.

图1 某省“自然资源云”本地数据灾备和异地数据容灾系统拓扑图

通过2台光纤交换机使用光纤线连接2台华为OceanStor 18500 V3存储设备的8 GB FC接口，各连接4路，提供FC业务链路.通过2台万兆网络交换机使用光纤线连接2台华为OceanStor 18500 V3存储设备的10 GB ISCSI接口，各连接4路，提供NAS业务链路.通过华为存储设备自带的双活功能实现本地数据中心2台华为OceanStor 18500 V3主存储数据的实时同步.数据传输全部通过2台存储设备直连的4路光纤通道实现存储底层的LUN到LUN或文件系统到文件系统的同步.存储仲裁通过2台千兆网络交换机连接2台华为OceanStor 18500 V3存储设备的1 GB数据接口，各连接4路，并与仲裁服务器网络互通.2台华为仲裁服务器正常运行时同时挂载2台华为OceanStor 18500 V3存储设备的LUN，2端的LUN数据实时同步，且都能提供主机读写访问.当任何一端存储系统发生故障主机将切换访问路径到正常的一端继续业务访问[7].

以上本地数据双活存储可以在物理上实现数据的一致性，逻辑数据备份则需要数据备份设备来实现.为预防用户逻辑操作错误或系统逻辑故障，在本地数据中心新购了1台爱数VX2400备份一体机，通过光纤线连接到2台光纤交换机，将华为OceanStor 18500 V3存储设备中的LUN映射到备份一体机.通过光纤线连接到2台万兆网络交换机，设置备份一体机的备份策略任务，通过LAN或LAN-Free的方式将数据库服务器和云平台上的虚拟服务器中的数据定时备份至备份一体机[8]，在技术上保障了数据的逻辑错误的备份和还原.某省厅数据中心本地数据备份系统拓扑图如图2所示:

图2 某省厅数据中心本地数据备份系统拓扑图

如图3所示，市级(异地)数据备份中心新购1台容灾存储设备，通过存储设备自带的远程复制功能将该省省厅华为OceanStor 18500 V3存储设备中的重要数据异步定时复制到市级(异地)数据备份中心的华为OceanStor 6800 V5存储设备中，远程复制网络采用100 Mbps的专线[9].通过华为BCManager容灾软件，定时发起远程复制和市级(异地)容灾端存储快照任务.在市级(异地)数据备份中心搭建了数据库服务器和虚拟化平台，可通过华为BCManager容灾软件发起数据库恢复任务，将数据库的LUN通过快照的形式映射到数据库服务器，执行数据库启动脚本启动数据库.通过华为BCManager容灾软件发起虚拟化恢复任务，虚拟化平台的LUN通过快照的形式映射到虚拟化服务器，并修改虚拟机配置启动虚拟机，实现业务系统的快速恢复.

图3 市级(异地)数据备份中心拓扑图

在数据灾备系统建设过程中，采用了基于存储系统的双活技术、基于存储系统的异步远程复制技术、基于容灾软件的业务系统快速恢复等关键技术[10].

1)基于存储系统的双活技术.双活特性中的2台存储设备互为备份，且都处于运行状态.当1台存储设备发生故障时，业务自动切换到另1台存储设备，解决了传统存储架构不能同时承载业务和业务无法自动切换的问题.该省省厅本地数据中心2台存储设备实现了SAN和NAS存储设备的双活功能，且NAS存储设备双活功能在行业内属于较先使用，在保障数据可靠性以及业务连续性的同时，提高了存储系统的资源利用率.

2)基于存储系统的远程复制技术.异步远程复制是指将主端存储系统上的数据周期性地复制到从端存储系统上.通过华为存储系统自带的远程复制功能，定时发起远程复制任务，实现主端存储LUN到从端存储LUN的异步远程复制.远程复制依赖于快照技术，快照是指源数据在某个时间点的一致性数据副本.该省省厅本地数据中心通过ISCSI链路将数据远程复制到市级(异地)数据备份中心采用了该技术[11]，实现了基于存储系统的异步远程复制.

3)基于容灾软件的业务系统快速恢复.华为BCManager容灾软件配置虚拟化和数据库保护和恢复任务，选择业务对应的数据库和虚拟化恢复任务进行恢复.数据库恢复是通过华为BCManager容灾软件发起任务，对市级(异地)数据备份中心容灾存储设备中数据库的LUN创建快照，映射给市级(异地)数据备份中心的数据库服务器，通过数据库启动脚本启动数据库.业务系统恢复通过华为BCManager容灾软件发起任务，对市级(异地)数据备份中心容灾存储中业务系统的LUN创建快照，映射给市级(异地)数据备份中心的虚拟化平台，选择恢复的虚拟机，配置虚拟机网络，修改虚拟机配置文件，启动虚拟机完成业务系统恢复.通过BCManager容灾软件实现业务系统的自动化配置恢复操作可大大降低恢复时间，实现该省省厅本地数据中心业务系统在市级(异地)数据备份中心的快速恢复.

2.3 恢复测试

为了验证“自然资源云”本地灾备和异地容灾数据的完整性、可靠性、正确性，我们在系统建设完成后进行了恢复测试.测试主要分为2个部分：一是本地数据中心存储LUN的优先站点切换；二是市级(异地)数据备份中心的数据恢复.

本地数据中心存储LUN的优先站点切换主要包括双活存储中的LUN从优先站点切换至非优先站点及回切.服务器主机在生产环境下同时与2台华为OceanStor 18500 V3存储设备相对应的LUN建立了映射关系，当需要切换至非优先站点时，在任意1台双活存储中选中对应的LUN，按照优先级进行切换，回切操作相同.如果关闭某台存储设备，双活存储中另1台存储设备正常提供访问.

市级(异地)数据备份中心数据恢复测试主要包括数据库恢复、业务系统恢复.市级(异地)数据备份中心部署了数据库服务器和虚拟化平台[12].当进行测试时，通过华为BCManager容灾软件选择对应的LUN进行恢复，选择需要恢复的时间点后，BCManager自动进行数据恢复并启动虚拟机，通过启动脚本启动数据库，待数据库启动后访问业务系统，进行系统访问和数据验证.经过测试，恢复的数据与省厅数据中心在该时间点前的数据完全一致.

测试结果表明，切换操作简便，技术风险小，达到预期效果.

3 结束语

通过本文方案的实施，实现了某省厅自然资源数据集中统一存储，大大提升了存储性能和前端运算能力.基于华为高端存储设备实现了该省省厅自然资源数据双活，并为核心数据提供了在线数据备份服务，从物理上保证了数据冗余，从逻辑上保证了业务连续性[13]，避免存储故障影响业务的稳定运行.同时，该省省厅在市级(异地)建设了异地数据备份中心，实现了该省厅自然资源重要数据的异地备份，当本地出现不可预料的灾难时，通过市级(异地)数据备份中心实现数据恢复，全面提升了数据保护级别和数据恢复能力，保障了数据安全.