统一档案数据存储管理平台建设

□马跃福 王 平 杨 静

一、数字化档案信息存储体系

随着社会信息化程度的不断提高，各级档案馆也将逐步成为海量数字化档案信息的存储中心。建设安全、可用的数字化档案信息存储体系将成为现代档案馆的一个极其重要的内容。目前数字化档案信息存储体系一般包括存储、容灾、备份和归档四方面的内容。

1、存储

存储架构分为3种：DAS（直连存储）、NAS（网络附加存储）、SAN（网络区域存储）。在档案系统应用中NAS和SAN架构最为适合：NAS数据结构是基于文件系统，因此NAS架构应用于档案文件的存放，可以经济高效地实现档案电子化；SAN数据结构基于数据块，因此SAN架构适用于档案数据库的构建，可以高性能地实现档案数据的查询和管理。

考虑完架构后，要考虑存储产品自身的可靠性，如存储控制器是否冗余、存储相关设备是否冗余、存储构造的合理性、存储自身的数据安全保护等等。一个可靠的存储系统必须至少拥有2个或以上的高性能控制器，以保证核心控制的可靠性；必须拥有至少N+1设备冗余（电源、风扇、通道卡等）；存储构造应当采用交换或点对点模式，来确保内部的数据传输性能及容错性；存储自身的数据安全保护涉及硬盘raid级别、故障监测、数据快照支持和远程数据复制支持。

2、容灾

容灾顾名思义就是为了预备灾难发生时所做的预防应急措施。在规划远程容灾系统方案时，应根据具体要求明确方案所要达到的目标。因为不同的灾难恢复目标，可以使用不同的灾难恢复技术实现方案，相应地，投资规模和运行成本也将会不同。根据信息中心的实际状况，档案馆选择容灾系统方案时应考虑以下几点：

目标－1：应对灾难的种类

有许多计算机系统内部以及计算机所处环境中的潜在因素可能会造成数据丢失情况的发生。据不完全统计，造成数据丢失的事件中，软硬件和网络故障占11%左右，断电和电源故障占50%左右，火灾地震爆炸和雷电等灾害占18%左右，人为因素占17%左右，其他因素占4%左右。为应对不同的灾难，主中心和灾备中心的选址也会不一样。例如为抵御地震灾害，主中心和灾备中心应选择在不同的城市，而不宜选择同城；为抵御长时间停电故障，主中心和灾备中心就应选在由不同的输变电网络和电厂覆盖的区域。

只有明确灾难恢复方案所要应对的灾难的种类，才能科学地选择主中心和灾备中心的地理位置。

目标－2：恢复时间目标（RecoveryTimeObjective）

恢复时间目标（RecoveryTime Objective-RTO）是灾难发生后业务能够容忍的停顿时间，或者说灾难发生后，恢复业务运行所需要的时间。一般来说，恢复时间（RTO）越短，那么灾难恢复方案的成本就越高，但是造成的业务损失就越小；反之，恢复时间（RTO）越长，灾难恢复方案的成本较低，但是造成的业务损失就较大。

最佳的恢复时间目标（RTO）应为业务影响（损失）曲线和方案成本曲线的交点所对应的时间。比最佳恢复时间更短的目标将造成投资浪费；而比最佳恢复时间更长的目标，灾难发生造成的损失会大于方案投资成本，所以灾难损失的风险较大。

目标－3：恢复数据目标（RecoveryPointObjective）

恢复数据目标（RecoveryPoint Objective-RPO）是灾难发生后业务能够容忍的数据丢失量，或者说灾难发生造成的数据丢失量。一般来说，恢复数据目标（RPO）越高（即丢失的数据越少），方案的成本越高，但是由于灾难造成的业务损失就越小；反之，恢复数据目标（RPO）越低（即丢失的数据较多），方案的成本较低，但灾难造成的业务损失也较大。

最佳的恢复数据目标（RPO）应为业务影响（损失）曲线和方案成本曲线的交点所对应的目标。比最佳恢复数据目标更高的目标，将造成投资浪费；而比最佳恢复数据目标更低的目标，灾难发生造成的损失会大于方案投资成本，所以灾难损失的风险较大。

目标－4：确定关键业务数据（需灾备保护的数据对象）

按照数据的重要和关键程度，大致将IT系统的所有数据分为三大类：

客户服务类数据：指那些支持数据中心核心产品和服务所需数据，该类数据的恢复时间目标（RTO）一般在一小时内，而且不允许数据丢失。

业务支持类数据：指那些业务运行所需数据，该类数据的恢复时间目标（RTO）一般小于24小时。

可延缓数据：其他数据如办公室OA等，该类数据的恢复时间目标（RTO）一般小于48小时。

考虑到上述三类数据之间的互相耦合和关联，一般来说，客户服务相关的数据约占数据总量的80%；业务支持数据约占15%；可延缓数据约占5%。

综合以上因素选择适合的容灾模式和机制是非常重要的，可以帮助最大限度避免损失。

3、备份

备份是保证数据安全的最后一道屏障，因为无论是存储还是容灾，所有数据均为在线存放，而备份的数据既可以在线存放，也可以通过磁带等介质离线保存，在线保存的数据可以快速恢复，离线保存的数据可以存放在一个更为安全的特殊环境中。一个大范围的灾难造成本地及容灾系统的数据完全不可用时，通过该备份数据，可以尽可能完整地恢复至可用数据，减少损失。若是由于人为操作失误造成的数据丢失，那么磁盘等介质在线备份的数据可以较快地检索出之前的正确数据。

因此如果在条件允许的情况下，可以考虑磁盘备份和磁带备份相结合，从而尽可能地保障数据安全。现今众多的备份软件越来越好地支持灾难备份恢复，能够通过灾难恢复介质恢复至灾难前的数据、系统设置等，从而更加快速的恢复业务系统。

4、归档

备份的目的就是为了恢复，保证在出现意外情况时保证业务的连续进展；特别是在线备份，对速度的要求相对较高，但对容量的要求则相对较小。

归档的目的与备份完全不同。档案馆保存着大量的数据，其中的60%-80%今后可能很少使用到，但这些数据必须保留以备查询。简言之，归档的目的是为了保证数据的完整性。在如何最大化使用存储，保证数据的访问方面归档和备份有很大区别。

选择归档系统有四个原则：

数据必须永远保留。无论是归档还是备份，数据的完整性必须得到保证，必须在规定的时间内保证数据的安全存储。

数据易于读取。虽然大部分数据重复读取的可能性不大，但归档系统依旧不是一个“死”仓库，必须保证在需要的时候能方便地读取数据，这也是归档系统的必备原则之一。

保证法规遵从。目前国内这方面的法规还在逐步完善过程中，国外如在美国的美国证券交易委员会SEC（SecuritiesExchangeCommission）法案、萨班斯-奥克斯莱法案（Sarbanes-Oxley）等，对电子记录在完整性、保密性和可存取性三个方面都有明确规定。摩根公司就曾因为没有在规定时间找到全部的电子数据，被罚款14.5亿美金。数据归档系统也必须完全符合这些要求。

数据的可扩展性。数据是无时无刻不在扩展的，归档系统必须保证自身的可扩展性，以满足迅速增长的数据量的要求。

二、面临的问题

目前各级档案馆都开始投入巨资建设现代化的数字化档案信息存储体系，包括存储、容灾、备份和归档等功能的存储系统，但由于不同的厂家产品之间缺乏集成，对数据的完整性和有效性缺乏有效的管理。数据管理人员对所存储的数字化档案信息缺乏整体的了解，往往是知道数据在，却不知道具体位置在哪里。对数据的存储状况是否有效也不清楚，不能根据各个存储系统的运行状况及时提出数据迁移的计划，往往是即使找到了数据，也可能发现数据已损坏不可读了，从备份系统中恢复数据也非常麻烦。为了尽可能地做好数据备份，目前大多采用局部集中备份、单独备份、手工定期备份等不同的备份模式，导致部分系统的应用数据备份不充分，备份时间过长，不能产生备份报表，无法了解真实的数据保存状况，也没有有效的介质管理与异地保存。这些问题在不断增加数据保护风险的同时，也使管理成本居高不下。

数字化档案信息的存储中心的功能应该是最大程度地挖掘出它所保管的档案信息资源的价值。存储设备、服务器、网络为实现这个功能提供了工具和基础架构，但一个成功的数字化档案信息的存储中心应该体现在在适当的时间和适当的地点提供适当的信息的能力上。要达到这个目的需要实现存储、容灾、备份和归档等各个环节的整合，建设统一的数字化档案信息存储管理平台。

三、统一数据管理平台的功能

统一数据管理平台把数据备份、恢复、归档、复制、资源管理和搜索这些功能模块利用同一套源代码无缝地结合在一起。这些功能不仅强大，而且从一开始设计软件架构时就确保这些功能模块能共享相同的服务功能，从而能通过单一控制台，迅速、简单、可靠地执行所有的数据管理功能，以独特的方式帮助客户消除基础架构成本，并大幅度提高数据管理效率。

一个标准的数据管理平台可以提升整体表现，减少存储复杂性并且减少开销，还可以使所有的数据拷贝更具有意义和可获得性。统一数据管理平台应该采用一个统一的视图提供以下的功能：

数据备份/恢复。能对异构环境下的各种操作系统、文件系统、数据库、邮件系统和应用进行备份和恢复，备份过程是基于策略的自动操作，能提供小颗粒精确恢复。

快照管理和恢复。能利用硬件、软件快照引擎，在存储设备上创建具有时间点的恢复卷，在短短几分钟内就能完全恢复硬软件，确保业务的连续性。

远程连续数据复制。利用有限带宽来有效复制文件和应用软件数据，并创建恢复点来确保数据的一致性。可利用该功能把中心的数据复制到异地，达到容灾的目的；也可把分布在不同地方的数据复制到中心，进行集中保护。

数据迁移和归档。按照用户制定的策略把不常用的文件或邮件迁移到二级存储中，当数据迁移走后，原系统中还留有“存根”，当用户访问“存根”时，数据会自动迁回到原处。如果把“存根”删除，数据就自动归档到二级存储中。该功能有效降低了在线存储的压力，提高系统性能，并节约了存储费用。

存储资源管理。对在线存储上的文件、数据库及应用的数据进行跟踪、分析、发现、预测和报告，让IT管理者及时准确掌握数据存储的动态情况，为数据管理策略制定提供依据。

服务管理和报告。利用该工具软件，管理者能轻松地跟踪数据管理的所有操作和存储资源管理，提供相关报告，确保规定的服务等级。

虽然可能还不成熟，但是各路厂商的集中数据管理平台已经在起步了。一些备份厂商已经通过提供统一代理、统一政策引擎和共同服务、存储而发展出了完全集成的、多功能的产品和很多其他的联合点解决方案（pointsolutions，主要是通过集成）。比如 EMC、CommVault，HP和IBM提供集成的备份和归档。而这些厂商软件——BakBone,CA和CommVault可以将备份和复制合并。而对于 Asigra、CommVault和Symantec而言，部署连续的备份抓取特性也是可行的。这些厂商——Asigra、CommVault、EMC、EVault、IBM和Symantec都在它们的备份特性中提供了数据重复删除特性。

四、总结：统一数据管理平台的特性和优势

和传统的存储管理相比，统一数据管理平台具有以下的特性和优势：

提供文件系统、应用程序和数据库当前存储使用情况的报告，了解基础架构内文件系统、应用程序和数据库占用存储空间情况，无论磁盘类型或其连接方式均可获取信息，如DAS、NAS和SAN等。

趋势分析和未来存储需求预测。全面检视存储环境，做出更好的决策。提供支持性趋势分析数据，优化存储开支，协助年度预算预测以及消除不必要的开支。

浅度数据收集。避免传统的详细统计数据收集，减轻CPU和服务器存储相关的I/O负载，适用于无需分析型数据的查找场景。

深度数据收集。能够执行更强大的数据收集，满足深入分析的需要。

应用程序相关的存储容量视图。了解映射到应用架构的存储使用状况，如数据库表、消息存储或NAS共享等。

基于阈值的提示。通过策略管理数据存储能力，以减少人工干预。通过主动提示可能影响生产环境的事件或故障降低风险。

归档ROI报告。计算通过归档陈旧数据可以节省的成本数量。

禁用文件报告。查明垃圾文件、多媒体和非业务相关文件的存储位置和所有者。

逻辑资源与物理资源的映射。提供磁盘卷所有逻辑存储实体，或与逻辑存储实体相关的所有磁盘卷的使用状态报告。

运行过程监控。提高生产率和数据访问效率，通过多种视图查看主存储资源。

操作窗口。可定义针对数据保护任务的操作规则，比如在特定的时间启用或禁用特定的操作。这有助于确定数据保护任务的优先级别，同时不会对SRM数据收集工作造成任何潜在影响。