地质资料电子数据完整性检测与修复存储研究

□ 浙江省国土资源厅信息中心 倪云英

地质资料电子数据完整性检测与修复存储研究

□ 浙江省国土资源厅信息中心 倪云英

随着科学技术的快速发展，数据和网络成为重要的基础设施。地质资料电子数据的读写依赖于计算机，但当计算机硬件和软件等更新后，新的软硬件与旧的软硬件的兼容性存在相当大的问题。同时，因互联网链接形式的多样性和开放性，网络极易受到黑客、恶意软件等攻击和病毒入侵。病毒蠕虫的爆发，系统的多样性，导致地质资料电子数据常常出现泄密、假冒、篡改和销毁等现象，给地质资料电子数据的真实性和完整性带来巨大的威胁。

保证地质资料电子文件的完整，确保馆藏地质资料电子数据的安全，防止数据的失效、数据的丢失，使硬盘和光盘间的电子数据保持一致性已成为亟待迫切解决的问题。电子数据完整性数据检测与修复技术的研究已成为解决这一问题的关键点。

一、地质资料电子数据检测与修复存储的意义

地质资料电子数据和传统纸质地质资料有诸多方面的不同：地质资料电子数据需要特定的载体来存储，其信息和载体的分离、存储形式，使得地质资料电子数据具有易修改、复制和删除等特点，修改、复制、删除后不留痕迹。地质资料电子数据的存储载体是磁电物质，在多种因素的影响下，载体的寿命较短，地质资料电子数据难以长久保管。另外，自然灾害和人为损坏也会对地质资料电子数据的存储载体造成致命的破坏。

作为“数字国土工程”的重要组成部分，开展地质资料电子数据完整性检测与修复存储工作，是服务于找矿突破和地质防灾，实现国土资源信息服务社会化的基础保障，同时是建立为经济社会发展提供地质资料全面服务的手段之一，也是建立以现代信息技术为支撑的国土资源行政管理——矿政管理新体制的一个重要前提。尤其是结合重大项目的实施，将地质资料电子数据完整性检测与修复技术应用于产品服务，具有十分重要的意义。

二、地质资料电子数据检测存储现状

信息时代的到来，使得地质资料电子数据成了目前最有价值的产物，同时地质资料电子数据也造成了巨大的工作量。从2000年起至2016年12月底，馆藏地质资料电子数据，共有近11470余种、39万件地质资料电子数据信息服务，数据量达4.5TB。其中数字化地质资料电子数据5190种、汇交地质资料电子数据6670种，共有CD、DVD光盘7341张。

因电子文件相对于纸质文件而言，对环境温湿度、防磁性、抗破坏、抗病毒等条件具有很高的要求。电子文件易被有意或无意损坏，当存贮光盘等载体上的电子文件，在保管时受到外界干扰或者存贮环境不宜，就会导致电子文件损坏。随着浙江省探矿、找矿突破和矿产资源开发加快推进，地质资料电子数据量也在迅速增长，数据的海量增长使得地质资料电子数据信息数据中心面临巨大挑战。

面对近20年来积累的庞大电子数据，浙江省需要建立地质资料电子数据完整性检测与修复系统来实现高效保护珍贵的各类地质资料数据，这是目前的核心要务。

三、系统建立

为建立一个相对安全的海量数据检测、修复存储备份系统，需要考虑和解决以下几个问题。

（一）数据检测修复存储的标准

就地质资料电子数据来说，数据的法规遵从性主要体现在数据的不可更改性和不可删除性，为能安全的长期保存，地质资料电子数据必须存储在WORM（Write Once，Read Many）媒体上。

按照《电子文件归档与管理规范》规定，将电子文件集中下载到可脱机保存的载体上。由推荐采用的载体，优先顺序为：只读光盘、一次写光盘、磁带、可擦写光盘、硬磁盘等，《企业档案工作规范》中规定，地质资料电子数据需存储在脱机载体上，其地质资料电子数据为一式三套，一套封存保管，一套异地保管，一套提供使用（DA/T42-2009）。根据《缩胶片数字化技术规范》要求，为保证数据安全，存储裁体应多样化，采用在线、离线相结合的方式实现多套备份，并考虑进行异地保管。

（二）数据存储介质

目前，数据存储介质可分为磁存储介质和光存储介质两大类。磁存储介质主要包括磁（硬）盘和磁带；光存储介质即指光盘，而光盘又分为CD、DVD和BD。

1.磁存储介质

目前，磁盘和磁带技术经过多年发展已经相对成熟，其特点是单盘容量较大。一般情况下，磁带被用作近线或离线备份介质，磁盘被用作在线存储介质。而磁盘阵列（Disk Array）是由一个硬盘控制器来控制多个硬盘的相互连接，使多个硬盘读写同步，减少错误，增加效率和可靠度的技术。磁盘的出现把磁存储时代推向了一个至高点。磁盘阵列存储容量大，查找数据速度要比单个硬盘高很多，并且能提供自动数据备份。磁盘作为一个基础的存储单元被组合成为磁盘阵列、大型的网络存储系统以及数据备份设备，已广泛被应用于数据的存储、数据的归档。

2.光存储介质

随着网络和数字多媒体技术的快速发展，磁介质技术的发展和价格大幅下降，光盘作用数据存储和备份的应用逐渐萎缩。非结构化数据的快速增长所带来的海量数据备份需求，使得光存储介质重新迎来了发展机遇，尤其是已被普遍应用于专业数据备份领域的蓝光光盘技术日臻稳定和成熟。蓝光光盘单盘容量可达50G-100G，而且还在朝着更大容量发展。最重要的是光盘属于真正意义上的物理介质。相对于磁存储介质，光盘是异质存储介质。蓝光光盘存储数据具有寿命长、低耗能、低成本等优点、短时间无需进行数据迁移，既可应用于近线存储，也可应用于离线存储。

图1 工作流程图

（三）系统建立

不论服务器磁盘还是备份光盘，可长期但不能永久性保存，存在硬盘故障、人为篡改、恶意病毒破坏等意外因素造成数据资产损失的风险。应尽最大程度保护数据，将服务器磁盘和光盘上双保险，部署多层级、全方位的整体保护数据安全。基本工作流程如图1所示。

笔者建议，要按照《电子文件归档与管理规范》（GB/T18894-2002）和《光盘备份工作规范》要求，以用户管理需求为主导，以保护数据完整性为准则，以准确服务社会化利用为目标，开发地质资料电子数据检测和修复备份管理信息系统，实现下述要求：采用磁盘和光盘两种方式同步异地分别保管，实现验收入库的电子数据实时备份保护；按照“数字指纹”统一管理，确保每份电子数据文件和元数据的有效性、可读性、完整性、一致性；为避免服务器硬件故障导致最新的、且尚未导出到光盘上的数据丢失，经过实时备份，系统实现数据高效冗余；通过系统实现每张光盘可读性检查，对光盘的容量、是否可读盘校验；为确保系统可持续性提供服务，实现与地质资料业务系统集成。

（四）系统功能

运用先进的信息技术手段与管理标准、流程相结合，采用高内聚、低耦合的方式设计新的软件管理系统功能，与地质资料业务管理系统集成。

利用现有服务器设备，新增实时备份存储系统来实现磁盘数据同步备份，使数据形态和实体完全一致，采用时间戳功能实现逻辑回滚点。

当发生点故障、或操作不当导致数据丢失时，备份系统能快速恢复故障前的数据，检查和验证多重数据，确保数据的高可用性。

光盘刻录备份是磁盘备份的有益补充，针对光盘系统提供光盘自身可读性校验，轻松发现失效光盘并抢救恢复翻刻。

不同载体方式存储的数据，由MD5码数字指纹保存和识别，对其容量、产生环境、生成时间等发生异样，可用同一份数据再生成另一个MD5码统一管理。

采用UML作为贯穿软件生命周期的通用设计语言，以面向对象的设计方法设计本系统，对下勘单位汇交的各单位电子文件(档案)的数据来源、数据类型、文件格式、保存期限、存储路径集中管理，对数据的增长速度和数据总容量等预测，建立数据管控系统，从而实现地质资料数据的有效保护。

四、总结

地质资料电子数据检测与修复存储系统的建立是一项系统工程。系统以标准为准则，对地质资料电子数据进行检测、管理和存储全周期管理。经过常态化管理的检测、修复存储系统，完成电子数据的完整性检测修复建库，向社会提供地质资料数据资源共享和地质资料产品服务。