文|青岛市城市建设档案馆 王俊刚 封尧
数据备份是现在软件部署、平台搭建不可缺少的服务,数据备份简单讲是将数据文件从A 复制到B,往往会被认为非常简单,Ctrl + C 再 Ctrl + V 就可以完成。在个人电脑上这么操作是没有问题的,因为在复制粘贴的过程中原来的文档或者材料是不会再写入数据的。但是在平台或软件使用的过程中就不一定了,比如网购平台,可能每时每刻都在产生交易数据,数据在变怎么办呢?
最为简单的理解,暂停平台的交易,等备份完成后再进行购买交易。对于存储体量小和有非工作时间的场景是可以这么来做的,但是对于存储体量较大,备份一次需要花费比较长的时间和24 小时程序不间断运行的产品来看是不适用的。这时就衍生成离线备份和在线备份两种不同的概念。
离线备份是指备份截止至某个时间段产生的数据,比较简单,也有比较明显的缺点,比如:需要人工备份、备份恢复数据仅仅能恢复截止至某个时间段产生的数据,往往时间比较久。
在线备份是指一边服务一边备份,过程相对比较复杂,但是可以实时进行备份。在线备份中分为全量备份和增量备份两种备份模式。全量备份是指将指定位置下的所有数据全部复制。增量备份,是指只备份与在上次备份中发生改变的数据部分。
一旦系统的硬件或内存媒体出现了故障,“备份”工具就能够协助维护数据免遭意外损毁。在系统遭受网络攻击、入侵、电源故障和操作失误等事件发生时,能够完整、迅速、简单、安全的修复原有网络系统,在法律规定的时间范围内保障系统的正常工作。
离线备份:又名脱机备份。离线备份,是将数据保存在能离开计算机存储系统的存储介质上。
在线备份:又名时间备份,它能够捕捉到任何数据级别或者数据块级的数据写改动,也能够对备份数据实现更为精细粒度的还原,并且能够恢复到任何时间节点。系统管理员不必关心数据的备份过程,而是只要在灾难出现时,只需轻松的选取要恢复到的数据备份时点就能完成数据的迅速修复。
目前青岛城建档案馆中档案的数字采集存储系统,根据软件功能不同和电子文件存储方式不同主要分为两大类,一类是电子文件存储量大且后期不会对电子文件进行修改和删除的城建档案管理平台,其作用为老百姓进行档案登记、档案查询。城建档案管理平台存储特点:存储档案以工程为单位,档案均为竣工档案且档案保存完整,存储后不会对电子档案进行修改。目前存储电子档案已有约16TB。一类是电子文件存储量相对较小,但存储的电子文件会实时发生变化的城建档案在线接收系统,其作用是方便参建单位在施工过程中分阶段上传城建档案材料。城建档案在线接收系统存储特点:电子文件存储分为两部分,组卷完成的城建档案按工程名称生成SIP 包进行存储;未组卷完成的城建档案形成以工程GUID 为主的文件夹,进行工程下电子文件的存储,目前青岛城建档案在线接收系统存储电子档案已有约6TB。
青岛市城建档案馆需要针对“城建档案管理平台”和“城建档案在线接收系统”特点,分别制定不同的备份方案,备份方案要满足系统所有的备份要求,比如:实现数据的增量备份功能、实现数据全量备份功能、建立系统数据容灾机制等。
根据目前青岛城建档案馆系统存储现状,建立科学、有效的数字档案备份策略,实现数据的统一备份、自动备份、高效率管理,确保一旦发生未知故障或灾难时,数据资料不会丢失,系统能在最短时间内恢复运转,将风险降低和将损失降低到最小。
“城建档案管理平台”和“城建档案在线接收系统”设置数据库自动备份、电子文件的自动备份,确保备份的文件可以及时恢复还原。
2.4.1 城建档案管理平台备份设计
城建档案管理平台离线备份主要包括以下三种方法:移动硬盘备份、光盘刻录机备份、异地备份。
移动硬盘备份:每季度将管理平台存储的电子文件和数据库文件,通过复制粘贴的方式,拷贝至移动硬盘中进行存储。移动硬盘备份的优势在于便于数据携带。
图1 数据库自动备份功能图
光盘刻录机备份:每季度使用光盘刻录机将电子文件和数据库文件存储至光盘中,将已经刻录好的光盘保存至防磁柜中。光盘刻录机备份的优势在于存储至光盘的电子文件不会被篡改,降低病毒传播风险。
异地备份:按照住建部、省住建厅的统一部署和安排,青岛市与济南市、深圳市城建档案馆签订《城建档案数据异地备份协议》,定期将移动硬盘的数据存放至两地,保障数据的存储和安全。异地备份主要目的是为了防止人为因素和自然灾害导致的电子档案损坏。
城建档案管理平台在线备份分为数据库备份和电子文件备份。
数据库备份:借助于Navicat Premium备份功能,设置自动备份计划,实现数据库每日备份。
电子文件备份:管理平台的难点是电子文件备份,随着时间的推移电子文件存储占用的空间越来越大,使用备份软件、磁带机备份等方式并不能满足业务的需求。
根据城建档案存储实际情况,存储的工程为竣工类工程,后期不会对存储的文件进行修改等特点。采用如下的备份策略:
(1)编写SQL 脚本,将现有的城建档案管理平台所有的工程,标记backup state状态为已备份,(backup state 状态有两种:未备份、已备份),后期城建档案管理平台新增工程档案自动追加backup state 状态为“未备份”运行SQL 脚本。
(2)对城建档案管理平台整体的做一次数据全备份。
(3)全备份完成后,再在任务计划程序中设置自动任务,每天定时将新增工程进行增量备份。
数据恢复/还原:在新服务器重新搭建城建档案管理平台,实际环境下备份服务器已经搭建城建档案管理平台,保持产品版本一致。将最新一次的数据库备份文件(SQL 文件)进行导入操作。SQL 文件导入完成后,登录城建档案管理平台,在系统配置中重新指定电子文件存储路径进行电子文件挂接。(对于使用光盘刻录机进行备份的文件,需要拷贝至服务器硬盘才可以实现文件的正常读取)。
图2 管理平台备份方案
2.4.2 城建档案在线接收系统备份设计
离线备份:城建档案在线接收系统离线备份方式与上述城建档案管理平台一致,每季度将服务器数据通过硬盘及光盘刻录机的形式进行备份保存。
在线备份:城建档案在线接收系统在线备份也分为数据库备份和电子文件备份。
数据库备份:城建档案在线接收系统数据库备份与城建档案管理平台备份方式一致,通过在Navicat Premium 程序中设置定时任务完成数据库备份工作。
电子文件备份:城建档案在线接收系统比城建档案管理平台存储压力相对较小。城建档案在线系统文件存储分为未组卷和组卷完成工程。对于组卷完成的工程,系统会每周摆渡至城建档案管理平台中,所以对于城建档案在线接收系统存储最大的困难是存储未组卷的电子文件,未组卷的电子文件,报建单位可以随时替换和删除,存在比较大的变数。针对此特点城建档案馆采用SyncToy软件进行电子文件的在线备份。
SyncToy 微软同步器能够使档案在不同的硬盘或者文件夹中保持一致而且都能够进行处理,SyncToy 是一种免费的、很容易使用的软件。高度的定制能力会让使用者从繁琐的拷贝、移动和共享多个目录的操作中摆脱出来,只要点击几个鼠标就可以完成更多的动作,操作简单而且具有额外的定制功能。
SyncToy 有三种不同的同步模式:
(1)Synchronize:镜像共享模式,该方式会根据左右二个目录数据的添加、删除、编辑、更名等,使左右两端的目录同步于当前的状态。
(2)Echo:单向同步模型,按照左方目录表中最新的文档添加、删除、编辑、更名等,即标示的源文档为主完成相应的修改动作。
(3)Contribute:增量同步模式,其差别在于不能进行删除的操作。即在左侧进行清除的动作,而右侧的文件夹则不能进行清除的动作。
城建档案在线接收系统在使用SyncToy备份时,首先使用Echo:单向同步模式(图3),将所有的文件进行一次全备份。
全备份一次完成后,后续备份,选择增量同步完成备份计划。
安装了SyncToy 之后,由于此软件无法设定自动运行日期,所以必须与Windows的任务结合,自动进行同步运行。
SyncToy 会将每次新增、删除、覆盖的文件进行日志记录,以方便日后日志记录的审查。
数据恢复/还原:城建档案在线接收系统数据恢复方式与城建档案管理平台数据恢复方式一致,首先部署安装城建档案在线接收系统后,导入最近一次的数据库备份,最后在系统中设置电子文件存储位置。
城建档案管理平台文件存储量大,如果采用磁带备份等方式,对于备份服务器和磁带库要求比较高,长时间的读写会导致磁带寿命降低,备份服务器故障率提升。采用数据库字段标记方式可以有目的的完成数据的提取,避免了因I/O 磁盘读写引发的系统资源占用率过高,无法释放等问题。
城建档案在线接收系统存储的文件随时会发生变化。用其他软件或者是手动复制粘贴的方式进行备份,比较耗费时间,采用SyncToy 软件Contribute 方式进行备份花费的时间仅占全备份的1/5 甚至更短。SyncToy 更具有优势的一个特点是不需要购买版权,软件是免费的。
针对青岛城建档案馆两个不同的应用软件“城建档案管理平台”和“城建档案在线接收系统”分别制定了较为详细的数据备份方案,借鉴和运用目前最为先进的备份技术和软件,实现了城建档案信息数据的自动备份,并建立了异地备份机制。互联网时代,有大量的数据需要备份或者长期归档。备份的方式和软件有很多,在进行备份时首先要考虑结合业务的实际情况,确定文件属于静态存储方式还是动态存储方式,然后再决定文件的备份方式。不管选择任何一种备份方式,除了考虑备份的便捷性之外,还要考虑恢复数据的便捷性,以便在出现问题后可以短时间内进行数据恢复。
图3 单向同步模式
图4 增量同步模式
图5 任务计划程序
图6 分析报告