档案大数据系统的构建研究

尹 蕾

（咸宁广播电视台 湖北 咸宁 437000）

1 引言

利用大数据技术，可以对当前信息化时代中产生的各项数据进行存储和收集，同时有望实现档案资源的扩展以及统一使用。基于此，也可以进一步提升对档案资源的使用效率。其中，较为关键的是怎样利用科学有效的方法实施平台的构建，同时完成对数据资源采集、清洗和整合等任务。

2 信息时代档案大数据系统的提出

随着数据技术以及信息技术的不断优化与发展，人们进入了信息时代。大数据的快速发展，促使大部分行业与学科发生了巨大的变化，同时也为科学的发展与创新打下了坚实的基础。随着档案不断向信息化、数字化方向发展，同时在社会对档案数据种类、数量以及质量迫切需求的影响下，致使信息时代下大数据档案管理成为当前档案界重点关注的问题[1]。通过对大量的文献报道进行翻阅，得出大数据档案是指在现有软件工具无法在有效地时间内对大量档案数据进行采集、整理与上传，进而所衍生的新型档案管理技术，与传统数据档案相比，具有更全面的优势。

3 档案大数据系统探究

利用大数据技术可以对丰富的信息数据进行储存和处理，有望实现档案资源的统一管理[2]。对档案大数据平台的构建需要考虑异构、开放、移动、协同和融合等方面的特点，从客户实际需求出发，对各种资源进行整合，从而保证客户可以在安全的网络环境中，对信息以及网络平台进行合理利用。对档案大数据系统的构建工作，要以改善服务器容量为前提，并以减少资金投入和对成本的维护功能等为依据，对系统进行设计。以客户实际需要为基础，进行使用流程的设计，其具体流程主要包括档案的数据采集层、数据存储层、数据转换层、数据互联层和数据管理层等5个层面的内容。

3.1 档案数据的采集层

大数据背景下的档案，与以往的档案有显著差异，其具有多元化的形式表现。利用质量较高的档案中数据和信息获取途径，既可以通过现存局域网中结构化数据获取信息来源，同时还可以以网络交互、传感器、RFID射频及B/S移动输入等途径进行非结构化数据信息的获取，并完成对信息数据的采集、变更和处理等目的。利用影像识别技术能够获取相关动态数据。通过将扫描、摄影等输入到计算机中，可以进行纸质文档的获取，并将半结构和结构化数据进行实际例证。相关工作人员可以通过这种方式，对原始数据进行查找，防止出现重复录入的现象，造成资源的浪费[3]。具体实施方法：（1）以文档一体化为基础，建立相关电子档案管理平台，强化对电子档案的接收和管理力度；（2）创建可以对业务数据库进行采集和管理的平台，从而实现对数据进行长期集中管理；（3）创建对媒体信息采集管理的平台，完成对网络中媒体信息的智能化采集和管理，并可以实现对文档的自动归类功能；（4）以城市记忆理念为依据，创建对数字相关资源的采集和整理平台。按照相应计划实现对资源的整合和收集工作。

3.2 档案数据的存储层

数据存储层能够对各种异构数据源进行存储，对数据进行存储的形式主要有：（1）将结构化数据存储在不同类型的数据库中；（2）将半结构或者非结构化数据以文件的形式进行存储。其中，档案的数字化在大数据源中起非常重要的作用[4]。在进行这项工作的过程中，同时要将档案数字化成果服务体系和相关电子文档进行优化，从而保证大数据处理工作能够顺利实施。

3.3 档案数据的转换层

以数据过滤和清洗原则为依据，对采集到的数据源可用性进行探讨和分析。通过对数据的过滤和清洗，能够获得更实用的数据整合资源，防止产生数据资源在传播过程中出现拥堵的情况。云计算可以作为分布式档案数据源的转换层。其强大的数据传输和存储能力，能够在大数据之间进行交互，从而生成方法库、只是库等多维数据的模型。数据转换层以不同数据类型为依据，可以利用RDB至RDF映射技术（RDB2RDF）和数据语义标注标签对数据实施 RDF标注两种形式对数据进行转换[5]。

3.4 档案数据的互联层

档案数据的互联、整合功能主要针对广域网、局域网以及个人网等方面，其主要公式是把采集层已经处理好的数据通过安全、有效和快速的手段，传输到上层结构，同时依据大数据的交互功能实现数据之间的共享。档案数据共联主要由控制系统、运行引擎等组成。其中，控制系统可以利用调度、转换以及功能等进行文档数据的搜索工作。运行引擎是对数据中的引擎以及任务引擎等进行整合，完成分布式系统的构建，并且可以对PB级的结构与非结构化数据或信息进行更加有效的分析。

3.5 档案数据的管理层

档案数据管理层面主要包括数据共享、维护和分析等，在数据服务中起关键作用。利用多维分析以及相关查询工具和数据挖掘等，能够完成系统中的人机交互界面设置，进而实现对页面更加美观的设计，从而完成系统登录、进入、存贮、查询以及操作等相关的作用。

4 档案大数据系统的安全管理

4.1 用户安全管理

安全管理指的是利用组织—项目—用户等各个层级的管理，是一项较为完善的用户管理流程，能够使系统中用户的不同需求得到有效管理。根据不同用户进行系统中角色的定位，将用户角色与系统中访问权限进行相互联系。针对不同需求用户设置相应访问权限，从而保证用户之间不被打扰，以及出现越权访问的现象，使系统和用户的安全都能够得到保障。设置多级别的管理员角色，并且提供多种访问Portal及权限。通过多状态管理功能，使系统可以对较大范围的用户生命周期管理需要得到满足。组织管理员生命周期具体见图1。在用户管理中主要包括退出、登录、冻结、激活共4种管理操作功能，这些内容中，项目并不存在冻结的状态。组织管理员对自己的项目资产有分配和使用的权利。

图1 用户管理图

4.2 系统安全管理

在模块化系统架构的基础上，对档案信息平台管理系统进行构建，以不同用户的需求为依据，对各版块中的功能进行组合运用。设置只针对客户需求的入口（Portal）。在进行系统构建工作中，利用模块的形式，更有利于使系统优化和升级。在进行系统功能开发中，添加一些新的功能，无需对原有系统进行更改。在对系统进行升级时，只需要对相应系统模块进行升级，并不需要进行其他操作。而这些功能对用户要保持透明公开，所以不会对用户的系统访问造成不利影响，只会对系统相关服务造成短暂中断，见图2。管理系统在分区共享存储的基础上，为系统存储提供解决方案。根据快照与远程复制技术，对数据进行连续复制与快速复制，明确最佳的复原时间目标（PTO）与复原点目标（RPO）。通过先进的增量备份技术对网络宽带的占用率进行有效降低，并与快照技术紧密结合连续地保护了数据安全，防止各种错误对系统造成损坏。针对整个系统中所有关键数据的安全性采取了分布式数据库技术，提高了系统能够及时地响应所有用户的请求，实现了多用户一体化并发且不少于1万个。对于保护用户的隐私安全，可以通过国产保密平台的个人密钥、加密证书和卡以及基于国产保密平台防火墙系统的软件和技术，从而建立起一套基于信息平台的云安全解决方案，对互联网网络层与大量数据库层的安全性进行了保障[6-7]。

图2 OSGi模块化规范

5 结语

对档案大数据系统进行构建是一项长期持久的工作，同时在技术以及非技术方面，同样面临诸多困难，怎样利用科学、合理的手段设计出符合现代社会要求的高智能档案大数据系统框架，是现阶段档案部门相关人员急需解决的难题。通过科学、合理的档案大数据系统构建，必定能够使用户获得全新的体验，从而为人类进步以及实现国家的现代化建设提供更多的帮助。