构建档案大数据应用平台的探析

杨凤 刘欢

摘 要：大数据时代，传统档案管理工作面临着全新的发展形势，积极探析档案大数据应用平台构建是实现档案管理模式突破创新的必然趋势与重要选择。本文在概述档案管理大数据特征的基础上，介绍了当前档案管理发展所面临的一些普遍性问题，同时从档案大数据应用平台构建入手，论述了平台设计与关键技术，并结合具体企业实际案例，分析探讨了其档案大数据应用平台实践，旨在借助大数据平台带动档案管理发展，为相关研究及工作带来一些启示与参考。

关键词：大数据;档案管理;应用平台

大数据理论体系与实用技术发展日益成熟，并且深刻影响着各行业领域的发展，尤其是在当前信息科技飞速发展的时代背景下，大数据方面的内容受到了更多关注与重视。目前，有关大数据的研究层出不穷，但真正聚焦于档案管理领域的研究则相对较少，事实上，“大数据”对于传统档案管理模式已然产生了颠覆式的影响，如何将大数据发展成果与档案管理加以有机融合，探索新时期档案管理的创新发展，这是目前作为档案部门需要进行深入思考的问题。

一、档案大数据特征

1.大数据概述

随着科学技术的快速发展，有关“大数据（big data）”方面的内容不断被提及，并且成为各界密切关注的焦点话题。事实上，作为IT行业术语，大数据的概念早已不仅仅局限于IT行业本身，在当下诸多领域与行业中，大數据都产生着深远影响并发挥着重要作用。相较于“数据”而言，“大数据”一方面具备数据本身的特征，另一方面“大数据”还更为强调数据间密切的交互联系，即进行数据挖掘。换言之，大数据展现了收集与分析海量信息的能力，能够从巨量信息资料中实现数据挖掘。目前，人们总结归纳大数据具有“5V”特征，即数据规模海量（Volume）、数据流转速度快（Velocity）、数据类型多样（Variety）、价值密度低（Value）以及真实性（Veracity）。

2.档案大数据特征

相较于传统档案管理模式，大数据推动着档案管理方方面面的变革与创新，同时也使档案大数据展现出很多新特征，主要表现在：（1）档案数据资源增量大、种类繁多。从当前档案管理工作发展态势来看，“存量数字化”与“增量电子化”已然成为档案管理工作大数据发展的要求，这势必逐渐形成档案大数据的海量规模，而从档案数据资源情况来看，其涵盖有结构化、非结构化、半结构化等数据，数据资源种类相对繁多。（2）档案数据资源价值密度低。以传统档案管理模式角度来看，“重资源、轻管理，重藏轻用”情况实际上一直存在，而档案本身的价值在于如何得到充分且有效的利用，这也是大数据时代下档案智能化、信息化服务模式的特征，即在档案数据资源增长下要避免其利用价值降低。

二、大数据时代档案管理存在的问题

1.档案管理理念滞后

大数据时代，传统档案管理模式受到了明显冲击，要求相关单位必须要积极顺应新时期档案管理发展，及时转变档案管理理念。然而，在具体实践当中，很多单位、部门以及人员的档案管理理念并没有做到与时俱进，这显然制约了档案管理的革新。应该看到的是，大数据时代下档案管理不仅仅局限于先进的技术，更要求有理念认知能够与之相配套，否则档案管理很难得到真正的突破。

2.技术问题需要突破

档案管理是一项系统性的工作任务，将大数据技术妥善应用于档案管理工作有助于推动档案管理发展，但同时在技术的实际应用过程中，也仍然会面临很多问题需要解决。例如，在档案管理实践中，档案资源往往具备一定的复杂性，其中既有传统纸质档案，又有大量电子化档案资源，加之档案管控在不同时期、不同阶段的规范要求可能并不统一，这使档案资源存储管理面临较大挑战，需要在具体技术环节有效解决这些问题。

3.信息安全面临挑战

大数据时代给予档案管理发展带来了很多新机遇，但与此同时也使之面临很多新挑战，在这其中信息安全方面的问题则是首当其冲。事实上，当前档案部门已经认识到了数据信息资源的价值，并且依托于大数据技术的便利优势，能够将其价值得到更为充分的发挥，但不可否认的是，在整个数据信息资源运转过程中，会涉及访问与隐私的安全性、可靠性等方面的问题，尤其是在大数据及信息安全的相关法律法规方面，目前仍还有很多需要健全完善的环节。

三、平台设计与关键技术

1.平台设计

大数据平台及技术在当前档案管理方面发挥着愈发关键的价值与作用，其中针对档案大数据的资源管理是档案大数据处理框架的核心模块组，该体系需要以计算机集群系统为主要依托，同时能够充分确保数据高可用性、可获得性与准确性。

其一，数据存储管理系统。就该系统而言，应当可以将相关数据存储模型加以整合封装，并且借助满足业务关系的配置操作形成存储中间件，如采取传统关系型数据库保存的运行指标数据、采取文件形式存储的视频监控数据等，同时对其予以统一管理，最终形成混合式数据存储系统。

其二，在技术与支撑平台选型时，应当充分考虑到公共服务层数据、技术与业务等服务差异。就大数据服务体系框架而言，档案应用服务特征应当包括“三高”，即高计算、高可用与高通量，利用将各种存储管理中间件模型与计算模型加以整合封装，从而支持准、高、快数据流更好地服务于应用平台。

其三，基于微服务架构，在应用层提供相关应用，并且使用者提供应用端，如笔记本、手机等。利用数据资源管理平台保障应用系统安全。

2.关键技术

其一，数据存储技术。结合档案管理特点来看，在实际建设数据库过程中，相关方面主要涵盖有设计数据库、迁移档案资源，以及可能涉及的融合新旧档案等。在这其中，一般都会利用到文字识别、数字加工、数据标引等技术。

其二，数据分析技术。该技术体系作为档案大数据应用平台的大脑，承担着管理与应用平台数据的关键角色，该核心功能模块集成包括基本语义分析、词表管理、协同过滤、分类聚合、智能化推荐、机器学习等诸多技术。需要指出的是，微服务平台数据核心算法正是基于该技术体系。

其三，微服务技术。例如，Spring Boot微服务架构，能够生成独立微服务功能单元、只关注核心代码就能生成应用程序;Spring Cloud技术，能够提供一种成熟的开发框架与便捷的开发平台。

其四，可视化应用技术。该项技术顺应了档案管理的发展需要，通过该项技术的应用，能够便于用户对档案数据加以应用与决策。

四、档案大数据应用平台实践

本文以X电网企业作为具体研究案例。伴随当前电力行业改革持续深化发展，电网企业档案管理面临着新的发展局面。X电网企业档案管理发展相对较为滞缓，面对新时期档案管理发展需求，X电网企业迫切需要引入档案大数据应用平台，从而带动自身档案管理信息化、现代化建设。

1.X电网企业档案情况分析

了解、掌握企业档案资源情况是构建其档案大数据应用平台的基础与前提，结合X电网企业原始档案情况分析来看，其主要特征可以概括为以下方面：

（1）X电网企业现有电子档案4000万件，因此会涉及相对较大的存储容量。

（2）X电网企业原始档案涵盖有各类媒体，如设计文件、office文件、pdf等。

（3）X电网企业档案用户超30万，面对庞大用户群体，必须要健全相应权限控制环节。

2.X电网企业档案大数据应用平台规划设计

第一，档案数据存储大数据平台。借助于大数据技术，构建大数据存储平台，该平台应当能够满足多方面需求，如存储X电网企业旧有档案、进行动态备份与容量扩充、档案检索与定位及时，适应X电网企业日常档案管理基本业务，支持其进行可视化决策分析等。第二，档案资源入库。一方面需要将X电网企业原有档案资源入库，另一方面则是需要把新建企业档案入库接口。第三，建设档案业务系统。档案业务相关应用系统主要涵盖档案业务的服务系统、分析系统、管理系统，以及档案数据对外开放接口系统等。如图1所示，为针对X电网企业所设计的大数据平台架构情况。

结合此次平台架构设计情况能够看到，其主要体现为“两纵五横”模式，即数据架构与管理平台的双纵向脉络。其中，前者体系架构涵盖有数据的采集层、处理层、分析层、访问层与应用层，后者则包括运维管理、数据管理与开发工具模块。

3.X电网企业档案大数据应用平台技术实现

（1）建设及应用档案数据库

根据X电网企业档案情况来看，其档案数据来源涵盖有多种类型，面对各种类型的档案数据，需要有相应的处理方式，具体如表1所示：

（2）建设档案数据基础分析

在入库X电网企业档案数据的基础之上，还应当进一步构建基本数据处理核心算法，从而能够更好满足档案数据微服务要求，应该看到的是，这一做法的目的实际上也是要对X电网企业入库数据资源进行深层业务挖掘与数据应用。一般而言，从功能层面来具体划分档案数据基础分析，其核心功能算法模块应当涵盖语义分析、文本纠错、资源分类、资源标签化、词表管理、资源推荐、智能推荐等相应算法。

（3）建设档案数据微服务

根据构建的X电网企业档案大数据应用平台，其平台业务相关服务主要是建立在微服务架构技术的基础之上，并且以此为依托，该平台能够实现一系列的微服务模块需求，具体内容涵盖档案检索与管理、档案统计分析、档案数据对外接口、档案服务扩展等。

（4）建设档案业务功能应用

这一环节的建设主要是为了汇总预计功能模块。所谓功能模块，即基于档案数据微服务，面向应用系统提供功能模块基础单元。需要指出的是，档案业务功能模块作为档案大数据应用平台管理与业务相关各类应用的功能模块集合，其涵盖内容十分广泛，如档案的新建、编辑、更新、删除、检索、查询等模块，以及平台、资源、账户管理模块等。

（5）建设档案应用系统

在该环节建设工作中，需要结合档案业务管理需求加以考量，即档案应用系统建设主要涵盖档案管理系统、档案服务系统與档案决策分析系统。

4.X电网企业档案大数据应用平台特色

在大数据时代，X电网企业档案管理面临转型升级的现实需要，本文通过为其构建档案大数据应用平台，有助于推进其档案信息化管理现代化发展，其平台特色主要表现为：

（1）能够提升X电网企业档案管理效率

通过构建、应用档案大数据平台，X电网企业档案管理效率将得到极大提升。例如，依托于档案大数据平台可以实现档案智能搜索，并且基于档案历史分类还可以实现档案智能化辅助分类，极大提高档案利用与管理效率;再如，依托于统一的档案大数据平台，档案使用者仅需从系统一个入口便可以快捷查找各类数据，免去频繁切换各子系统调取数据资料的烦琐程序，利于各类数据进行汇总比对。

（2）能够转变X电网企业档案管理理念

档案大数据应用平台是对传统档案业务与管理的一种创新突破，也是企业档案发展的必然趋势，通过该平台的构建与应用，能够在具体实践中不断深化客户、档案管理人员等相关方面的体验，从而在潜移默化中实现档案管理理念转变。

（3）能够拓展X电网企业新的档案业务

除档案存储、业务管理等基本业务需求外，该平台建设还在一定程度上实现了新业务拓展。例如，借助档案历史数据及其分析功能，能够为档案用户业务决策提供直观的可视化支持，通过统计分析档案数据，为企业相关业务决策提供一定的参考依据。

五、总结

综上所述，“大数据”深刻影响着当今时代的发展，随着大数据理念与档案管理联系日益紧密，传统档案管理工作也迎来了全新的发展机遇及挑战，作为档案部门需要加强大数据理论体系与实用技术方面的学习研究，积极转变思想认识与工作方法，使大数据与档案管理能够得到有机融合，实现档案管理的创新发展。大数据平台目前在各行业领域的实践中已经得到了很大程度的应用，其在发挥重要价值作用的同时，也逐渐扮演起愈发关键的角色。本文结合企业实践，对档案大数据应用平台的构建进行了初步探析，相信随着大数据理论体系与实用技术的不断发展，未来有关档案大数据方面的探索将会取得更多突破。

参考文献：

[1]李鹏达，陈穹燕.数据挖掘技术在档案开放鉴定领域应用初探[J].中国档案，2021

[2]于英香，滕玉洁.大数据背景下档案管理数据化转型探析[J].中国档案，2021

[3]戚文来，韩 娟.智慧城市时空大数据平台下自然资源档案管理系统的升级与改造[J].测绘通报，2020

[4]刘越男.数据治理大数据时代档案管理的新视角和新职能[J].档案学研究，2020

（作者单位：1.广州致讯信息科技有限责任公司;2.南方电网数字电网研究院有限公司）