铁路工程文档平台关键技术研究与应用

解亚龙，王万齐，牛宏睿

铁路工程文档平台关键技术研究与应用

解亚龙，王万齐，牛宏睿

(中国铁道科学研究院集团有限公司 电子计算技术研究所，北京 100081)

针对我国铁路建设中工程文档“海量、分散、标准不一、共享困难”等难题，结合我国铁路建设统一规划、统筹管理和建设移交的行业特点，提出建立基于云存储的铁路工程统一多租户文档平台，设计文档平台的技术架构、功能架构和数据模型，对用户检索、文件存储和支撑服务等关键技术进行论述，并且在京雄等项目试点应用中取得效果和经验，对规范我国铁路工程文件资料管理具有指导意义。

铁路建设；工程文档；云存储；文档平台；分布式文件系统；多租户

2008年中长期铁路网规划发布以来，铁路建设进入高速发展阶段，年均工程建设资金保持在5 000亿元左右、投产里程约3 000 km，成为国民经济发展的坚实基础，我国铁路工程建设具有规模大、标准高、工期紧、施工难度大、安全风险高等特征，铁路工程过程文档管理存在种类多、样式杂、数量大、文件分散和管理繁琐等问题，尤其工地现场文档资料往往分散存储在个人电脑上，缺乏统一的系统管理，存在文件丢失、版本混乱、检索和利用不方便等突出问题，因此提出一个基于云存储的多层级多租户铁路工程文档平台，为各级管理机构提供方便的、开箱即用的文档管理系统，有利于规范我国铁路工程文件资料管理，提升我国铁路建设项目管理效能和管理水平。在国内工程领域，核电工程探索基于云平台实现生产文件的分发与管理，采用文档管理系统实现文件发布和存储，将所有的文档电子化后著录到系统进行管理，它包含了文件分发、回收控制、图情资料借阅和档案存储等功能。在石化领域，侧重于工程档案资料的管理，解决文件归档建档不及时等问题。在民建领域，各地方政府积极推行设计文件的数字化交付、数字化审图等工作，实现设计文件和资料向施工阶段的数字化移交，同时在档案管理方面也逐步采用云托管的形式，为企业档案规范管理提供支持[1−2]。在铁路工程领域，基于云存储的铁路工程文档管理尚未见报道。云存储是在云计算概念上延伸和衍生发展出来的一个新的概念，它是指通过集群应用、网格技术和分布式文件系统等功能，将网络中大量不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统，云存储能够保证数据的安全性并节约存储空间[3−4]。

1 系统架构

铁路工程文档平台是基于云储存多租户的非结构化文档的统一存储平台架构，具有3层系统架构，包括访问层、服务层和存储层，主要采用J2EE和Spring等技术实现。如图1所示，访问层用户包括模板库超级管理员，各建设单位级管理员、普通用户以及各个业务系统，支持业务系统从模板库调用模板，生成文档实例，同时也支持授权用户查询模板库，检索最新的模板和模板的填报规则，用户使用的终端包括普通PC，移动终端以及自行开发的业务系统，是统一文档系统的SaaS层(Software as a Service，软件即服务)。服务层支持用户(含业务系统)与云存储之间交互，服务层主要通过系统功能和微服务2种方式提供服务，功能上支持模板的维护、管理、查询、检索，同时对各个业务系统提供API服务接口，方便其调用模板文件，提供文档实例的存储方法、提供文件归档管理的服务接口以及面向文档流转方面的服务支持，包括流程定义，流程实例管理，流程的API等服务，是统一文档系统的PaaS层(Platform as a Service，平台即服务)；最底层的是文档系统的云存储层，属于IaaS层(Infrastructure as a Service,基础设施即服务)，支持海量文件的存储，采用分布式文件存储系统，通过业务元数据实现文档对象的属性灵活定义和扩展，通过存储元数据实现文档对象的快速检索，采用集群方式支持存储容量的横向扩展。

图1 铁路工程文档平台系统架构

图2 铁路工程文档平台主要功能架构图

铁路工程文档平台作为工程建设信息化平台的文件中台，从功能架构上主要包括3部分的内容，分别是文档模板管理、文档实例支撑服务和工程资料库管理，其中文档模板管理主要实现铁路工程建设过程用表、用文的格式管理，统一建设过程中的格式文档的版式；其次就是文件实例服务支撑，为各个业务系统提供统一的文件存储服务、文件流转服务、快速的格式转换服务、全文检索服务、文档签章服务；最后是工程资料库系统，主要提供面向个人的文件柜和面向各级建设管理机构的资料库和归档库。

1.1 模板管理

文档模板库作为铁路工程建设管理平台的基础数据之一，主要用户为模板库管理员，各建设单位资料管理员，授权的查询用户及各业务系统(如试验室系统、检验批系统、日志系统等)，其中各级管理员作为模板库的维护人员，确保模板版式文件的权威性，授权用户可以查询模板，业务系统通过Restful(Representational State Transfer,相比SOAP是一种更加轻量化的Web应用程序架构设计和实现风格)的方式使用模板文件，生成文档实例，完成相关业务。每个模板具有唯一编码，支持版本管理，具备格式文件的填报说明。主要功能包括文档元数据管理、模板的分类树管理、模板属性的管理、版本管理、多租户管理和文档模板的对外服务功能。

其中文档元数据作为系统内置元数据管理功能，为后期文档溯源和血缘分析提供条件。模板分类树管理是指支持多维的目录结构树管理，由于建设过程中格式文档繁多，管理复杂，需要多个维度的分类方式，可按照不同的主题，不同的属性进行分类管理，如目前常用的一种分类方式为：建设管理类、勘查设计类、施工管理类、监理管理类、竣工验收类、标准规范类文档，且每个分类下都有细目。文档属性与元数据相关，属性作为文档关键内容的描述，在模板库中规定每类文档的属性和属性集，由于属性来自文档元数据，因此对属性名称、属性值以及属性约束、数据类型、值域都有具体规定，而且每类文档模板的属性不同，因此属性数量不固定，可支持属性扩展。版本管理主要是支持文档库管理员发布新版本，废止旧版本。多租户管理是由于国铁集团多层级的管理架构，国铁集团制定总体的模板规范，对于未细化和明确的部分，各建设单位可自行定义模板。文档模板的数据服务是模板库为各个业务系统提供的SaaS服务功能，模板库作为基础数据之一，各个业务系统通过授权的token和文档编码获取文档模板，文档库返回json格式的模板描述和文件路径，业务系统通过此文件形成文档实例，完成相关业务，业务系统调用模板库序列见图3。

1.2 文档实例支撑服务

文档实例支撑服务是文档平台作为SaaS层为各个业务系统提供统一服务的核心能力，为各个业务系统提供开箱即用的文件快速安全的存取能 力[5−6]，使业务系统更加关注业务细节和功能实现。主要表现为文档存储服务、文件流转服务、格式转换服务、文件检索服务、文档签章服务、日志审计和文件安全管理等功能。

图3 业务系统与文档平台交互时序图

其中文件存储服务能够在封装和屏蔽底层存储技术的基础上为上层应用提供安全快速可靠的存储服务，自动实现文件的多副本存储，其他业务系统(如设计管理、检验批、试验报告、第三方检测等)系统文件均可调用文件存储服务实现文件的快速存储。

文件流程服务是统一文件平台提供的统一的流程引擎，支持流程定义、流程执行和流程监控等功能，为文件审批和流转提供服务能力。

格式转换服务提供office格式、CAD格式等文件转为PDF，OFD和H5的转换服务，特别是用户浏览大文件的时候，通过Html5的方式自动分页，不用等文件全部下载即可快速浏览文件，提升用户文件浏览体验。

文件检索服务基于“特征量−特征值”的数据结构搭建，实现工程过程中各类文档关键词、文档属性快速检索，未来扩展支持全文检索功能。

文档签章服务利用第三方CA系统为平台用户签发数字证书，为各业务系统提供电子印章、电子签名、实名认证、身份认证等功能，与第三方CA数字证书结合，并为用户的用章行为提供授权和验证等服务，以实现盖章内容的真实可信、内容完整、不可否认以及盖章合法性要求，并针对应用情况，提供相应的签章接口，实现电子签名与应用的结合。在铁路工程实践中，PDF和OFD文件为电子签章的载体，在审批流程中多重签章的流程见图4。

图4 文件审批双重签章业务流程图

日志审计提供文档创建、流转、查阅和检索等访问行为的日志记录；文件安全管理提供文件权限管理、防止文件外泄、文件水印、防病毒入侵等安全防护手段。

1.3 工程资料库系统

该系统是基于工程文档平台核心能力建立的工程资料系统，提供面向用户个人的文档柜、面向建设单位的资料库和归档库，实现建设过程资料云端存储，个人文件柜可有效防止个人PC机中的资料档案随人员流动而流失，机构的工程资料分为资料库和归档库2个版块进行管理，资料库存放项目建设过程中未归档或临时存档的资料，归档库存放正式组卷归档的资料，遵循铁路项目竣工资料管理法规和编码规则建立统一资料目录，同时系统根据需求可灵活分类和定义属性，采用多租户方式，为每个建设项目提供独立的多维目录视图，目录结构如图5，以施工文件为例，1到9级分别是：项目、文件分类(C类为施工文件)、施工标段、专业、构筑物(单位工程)、施工文件子分类(31类施工文件)、工点、部位和施工构件；资料的收集方式包括接口自动收集和资料员手动上传2种方式，其他业务系统如设计管理系统、调度系统、监理管理系统、试验室管理系统、检验批系统产生的文档可自动归档到资料库系统中。

图5 铁路工程文档分类结构树示意图

2 关键技术研究

2.1 搜索模型

本文提出一种基于铁路工程文档的统一模型，表示如式(1)：

其中：File是源文档集合，File={1,2,3,…,F}。

Index是索引信息，完成文档的索引建立，并根据条件触发搜索，文后给出检索的核心数据 结构。

Property是文档的属性信息，每类文档具有不同的属性集，Property={(Key1:value1), (key2:value2), (key3:value3),…,(keyn:valuen)}，见后文数据结构。

Tree 是语法树，表示在检索时多个检索关键字之间的关系，如and和or。

Template 是每个文档实例的对应的模板编码，用于文档溯源与跟踪，如果没有引用模板，可以 为空。

Search 表示用户的搜索模式，目前主要针对文档关键特征值进行检索。

Weight是计算搜索文件的权重，按照经典的词频−逆文档频率算法，稍作改进后为式(2)：

其中：为文档Data的总数，D为含有检索属性值的文档数量，即Property=“检索值”的文档数量，w为该属性在文档所有属性中的所占比重。

Score为检索结果和用户输入检索值之间的相关性，参考词频−逆文档频率算法模型，利用向量空间模型，一组文档的集合可以看成文档空间中的多个向量，每个属性对应一个坐标轴，文档d在每个坐标轴上的值就是对应属性的权重，那么文档对应的向量为式(3)：

因此，利用向量空间模型进行相关性计算，结果如式(4)：

其中：为用户检索向量的属性值的权重；表示文档向量属性值的权重；为文档中属性的个数。

Rank 表示通过用户检索相关性匹配出来的结果排名。

2.2 关键数据结构和算法

2.2.1 文件特征分析

铁路工程建设过程中多种多样的版式表格，用于完成不同的工作任务和审批程序，因此具有不同的属性描述信息，以批复文件、检验批、试验报告和开工报告为例，这几类文件是工程建设中常见的文档类型，如图6，由于文档用途不同，从各类文档中提取关键描述信息作为文档的属性，方便文档的查询、整理、归档和存储，用户不用下载和打开文件就快速了解文件的关键信息，同时，将这些关键描述信息作为文档定制化的元数据描述，为海量文件的快速检索提供条件。

2.2.2 文档属性数据结构

根据上述文件特征，参考“特征量−特征值”的设计思路，提出“文档分类−文档模板−模板属性−文档实例−属性实例”的数据结构实现文件属性的存储和检索，同时根据文件特征，区分出关键属性和扩展属性，主要用5张关键的实体表作为核心数据结构，分别是分类表、模板表、模板属性表、文档实例表和属性实例表，具体数据结构见图7，该方式解决工程文档属性灵活多变，长短不一的问题，并具有良好的扩展性，另外属性表可以扩展为关键属性和扩展属性表。

根据用户搜索的兴趣模型和检索习惯，例如输入“固霸特大桥桩基”等关键特征值进行检索，虽然文档属性是按照“属性名称：属性值”成对描述文档特征的，但是根据用户检索的模式，仅输入关键词就可以检索需要的文档对象，检索内容可以从属性实例表中检索出来，检索结果排序就是前文所述的Rank排序，然后通过外键关联可以方便的找到文档实例、文档模板等信息，因此上述数据结构将属性和属性值作为2个表存储是对检索友好的一种设计方式[7]。

图6 工程文档属性特征描述图

图7 铁路工程文档平台核心数据结构

这样按照“特征量−特征值”的设计思路，方便检索和属性灵活扩展，但是对统计却是很低效的，因此还需要一组统计表来实现“分类、模板、实例”不同维度的数量统计。

其关键现算法如下：

2.2.3 检索效率优化

上述数据结构设计将文档存放物理地址和文档属性描述分开独立存储，将文档属性描述集中存放，很好地解决文档关键属性信息的检索，从属性实例表中可以快速检索用户感兴趣的文档描述信息，如果用户需要打开文档，通过关联的文档实例调用文档存储的物理地址打开文档。

根据文档数量的估算，每km产生2 000份文档，每份文档10个关键属性，按每年新建铁路5 000 km，则每年属性实例表的数据容量约上亿条记录，通过建立索引、数据分区、增加缓存等手段提高检索效率，通过时间标签区分数据冷热度，将1年以前的历史数据迁移到历史库中存储，从而提高当年数据检索效率。

2.2.4 海量文件的统一存储

文档平台作为全路工程建设各业务系统统一的文件存储中心，经估算每年文件数据增量的规模在亿级左右，文件类型众多，从格式上存在CAD，PDF，OFFICE，视频，图片和表格等，业务类型上包括设计文件、政府批文、公文、试验表格、质检表格、电子日志、工程影像和竣工资料等，由于文件大小各异，访问频次不同，文件数量庞大，一般的NAS等本地文件存储系统由于扩展性不足，无法满足数据规模上的存储；传统的分布式文件系统是面向大文件存储与访问，在小文件数量巨大时，由于存在元数据性能瓶颈和磁盘I/O效率等问题，因此本方案中采用基于对象的分布式文件存储系统[8−11]。

分布式对象存储系统以对象作为数据存储单元，抛弃了传统B+树的存储方式，将所有对象以扁平的方式进行存储，元数据和数据对象一起放置在OSD(Object Storage Device)进行管理，摈弃了传统的集中式存储元数据寻址方式，改为通过哈希计算定位的方式即可完成oid到对象设备物理位置的寻址方式，更适合文件数量巨大，文件尺寸不一、中小文件繁多的业务场景[12−13]，见图8。

图8 基于对象的海量文件统一存储方案

2.2.5 文档平台多租户管理

铁路工程文档平台采用云的方式带来一种新的软件交付方式，必然支持多租户的软件服务模式，每个建设机构作为一个独立的租户使用平台，从平台应用架构上须支持2个层面的服务，一个是租户层面，以建设管理机构为单位构建应用集合，为其提供模板管理、文档存储、文件检索、文件资料柜和安全管理等服务；另外一个是资产层面，是文档平台中可重复使用的资产和应用集合，包括文件存储服务、文档元数据、模板服务、检索服务等底层数据服务能力（见图9）。通过将底层的数据服务和应用服务组件封装为支持多租户的服务方式，为各建设管理机构提供逻辑上互相隔离的应用系统和数据服务[14−15]。

图9 铁路工程文档平台多租户技术架构图

2.2.6 文件支撑服务

铁路工程文档平台为满足建设单位对于文档管理、文件使用的要求，提供统一的检索服务、文件存储服务、文件柜、流程引擎和签章服务等能力，另外包括安全防护、日志审计和运维监控等服务。

其中文件支撑服务以统一的访问格式提供快速存取、文件共享能力，使业务系统无须关心文件存储路径、存储介质和文件备份等事情，同时提供文件上传、文件删除、文件访问权限设置、防盗链和文件监控等服务。

由于铁路工程文档需要在建设、设计、施工和监理等单位之间流转，通过工作流定义和流程引擎实现文档在参建单位之间的在线协同，将原来需要线下流转、纸质签认文档实现线上办理，提高工程文档的处理效率。

系统日志支持查看系统内所有用户和文件的操作日志，包括用户登录、文件操作和共享日志等，为发现用户操作异常、问题跟踪提供日志记录。系统监控提供对CPU，内存，存储和网络等关键参数的监控，为运维诊断提供支撑。

支撑服务主要以Restful的方式对外提供服务，方便业务系统利用文件存取的服务能力快速构建业务应用，释放业务系统技术底层构建的压力[16−17]。

3 应用效果

在实际工程中应用该方案建立铁路工程文档平台，收集整理铁路建设过程中的提报、审批、流转和交验的各类文档，包括公文文档、格式类文档和自定义文档，依托京雄高铁开展应用试点，打造满足建设管理需求的基于文件的在线协同管理系统，集成用户身份签认功能，将工程管理相关的线下流程转移到线上，支持移动端查询、检索及审批功能，有效提升现场流程办理的效率，如图10。

图10 铁路工程文档平台系统截图

表1 文档平台性能验证

在京雄试点应用中，采用13台服务器，其中3台用于统一文档平台系统，3台用于存储元数据集群，3台用于文档对象的存储集群，2台用于签章服务器，2台用于流程引擎服务。为验证文件存储性能，模拟进行5 000万次1 M文件的存储速度如表1。

4 结论

1) 根据铁路工程文档管理的特点，提出基于云存储的铁路工程文档平台的技术架构和功能架构，并给出铁路工程文档的数据模型。

2) 结合工程文档的多样性，具体分析文档特征，提出文件属性管理和用户检索的核心数据 结构。

3) 针对用户快速检索、海量文件存取、文档平台多租户管理和文件统一服务等关键技术进行详细分析，并且依托京雄高铁进行试点应用和实验，取得了实际效果，证明铁路工程文档平台的技术可行性。

4) 在后续工作中，将进一步扩大试点应用范围，挖掘更多用户需求，增强用户体验，协助建设项目各参与方持续提升工程文档资料的管理效率，该系统对规范我国铁路建设工程文档管理、提高文档协同处理效率具有现实意义。

[1] 张媛媛, 张华. 工程项目电子文档管理体系建设[J].石油化工设计, 2019, 36(2): 61−64. ZHANG Yuanyuan, ZHANG Hua. Construction of electronic document management system of engineering project[J]. Petrochemical Design, 2019, 36(2): 61−64.

[2] 杨珑. 浅谈国际EPC工程项目中的文档管理策划[J].石油化工设计, 2019, 36(2): 55−60. YANG Long. On the document management planning of international EPC project[J]. Petrochemical Design, 2019, 36(2): 55−60.

[3] Michael Armbrust, Armando Fox, Rean Griffith, et al. Above the clouds：a berkeley view of cloud computing[R]. University of Carlfornia, Berkeley, Tech. Rep. USB-EECS-2009-28, 2009.

[4] 吴岳忠, 刘琴, 李长云, 等. 基于云存储的网络文档共享研究[J]. 小型微型计算机系统, 2015, 36(1): 95−99. WU Yuezhong, LIU Qin, LI Changyun, et al. Research on cloud storage based network document sharing[J]. Journal of Chinese Computer Systems, 2015, 36(1): 95− 99.

[5] Mesnier M, Ganger G R, Riedel E. Object-based storage[J]. IEEE Communications Magazine, 2003, 41(8): 84−90.

[6] 王中华, 韩臻, 刘吉强. 云环境下多用户文件共享方案[J]. 计算机研究与发展, 2014, 51(12): 2614−2622. WANG Zhonghua, HAN Zhen, LIU Jiqiang. File sharing scheme for multi-user in cloud environment[J]. Journal of Computer Research and Development, 2014, 51(12): 2614−2622.

[7] 刘淇. 基于用户兴趣建模的推荐方法及应用研究[D].合肥: 中国科学技术大学, 2013. LIU Qi. A study of designing and applying recommenders based on user interests modeling[D]. Hefen: University of Science and Technology of China, 2013.

[8] 屠雪真, 黄震江. 一种海量小文件对象存储优化方案[J]. 计算机技术与发展, 2019, 29(8): 31−36. TU Xuezhen, HUANG Zhenjiang. A mass small file storage optimization scheme based on object file system[J]. Computer Technology and Development, 2019, 29(8): 31−36.

[9] 周国安, 李强, 陈新, 等. 云环境下海量小文件存储技术研究综述[J]. 信息网络安全, 2014(6): 11−17. ZHOU Guoan, LI Qiang, CHEN Xin, et al. Review of massive small-file storage technology[J]. Netinfo Security, 2014(6): 11−17.

[10] Shvachko K, Kuang H, Radia S, et al. The hadoop distributed file system[C]// Mass Storage Systems and Technologies (MSST), 2010 IEEE 26th Symposium on. IEEE, 2010: 1−9.

[11] 詹玲, 方协云, 李大平, 等. 基于Ceph文件系统的元数据缓存备份[J]. 计算机工程, 2017, 43(4): 67−72. ZHAN Ling, FANG Xieyun, LI Daping, et al. Metadata cache backup based on Ceph file system[J]. Computer Engineering, 2017, 43(4): 67−72, 83.

[12] 许艳艳, 雷迎春, 龚奕利. 基于可变长分块的分布式文件系统设计与实现[J]. 计算机工程, 2016, 42(5): 80−84, 101. XU Yanyan, LEI Yingchun, GONG Yili. Design and implementation of distributed file system based on variable-sized chunk[J]. Computer Engineering, 2016, 42(5): 80−84, 101.

[13] 詹文瀚.大规模分布式文件系统元数据管理子系统的设计与实现[D]. 成都: 电子科技大学, 2013. ZHAN Wenhan. The design and implementation of metadata management subsystem in large-scale distributed file system[D]. Chengdu: University of Electronic Science and Technology of China, 2013.

[14] 卢萍, 陈进才. 一种基于对象存储的文件系统的设计[J]. 计算机科学, 2008, 35(10): 131−133, 172. LU Ping, CHEN Jincai. Design and implement of object-based storage file system[J]. Computer Science, 2008, 35(10): 131−133, 172.

[15] Sanjay Ghemawat, Howard Gobioff, Shun-Tak Leung. The Google file system[C]// ACM SIGOPS Operating Systems Review, ACM, 2003: 1−3.

[16] 姜晓燕, 张勇, 刘士军, 等. 基于模型驱动的分层多租户架构设计[J]. 小型微型计算机系统, 2013, 34(12): 2724−2728. JIANG Xiaoyan, ZHANG Yong, LIU Shijun, et al. Layer multi-tenants architecture based on component and metadata[J]. Journal of Chinese Computer Systems, 2013, 34(12): 2724−2728.

[17] 李朝铭, 崔洪志, 王建华, 等. 云消息服务平台CMSP多租户权限模型[J]. 信息技术与信息化, 2019(7): 10− 13. LI Chaoming, CUI Hongzhi, WANG Jianhua, et al. Cloud message service platform cmsp multi tenant authority model[J]. Information Technology & Informatization, 2019(7): 10−13.

Research and application of key technologies of railway engineering document platform

XIE Yalong, WANG Wanqi, NIU Hongrui

(China Academy of Railway Sciences Corporation Limited, Beijing 100081, China)

Aiming at the problems of engineering documents such as “mass, dispersion, different standards, difficulty in sharing” during railway construction in China, taking into account the industrial characteristics of unified planning, integrated management, and handover of railway construction in China, an unified multi-tenant document platform based on cloud storage for railway construction was put forward, functional framework and data model of the document platform of the technical structure was designed, the key technologies of user research, document storage, and support web services was discussed in detail, then the results in our experience in the application of Beijing-Xiongan Railway construction management was obtained. It would be significance to standardize the documentary management of railway construction in China.

railway construction; engineering documents; cloud storage; document platform; distributed file system; multi-tenant

U2；TP39

A

1672 − 7029(2020)08 − 2142 − 10

10.19713/j.cnki.43−1423/u.T20190912

2019−10−18

中国国家铁路集团有限公司科技研究开发计划项目(K2018G055)

解亚龙(1980−)，男，山西运城人，副研究员，从事铁路信息技术研究；E−mail：20183808@qq.com

(编辑 阳丽霞)