基于文档服务器系统分布式存储功能的实现

张建通 李玉顶 张元元

华电国际文档服务器系统文档多年来一直采用集中存储方式，各单位在访问时从远程（专线方式，一般为4Mb）上传、下载文档。随着用户数的增加、数据量的膨胀，异地用户在操作较大的文档时，速度较慢，系统性能成了瓶颈，操作时长时间的等待，造成用户的体验不好。通过分布式存储功能的实现，大大提高了文档上传下载的速率，提升了用户体验； 且文档存储在中央服务器的同时，各单位的文档还在本单位有一份备份，也大大提高了数据的安全性。

一、背景

（一）文档服务器系统现状

文档服务器系统是华电国际为其他业务系统提供文档的上传、下载等服务，存储文档，管理文档的应用系统。使用该系统的业务系统主要包括华电国际主数据管理系统（MDM）、PM项目管理系统、项目管控系统、华电国际财务及资产管理系统（FAM）的财务管理、生产管理、物资管理、合同管理、燃料管理等功能模块，在华电国际生产经营管理所需的应用系统中得到了广泛应用。

（二）存在的问题

随着华电国际的不断发展，越来越多的单位上线了相应的应用管理平台，用户及线上业务量增长迅速，用户满意度是衡量各平台效果的标准之一，而系统性能与用户体验息息相关。在各平台与文档附件相关的业务中，提高文档服务器系统性能对于提升用户体验起到了重要的作用。但是，传统方式下存储服务器单机部署或集中部署在一地，异地上传和下载速度低，效率低下，用户体验差，频繁下载影响更甚，一直是困扰信息公司的一大难题，也是用户应用系统中的痛点。

二、分布式存储助力企业IT服务科技创新

（一）什么是分布式存储

分布式存储，是将数据分散存储在多台独立的设备上。传统的存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

基于通用的分布式文件系统，结合华电文档服务器系统现状，设计的分布式存储功能，能有效提高文档服务器系统可靠性、数据安全性，提升用户体验。结合优化后的文档服务器系统，分布式存储功能适用于华电国际各应用管理平台，如FAM、PM、主数据系统等。

（二）为什么要开发分布式存储功能

长期以来华电国际飞速发展，信息化进程不断推进。新场景新模式不断出现，各应用管理平台也在面临新的挑战。探讨研发新技术，比以往任何时候都更加重要，任何的创新研究，都是为了给实施它的企业、企业员工及其他利益相关者提供多方面的价值，亦是为了更高效且低成本的解决用户当前所面临的痛点与难点问题，基于文档服务器系统的分布式存储功能亦是如此，迫切需要解决以下问题：

一是新系统、新用户以及业务量的迅速增长，给文档服务器的效率及可靠性带来的巨大压力。随着企业各种新建系统的不断实施上线运行，公司业务规模的扩张，使用系统的下级单位数量及用户量也在暴增，文件作为在线业务不可缺少的附加属性，数量和容量都在快速增长，现有的存储方式无法满足文件急速增长对系统的要求。

二是现有文件存储方式导致的访问速度无法满足用户需求，用户满意度下降。在信息化发展初期，文档服务器部署在一地，信息系统少，用户少，线上办理业务不频繁，跨区域访问造成的速度慢、效率低问题不明显。随着新用户的增加及业务量的增长，这种方式的弊端逐渐显露。超远距离文件传输造成的速度慢等问题严重影响用户体验。原有的文件存储及访问方式调整势在必行。

三是分布式存储是文件安全方面的另一道保障。随着数据量的飞速增长，且核心业务逐渐切换至线上办理，存储的规模越来越庞大，文件的重要性也越来越高，存储系统本身也越来越复杂，这给系统的管理、运行带来了很大的压力，如果没有另外的备份方案，所有文件存储在一台服务器上，服务器可能的突發情况将给用户带来不可估量的损失，分布式存储在提高系统性能和效率的同时，也通过多地分布存储的方式，提高了文件的安全性。

因此，我们已清醒地认识到实现文档的分布式存储功能的必要性与重要性，开始探索符合华电国际特色的文档的分布式存储功能的实现方式。并思考如何进一步通过技术创新来不断满足用户的需求，提升用户体验。基于华电国际文档服务器系统的分布式存储功能也就应运而生。

三、建设内容与实施步骤

（一）方案规划

结合华电国际文档服务器系统的现状：提供文件接口服务及文件存储功能，一次上传多次下载的使用模式，因下载次数多而被放大的下载速度慢问题，且用户分布在多地，而服务器集中部署在一地，数据访问均需要使用广域网远距离传输等，我们总结出了专门针对文档存储及下载服务的分布式存储方案。

我们通过分布式思想设计的系统结构，在下属单位搭建小型的用于分布式存储的服务器，将原有的存储在总部服务器上的文件，根据文件属性，在闲时定期备份至相应的分布式存储服务器，并在本地用户调用下载服务时通过局域网访问分布式存储服务器，实现快速下载的目的。同时分布式存储服务器也起到了一定的备份作用。

在提供高效率的同时，还需兼顾低成本的原则，我们目前仅在信息化程度较高的下属单位进行实施，在本单位已有服务器上划分出合理的空间搭建虚拟存储服务器，用于分布式存储和下载服务。只需较低的人员和物料成本即可完成搭建服务器和安装服务的操作。我们设计的基于华电国际文档服务器系统的分布式存储功能也就达到了结合用户自身特点，实现高效率、低成本的分布式文件系统的目的。

（二）落地实施

1、明确系统架构

在科技创新的思想指导下，我们明确了目标。根据分布式文件系统思路，并结合我们的具体实际，规划设计了新的文档服务器系统技术架构，制定了分布式存储方案。

在满足条件的下级单位搭建分布式存储服务器，并安装应用，提供下载服务，通过额外模块实现数据的跨服务器存储，实现异地用户快速访问数据的目的。

2、多方参与开发

经过充分的技术讨论，明确系统架构之后。华电国际山东信息公司借助外部技术开发团队，以项目合作方式启动了文档服务器系统优化项目，在分布式存储功能开发过程中，除了项目团队参与，还有试点单位同事的大力支持与配合。

各方分工明确，对项目过程中遇到的问题积极讨论，深入分析，确保每项工作都按标准完成。此次探索过程中，双方总结出了一套完善的开发及实施流程，为以后其他单位实施上线规避风险，提高效率留下了宝贵的经验。

3、实现分布式存储功能

经过项目团队的努力工作及试点单位的支持配合，于2019年3月份上线了该系统，并在多家单位实施了分布式存储功能，在使用文档服务器系统提供的文档接口服务的业务系统中，以FAM系统合同管理模块为例，试点单位初步反馈的数据显示效果显著。另一方面，通过将各实施单位的文档数据分布式存储至各单位服务器，也起到了数据备份的作用，提高了系统安全性。

通过计算，我们可以获得两家单位下载速度的对比情况（见表1，表2），其中章丘公司因为本身网络带宽较高，小于30兆的文件下载速度小于1秒，对下载速度的计算影响较大，数据仅供参考。

文件越大，下载速度趋于稳定，越接近实际下载速度，所以仅以大于20兆的文件下载速度进行计算，可以获得在分布式存储功能实施前后两家试点单位的平均下载速度分别为邹县电厂：0.67M/S、5.65M/S，章丘公司：1.17M/S、25.89M/S，分别提高了8倍与22倍之多，完全达到了项目预期的效果，能直观的了解到系统性能的显著提高。

（三）系统推广

文档服务器系统分布式存储功能的上线大大提高了与文件相关业务的处理速度，对于提升业务系统的用户满意度，提高员工工作积极性具有很大的促进作用。在两家试点单位成功实施，并且获得良好反响后，我们又紧锣密鼓的开展了山东区域其他八家单位的实施工作，目前山东区域十个单位均已上线。

四、创新特点

与同类型的分布式文件系统相比，华电国际文档服务器系统保留基本系统结构，最大程度的减少对现行业务的影响，有针对性地吸收分布式存储的核心功能，更加符合华电国际自身业务及系统特点，属于为企业量身定制，且占用系统资源小，可扩展性强，易于推广实施。

该系统有如下特点：

高性能，主要以系统的响应延迟来衡量；

高可靠性，重点指数据安全方面，数据可靠不丢失；

高安全性，保证服务器不受恶意访问和攻击，保护存储数据不被窃取；

高扩展性，通过扩展集群服务器规模从而提高系统存储容量、计算和性能。

五、收益与推广应用前景

目前使用文档服务器系统的应用管理平台超过四个，细分业务模块超过二十个。以FAM系统合同管理模块为例，华电国际共有超过150个下属单位上线，其中以合同申请及付款申请业务为例，平均每天上传的附件超过100个，在业务流转过程中附件的下载次数超过500次，仅在下载服务这一点来说，即使对系统性能1%的提升，所达到的效果也将会被放大数倍甚至数十倍。

实施文档的分布式存储则可以有效的提升当前文档服务器的系统性能，并给企业带来如下改变和价值：

节约时间成本，提高人员效率：在业务系统中，每上传一个附件，都会被下载10-15次，实施分布式存储功能后，调用文档下载服务的时间将缩短50%-70%，对于处理线上业务较多的人员来说，节约时间成本的效果更加显著，能有效提升工作效率。

提高文档存储安全性：相比原来所有文档集中存储在同一台服务器上，实施分布式存储功能后，所有的分布式存储服务器都相当于一台备份服务器，存储本单位的文档，为文档存储的安全性增加一道保障。

提升用户体验，提高人员积极性： 实施分布式存储后，调用下载服务将通过局域网在本单位服务器上进行下载，常规带宽下也有可能实现百兆文件一秒下载完成，能有效提升人员士气和满意度，减少长时间等待所产生的负面情绪，从而提高了员工的工作积极性。

通過文档服务器系统的上线以及分布式存储功能在多家单位的实施，业务系统各相关模块的性能显著提升，从用户的反馈来看，该功能有效的节约了员工的时间成本，提高了员工的工作效率，用户满意度也得到极大的改善与提升。

另外，通过前期的实施工作，我们总结出了一套完善的实施方案，便捷的实施方式、较低的成本，以及功能实施过程中对现行业务系统基本无影响的特点，有利于该功能的推广与实施，尤其适用于华电国际这种拥有众多下级单位的大型企业。

以我们对产品能力的了解，随着实施单位的增加，用户口碑的广泛传播，有形与无形的收益都在增加，推广与应用前景将会越来越好。

作者单位：华电国际山东信息管理有限公司