基于广域网的海量数据加速传输方式的研究

◆韩会雯

（中国飞行试验研究院信息化与档案中心陕西 710089）

由于飞行研制需要，飞行任务需要进行异地传输协同设计工作，飞行数据需进行异地传输。为确保飞行试验设计质量及任务进度，海量飞行数据快速、安全、准确的传输具有至关重要的意义。

1 数据传输现状

某型号飞行任务每架次大约产生 30-150G数据量，每天两次飞行任务大约产生 60-300G，随着信息系统的发展和飞行任务等增加，此数据量在未来呈持续增长的状态，目前上海、西安两地通过飞行专网、人工摆渡等方式对这些数据进行传输。

1.1 遇到的问题

随着数据量不断增长现有的数据传递方式的缺点也不断浮现，具体如下：

（1）网络层

上海、西安两地通过100Mbps互联网链路通过IPSECVPN进行连接，VPN通过数据加密算法实现虚拟链路安全，加密的同时造成了数据传输开销大，另一方面大文件、数据量大、带宽低、传输耗时，需要等待的时间久，上海和西安两地通过广域网协议传输，降低了链路的传输效率。

针对目前的情况计算，若使传输速度保持在一个可以接受的阈值，至少需要将现有两地网络带宽升级到1Gbps。而专线的租用费用普遍高昂，大容量数据传输在广域网环境下也无法充分发挥带宽性能，若是依靠专线升级实现网络容量的扩容，每年仅在线路上需要新增的投资就达数百万，性价比难以得到保障，速率也无法线性提升。

随着飞行数据和规模不断扩大，传输效率低下成为两地协作的最大瓶颈，全国各地分支机构的快速、安全、高质量组网和大容量数据的传输成为亟须考虑的问题。

（2）应用层

目前使用的应用传输工具为即时通讯软件，并进行点对点传输，传输效率较低，传输文件后没有日志记录、不可追溯，无法单次传输超大容量文件，由于数据不集中，没有对应的权限管理机制，造成数据管理风险较高，共享效率较低，这些宝贵数据没有产生应有的价值。

（3）存储层

飞行数据卸载后存储到服务器本机的硬盘中数据资源比较分散，专网日常工作中也会产生较多的工作资料、文档、视频数据（按照每天150G计算，每年大约55TB）这些数据均存储到本机硬盘中，无法长期保存、也无法大容量存储，并且传输速度受硬盘、存储设备的性能所影响，造成数据无法满载传输，影响传输效率。

1.2 传输效率预估

在现有情况下，按照飞行数据平均值分别在带宽 100、200、300Mbps下推算出文件两地传输所需要的时间如表1：

表1 理论文件传输时间表

可以看出在理论平均速率的情况下，传输大容量文件较为吃力，传输效率较低。

2 建设目标及要求

2.1 建设目标

（1）容量数据传输优化、加速

两地互联数据汇集，西安节点处于应用的中心，数据交互量之大可想而知。而从目前使用的应用来看，往往文件较大、冗余度又高、需要多次传输的数据。在网络传输层需要完成广域网的协议加速、流压缩、重复数据消重等目标，最大化提升广域网传输速度，降低带宽损耗和无限制扩容带宽带来的长期开支。

（2）大容量数据安全共享、管理

本次的网络传输建设安全是基本要求。通过集中管理、统一运维、统一VPN商密算法进行加密，使文件传输两端通过唯一的密钥进行加解密，通过专用文件系统搭配系统实现上海、西安、移动系统的文件传输安全。

飞行数据和工作中产生的技术文档、图纸等资料分散存储于各个电脑和服务器中，设备使用过程容易造成硬件损坏使重要资料丢失，没有专业的文件管理系统，因此需要一套专业的文件资源管理系统将分散的资源集中存储起来。通过技术手段实现大容量数据的分类管理、权限管理、分享管理、日志可追溯。

（3）大容量数据极速存储、扩展

网络传输速度加快的同时也需考虑底层存储系统的速度，考虑未来数据量不断提高和长期保存需要，建设一套可横向扩展的高速分布式存储系统，实现海量数据的存储和高速读取。

2.2 建设要求

完整的大容量数据传输专网构建，需要从安全性、快速性、可靠性、管理便利、建设成本等全方面考虑。

（1）安全要求

本次的网络建设是承载上海到西安的业务传输，安全是基本要求，除了需要保障接入、传输、权限等安全性要求外，系统应能提供国家相关政策，能够支持国密加密算法。

（2）快速性要求

两地、多地网络间应用访问速度是最直观的体验，需要兼顾安全的同时考虑传输速度和质量。

A：提高两地传输吞吐量、提高传输效率；

B：提高专网接入带宽速率到300Mbps；

C：由于VPN网络是基于普通公网线路构建的，网络本身质量、跨网传输导致丢包等现象都会对VPN的使用状况产生影响。势必造成访问速度下降，甚至无法建立VPN连接。因此要求能实现广域网的线路优化。

（3）可靠性要求

要求有完备的机制能保障网络时时畅通，要求遭遇特殊情况导致设备、线路、VPN隧道瞬时不可用时，能在短时间内恢复，避免导致大规模的业务中断。

（4）可管理要求

此次建设涉及 2个分支互联节点，后续势必会增加其余分支的组网。网络建设需要采用一套完善的管理机制，对整网的分支互联进行统一管理、配置、升级等，并可对各点设备进行健康状况的实时监控、异常报警，远程维护。

（5）集中存储需求

根据飞行数据产生的数据量计算，测试数据需要长期存储，要求数据存储容量至少60TB，并能实现大容量文件的集中管理、快速存储和后期归档，最终实现热数据存储到较为昂贵的高速存储上，冷数据存储到廉价的归档设备上。

3 网络建设

3.1 整体网络拓扑

在专网核心交换机旁路部署管理控制台，广域网加速系统、数字网盘、分布式存储等应用系统；分支机构网络端出口或网桥模式部署广域网加速系统；同时对商务互联网线路进行优化扩容，通过以上各系统的功能实现两地之间数据传输效率提高，安全性提高、大容量数据的有效统一管理和存储。网络拓扑图如图1：

图1 网络拓扑图

3.2 网络层建设

（1）通过将专网出口原有100Mbps带宽提升到200~300Mbps来增加网络传输容量，具体提升数值测试后选择最具有性价比的速率；

（2）上海和西安两端网络增加分支加速节点设备，通过加速设备的广域网协议优化、应用缓存优化、VPN加速、代理加速、流量压缩技术提高两地大容量数据的传输效率，理论加速效率提升60~100%；

（3）西安本端部署管理平台，实现加速器之间的统一管理、协作、策略分发以及加速效果监测，后续分支需要扩容可再分支机构增加加速节点，移动办公加速可采用桌面级加速节点进行快速部署；

（4）为了提升两个分支系统的稳定性和可靠性，目前部署的20M 专线和新增虚拟专线可以改为互相备份的模式，在出现链路拥塞或者故障时候，可以通过负载均衡设备进行智能地检测并自动切换到另外一条链路，减少停机时间。

3.3 应用层建设

通过部署文件统一管理系统网盘，对飞行产生的数据进行统一的管理，实现大容量数据集中存储、共享、协作及归档等功能，根据不同使用场景，提供个人空间、群组空间、公共空间等三种空间应用方式，满足高并发和快速响应的实时访问服务。

网盘系统提供目录权限分配、上传审批、动态配额、文件夹新增、批量上传、批量下载、共享（可设置权限）、文件转移、外链分享、多版本管理、使用轨迹、office/视音频在线预览、全文检索等功能，提高对数据的利用和使用效率。

3.4 存储层建设

通过增加大容量数据的分布式存储系统，降低由于底层存储系统造成的硬件传输瓶颈，解决海量数据的长期存储和归档需要。

建设3-4节点的分布式存储系统，通过多节点镜像、高速缓存、横向无线扩展等技术机制满足院里大容量数据的长期和快速存储。

对于需要高效传输的数据通过SSD高速硬盘进行临时存放，数据传输完毕后不需要随时使用的数据使用相对廉价的机械大容量硬盘进行存储，降低整体成本。

最终从网络层、应用层、存储底层三个方面实现大容量数据的传输、加速、存储和管理。

3.5 加速后的效果

启用加速后的效果预估，理论提速50-100%，如表2：

表2 加速后文件传输时间表

4 风险分析

由于大容量数据的传输受到存储介质、文件类型、传输应用、网络链路等多方面数值影响，存在较多不确定因素，需要展开后续更多测试工作，对各项数据进行测试后得出更准确的结论，从而避免项目风险。