基于单向设备的分布式多任务调度在大型复杂网络环境下的应用实践

张天泽 马丛林

摘要：大数据的汇集对网络和安全设备提出了新的挑战，数据源种类的丰富及非结构化数据价值挖掘日益增长，已对跨域传输提出了新的要求。为实现不同网络之间数据的安全传输需求，同时解决以往整体单向传输设备使用不平衡，硬件资源的利用率偏低的问题，单向设备的分布式多任务调度及其关键技术的探索显得尤为重要。

关键词：大数据;数据传输;单向传输设备;调度服务器;关键技术

中图分类号：TP18  文献标识码：A  文章编号：1671-2064（2019）16-0000-00

1研究背景介绍

“大数据”是近几年来的热门话题，大数据的汇集对网络和安全设备提出了新的挑战，数据源种类的丰富及非结构化数据价值挖掘日益增长，已对跨域传输提出了新的要求。

在保证网络不打通的前提下，为了进行不同网络之间的数据传输，使用的解决方案是是用安全单向传输设备来进行不同网络之间的数据传输。包括从网络A与B，网络A与C，网络A与D。设置了多个单向安全设备，每个应用使用一个单向设备，每个单向设备容纳至少一个应用通路。

基于物理隔离的单向传输系统部署在内外网络边界，将内部网络与外部网络进行单向连接，只允许数据从外部网络单向传输至内部安全网络，不允许反向数据流动。同时，导入前置机、单向传输设备和导入服务器串接部署，单向传输设备只提供导入前置机与导入服务器两个专用设备之间的数据单向导入，不与各种应用服务器交互，避免引入额外的安全风险。

单向安全传输系统的文件同步功能是核心功能，该功能支持两种方式的文件传输，一种是推文件方式，另一种是拉文件方式。推方式是指在导入前置机上建立FTP|SMB文件服务器，使用者将需要同步的文件从外网上传到文件服务器，然后上传的文件通过导入前置机的代理程序进行数据封装、压缩等处理，再由导入前置机通过光闸口传输到单向传输设备，单向同步到导入服务器上，导入服务器代理程序接收并还原文件后，通过文件传输协议上传到导入服务器网络的特定文件服务器上。如果外网有专门的文件服务器，就可以采用拉方式进行文件传输。这里拉方式是指在导入前置机上将驻留文件客户端代理程序，该程序定期去文件服务器上获取需要传输的文件，然后上传的文件通过导入前置机的代理程序进行与推方式同样的处理。

在当前的解决方案框架下，会存在一个比较大的问题，某些应用的数据流量大，造成其所对应的单向传输设备负载大，而一些应用的数据流量较小，但也占据了相同的资源。这样就造成了整体单向传输设备的使用不平衡，硬件资源的利用率偏低。

2 解决方案思路

在单向设备本身不做改造的情况下，是否能够通过纯软件的方式来实现对通路的均衡分配，从而实现通路全面的高利用率以及高可用性（失败恢复）。是本解决方案研究的重点。

解决问题的具体思路是通过一个总控文件接收和任务调度服务器（具备高可用），作为应用数据（文件）安全传输的统一入口。在接收到文件之后，根据当前单向设备任务分配的状态安排任务通路。解决方案的逻辑架构图如图1。

在数据传输的执行过程中，对单个应用λ而言，在网络B中的数据的应用获取数据并将其放置在隔离区的文件服务的对应路径之下，任务调度服务器轮询对应位置获取文件，并根据任务分配原则将对应文件放置在分配到的单向设备所对应的文件处理服务器上，再由单向设备获取文件并导出到网络A中文件处理服务器，经过任务调度服务器的处理再导出到文件服务中，平台I上的β应用获取数据，整个数据安全传输过程完成。如果网络A中的数据需要传输到网络B中，流程实际上是类似的反向流程。

在这个数据跨网传输的过程中，每个网络中都需要有任务调度服务器来完成文件的接收、处理、文件打包以及任务分配的工作。该服务器是解决方案的重要节点，承担着系统中最为核心的作用。

3关键技术实践

为了保证整体的数据链路的安全、可控，可靠，本解决方案涉及到了不少关键技术。分别简要介绍如下：

3.1无需绑定硬件设备

通常的使用方法都是基于特定的硬件設备，没有兼容多品种、多型号的硬件的冷切换功能。而本解决方案的设计思路不依赖单向设备的本身的硬件特性，只需要单向设备支持SFTP、Samba等协议，即可实现通路资源的统一调度，能够对用户的既有设备实现利旧，充分保护用户的固定资产。

3.2跨机房分布式部署

每个方向的两个单向设备通路分布在主备两个机房部署，调度服务可以调度主备机房的所有通路，当其中一个通路出现故障时，调度服务会将任务转移到可用的通路，从而确保任务不中断。

3.3通道畅通保证

为了保证单向通道不全部被大文件任务占用而阻塞整体通路，将任务处理器标记为小任务通道和大任务通道，大任务只能在大任务通道传输，小任务当大任务通道空闲时（大任务通道无大任务在处理），可以在大任务通道传输。任务的大小区分可配。

3.4统一调度策略

在任务统一调度的前提下，为了保证重要应用的业务的数据传输不受通路整体交通状况的影响，能够设置任务优先级，根据业务优先级选择高优先级的任务。同时，根据文件服务器中的文件容量：优先调度文件容量少的处理器。同时需要计算每个处理器中排队文件的平均大小，选择大小最接近待处理文件的那个处理器，这样可以在兼具等待耗时公平的前提下同时尽量使得大中小文件分类传输，以提升大中小文件的传输效率。

3.5秒传与秒回传

从高密级网络B到低密级网络A传输文件（或反向传），之前摆渡过的文件，后续任务中不用摆渡，通过比对文件摘要来从本地获取文件，通过验签确保文件不被篡改。而B摆渡到A的文件，不用再从A摆渡回來，只摆渡在A生成的文件摘要，通过摘要在B获取本地文件。

3.6设备状态监控

在不获取单向传输设备的运行信息的前提，能够对状态进行监控，通过双单向网闸的传递心跳文件，来判断单向传输设备是否工作正常。

3.7任务失败恢复

在任务未成功执行并被调度服务器获知时，会重新尝试传送文件，且在重试时会优先选择和任务处理失败时不同的任务处理器。

3.8安全保证

文件提交到任务调度服务之前需要进行安全扫描，确认有问题后继续处理任务。安全扫描应当能够集成多个第三方扫描工具，实现全方位的文件扫描，包括常规文件格式以及APT等。

4应用效果

在某项目的实地应用测试过程中，本方案的可行性得到初步验证，无论在执行效率以及软件可靠性方面都得到了一定程度的证明。

在效率层面，通过搭建8套千兆网闸（单向4通路）的测试环境，进行压测，每通道并发任务数为50，从低密级B网络向高密级A网络摆渡，审核后自动摆渡回到A网络，总共摆渡178G文件，用时21分32秒，178G/21分32秒/4通路，得到单通路常规文件摆渡速度为37MB/S。远远超过之前的单向设备独立的传输方式。

实验过程中，尝试直接关闭一条通路（进出均可）后，传输任务不会中断，会被均分到其余通路上，通行速率下降约1/4;在关闭任意一个调度服务器的情况下，任务也不会受影响。整个传输系统的可靠性也得以被验证，可以用于实际的工程化部署。

参考文献

[1] 吴绍欣.分布式指挥系统分层多任务调度研究[D].哈尔滨工程大学，2011.

[2] 佚名.一种分布式多任务调度管理系统：陕西，CN103677973A[P].2014-03-26.

[3] 赵睿斌，杨绍亮，王毛路，等.基于商密体系的政务链解决数据安全共享交换的研究[J]. 信息安全与通信保密，2018，No.293（5）：85-90.

[4] 佚名.基于单向隔离硬件通道的数据单向传输系统：北京，CN1601955[P].2005-3-30.

收稿日期：2019-06-29

作者简介：张天泽（1985—），男，河南洛阳人，本科，正科，研究方向：网络安全，资源运营。