一种边缘云协同的任务调度方法研究

孙毓聪，豆龙龙，杨勤胜，许杰雄

摘 要：文章针对传统集中式云数据中心的问题，提出了云边融合的3层网络架构，以实现海量本地数据的即时处理。利用边缘层的多个分布式边缘服务器开展协同任务处理，提供并行计算的能力。针对如何在多个服务器中进行任务调度的问题，文章提出了一个基于队列的任务调度框架。

关键词：云边融合;协同任务处理;任务调度

1 数据分析和智能化处理

随着万物互联的发展及广泛应用，网络边缘的移动设备及应用程序呈爆炸式增长，网络流量及服务数据量也随之迅速增长，数据计算密集性应用被拓展到移动端，用户对数据处理速率和优良的服务质量体验（Quality of Services，QoS）需求也日益增长。然而，用户设备（User Equipment，UE）的能量和计算资源有限，难以在短时间内处理、计算大量的任务。

在物联网技术迅速发展的背景下，虽然可以利用云计算平台来存储数据和计算，但在面对海量用户设备的连接、爆炸式增长的数据流量及用户对服务质量越来越高的需求，传统集中式云计算模式存在响应时延高、带宽压力大、云端负载过重等问题，而边缘计算在大量数据和终端设备下的低时延、高带宽的优点，表明边缘计算更适应当前边缘式大数据处理时代[1]。边缘计算模型的兴起并不代表云计算模型的没落，两者并不是二选一的状态，边缘计算实际上可以看作是对集中式云计算的补充，为用户提供更好的服务质量。中心云对比边缘云能存储更多的数据，处理对实时性要求不高的作业，方便全局查询对比与分析。边缘计算模型更适用于实时性强的本地作业，能更好地实现实时数据的分析和智能化处理。两者是相辅相成、相互结合的关系，二者的结合能更好地提供服务。

2 云边融合的边缘计算网络架构

对于用户设备来说，最适合进行计算任务卸载的应用程序，往往是对计算资源有着急切需求的应用程序。同时，该任务卸载只需要耗费UE的少量能量用于数据传输，需要传送大量数据的任务更适合在UE本地进行处理[2]。随着机器学习、人工智能的发展，摄像头获取到的数据经过处理可以用于人脸识别、智能监控、图像识别等场景。用户智能设备的普及使应用程序中使用人脸识别变得常见，例如，刷脸支付、人脸登录认证、人脸美容等，在UE上进行人脸识别已是一股新潮[3]。

本文提出一种云边融合的边缘计算网络架构，如图1所示。在传统云计算架构的基础上，移动边缘计算（Mobile Edge Computing，MEC）利用靠近边缘设备的、具有计算与存储能力的MEC服务器，为边缘设备提供云服务，从而能支持实时人脸识别应用，降低响应时延。UE把计算任务卸载到单个MEC服务器上，考慮到面对大量密集性的计算任务，MEC服务器的处理能力相对于云服务器仍有局限。因此，本文提出利用多个地理分布的MEC服务器共同完成业务，综合考虑各个服务器的负载情况和传输时延，研究出MEC中的地理分布式计算任务调度机制（Multi-Server Cloud Edge，MS-CE），将人脸识别作业中多个计算密集的任务合理地在各个MEC服务器中调度。

3 云边融合架构下的任务调度框架

为了达到低延时的目标，需要解决如何在多个MEC服务器之间进行任务调度的问题。由于有向无环图（Directed Acyclic Graph，DAG）作业中的每个子任务，都需要其前驱任务的中间数据。每个前驱任务可能在不同的服务器上执行，因此，需要考虑前驱任务的中间数据传输到当前任务所在服务器需要的时延。服务器上分配到的任务数量不同，其负载的情况也不同。为了实现MEC层处理作业低延时的目标，如何考虑每个服务器的负载情况，尽量将任务分配到传输时延低且负载较轻的服务器上，是提出的任务调度机制需要考虑的问题。

本文提出了一种基于队列的任务调度框架，其基本思路如图2所示。该系统是一个集群架构，由一个主服务结点（master）和多个从服务结点（slave）组成，master和slave都为MEC层中分布式的MEC服务器。接收到来自UE的识别作业的MEC服务器作为master，执行任务同时还可进行任务调度;其他MEC服务器作为slave，只负责任务的执行。每个MEC服务器中，维护一个等待队列（Task Queue，TQ）和预备队列（Standby Queue，SQ），TQ为MEC服务器正在等待执行的任务队列，SQ为分配到MEC服务器的任务，但其输入数据未传输完成的任务队列。此外，master还需维护整个作业的信息，例如各任务节点之间的依赖关系、任务是否已经处理完成。基于该调度框架，其基本处理流程如下：

（1）UE向附近基站提交DAG作业及上传输入数据，MEC服务器通过基站接收到作业和数据，该服务器将作为master进行任务调度，其他MEC服务器作为salve。

（2）master根据每个服务器中的TQ 排队情况和数据传输时延，为当前阶段可以执行的任务分配 MEC服务器。

（3）每个MEC服务器接收到master分配的任务后，先查看本地是否有全部输入数据。若没有数据或数据缺失，则该任务先进入SQ等待数据的到来;若已有全部输入数据，任务直接进入TQ等待时间片去执行。

（4）MEC服务器中SQ的任务的输入数据全部接收到后，任务从SQ弹出，进入TQ等待执行。

（5）MEC服务器的TQ的队头任务执行完后，从队列中弹出，并告知master该任务已经执行完毕。

当master接收到当前阶段全部已分配任务的完成信息后，继续执行（2—5）步骤的操作，直至整个作业完成。

4 结语

本文以降低数据处理时延为目标，提出了一种云边端融合的3层网络数据处理架构，以实现海量本地数据的即时处理为出发点，提出了一种基于队列的云边融合的任务调度框架，优化数据处理过程。

作者简介：孙毓聪（1989— ），男，江苏南京人，助理工程师，学士;研究方向：数据分析，高品质用户体验，UI设计开发。

[參考文献]

[1]施巍松，张星洲，王一帆，等.边缘计算：现状与展望[J].计算机研究与发展，2019（1）：69-89.

[2]MACH P，BECVAR Z.Mobile edge computing：a survey on architecture and computation off loading[J].IEEE Communications Surveys&Tutorials，2017（3）：1628-1656.

[3]WANG S，ZAFER M，LEUNG K K.Online placement of multi-component applications in edge computing environments[J].IEEE Access，2017（5）：2514-2533.

Research on a task scheduling method based on edge cloud cooperation

Sun Yucong， Dou Longlong， Yang Qinsheng， Xu Jiexiong

（JiangSu Frontier Electric Technology Co.， Ltd.， Nanjing 210000， China）

Abstract：In order to solve the problem of the traditional centralized cloud data center， the three-layer network architecture of the cloud edge is proposed to realize the real-time processing of the massive local data. A plurality of distributed edge servers of the edge layer are utilized for carrying out collaborative task processing， and the capability of parallel computing is provided. In order to solve the task scheduling problem in multiple servers， this paper presents a queue-based task scheduling framework.

Key words：cloud edge fusion; collaborative task processing; task scheduling