边缘计算技术的发展及其对抗恶劣环境数据中心技术的影响*

2019-09-27 01:35许建平
舰船电子工程 2019年9期
关键词:计算中心集中式数据处理

许建平

(海军装备研究院 北京 100073)

1 引言

随着抗恶劣环境计算机的发展和中国信息化建设的不断深入,抗恶劣环境数据中心要求能够在开放式网络环境下提供多维度大数据量的信息处理。用于处理本地的各种计算、存储等服务。云计算作为当前抗恶劣环境数据中心技术的主要运营模式,用于处理本地的各种计算、存储等服务。用户通过网络使用云计算提供的各种计算,存储和其他资源,消除了用户获取,管理和维护的成本,提高了资源的利用率[1]。

云计算的核心思想是通过不断提高“云端”(计算中心)的处理能力来集中处理用户终端的任务,最终用户终端被简化为简单的输入和输出设备,即瘦终端,并且可以按需享受由“云”提供的强大的计算处理能力。现有的云计算平台是基于大型数据中心的集中式结构[2],通过建立集中的大型数据中心和计算中心形成“云”端。由“云”端对外提供用户所需的各种服务;用户通过网络使用“云”端提供的服务,如图1所示。

基于资源集中的云计算模型具有强大的计算、存储能力,可以为抗恶劣环境数据处理节省大量开销。但这种集中式处理模式却存在一定的缺陷:

1)集中式云计算能力逐渐无法匹配大量边缘数据;

2)从终端设备发送到云数据中心的数据增加了传输带宽的负载量,导致一定的网络时延;

3)终端设备数据涉及隐私和安全的问题变得尤为突出;

4)数据传输导致终端设备消耗大量电能。

针对上述问题,边缘计算的概念应用而生。边缘计算模型将原始云计算模型的一些或全部计算任务迁移到终端设备,并在网络终端设备上执行任务计算和数据分析,从而减少云计算中心的计算负载,减轻网络带宽的压力,提高数据处理效率。

2 边缘计算的基本概念

边缘计算是指在网络边缘执行计算的模型。如图2为边缘计算模型,其中,边缘计算的边缘指云计算中心与数据源之间任何的计算与网络资源。云计算中心不仅从数据库收集数据,还从边缘设备(如传感器)收集数据。这些设备兼顾数据生产者和消费者。因此,云中心与边缘设备之间的请求传输是双向的。网络边缘设备既可以向云中心请求服务,也执行一些计算任务,包括设备管理、数据处理、缓存、存储、隐私保护等。因此,有必要更好地设计网络边缘设备的软硬件关键技术,以满足可靠性和数据安全性的要求。

3 边缘技术的国内外研究现状及应用

3.1 边缘计算的国内外研究现状

随着网络边缘设备的增加,现有的集中式云计算模型已无法完全高效地处理由网络边缘设备产生的大量数据。因此,越来越多的国内外研究人员正致力于解决云计算中心的传输带宽和计算负载问题。主要的研究模型包括:分布式数据库模型、CDN模型、P2P模型、雾计算模型、移动边缘计算模型和海云计算等。

图2 边缘计算模型

1)分布式数据库模型

分布式数据库模型是指将数据库分布在互联网、企业网、自组织网络及其独立计算机上[3]。数据存储在多台计算机上。分布式数据库在大数据环境中提供数据存储,较少关注设备端的异构计算和存储功能,主要用于分布式存储和数据共享。分布式数据库技术需要大量空间和低数据隐私。数据一致性技术是分布式数据库的重要挑战。

2)CDN模型

CDN模型(Conttent Delivery Network)是基于互联网的缓存网络[4]。它是构建在网络之上内容分发网络,依靠部署在各地的边缘服务器,通过中心平台的负载均衡、内容分发、调度等功能模块,使用户就近获取所需内容,降低网络堵塞,提高用户访问速度和命中率[5]。

3)P2P模型

P2P(peer-to-peer computing)模型在2000年被提出并发展为分布式系统重要的子领域,它用于实现文件共享系统[6]。在P2P模型中网络的参与者共享它们所拥有的一部分资源,这些资源通过网络提供服务和内容,能被其他对等节点直接访问,网络的参与者既是服务者,又是资源的获取者。P2P模型的主要优势包括:非中心化、可扩展性、健壮性、自治性、隐私性和负载均衡。

4)雾计算模型

雾计算模型于2012年被思科提出[7],雾计算模型是一个高度虚拟化的计算模型,用于将云计算中心任务迁移到网络边缘设备。雾计算在云计算中心和网络边缘设备之间提供计算、存储和网络服务[8]。相比于集中式云计算,雾计算扩大了网络计算模式,将网络计算从网络中心扩展到了网络边缘,从而更加广泛地应用于各种服务。

5)移动边缘计算模型

移动边缘计算(Mobile Edge Computing,MEC)由欧洲电信标准协会于2014年率先提出[9],如图3所示。MEC系统允许设备将计算任务卸载到网络边缘节点,如基站、无线接入点等,在满足了终端设备计算能力的扩展需求的同时也弥补了云计算时延较长的缺点。MEC具有能缩短任务执行时延、提升网络能效、提供更高服务可靠性等优点。MCE也面临着一些关键性挑战:如任务卸载效率的提高、可靠性的保证及可扩展性的提升等。

图3 MEC系统基本架构

6)海云计算

中国科学院于2012年开展“海云计算系统项目”的研究,其核心是将“云计算”与“海计算[10]”进行协同和整合,从而增强集中式云计算的能力。其中,“海”端即指客户端。“海云计算”系统的目标是实现ZB级数据处理的能量效率是现有技术的1000倍。

3.2 边缘计算的应用

目前,许多行业应用对实时性,可靠性和安全性都有着严格的要求,边缘计算在许多商业场景有了一定的应用。如云计算任务迁移、智能家居、边缘计算视频监控、智能交通、智慧城市等。

1)云计算任务迁移

在边缘计算中,边缘设备通过使用某些计算资源来实现一些或所有任务从云中心到边缘端执行。例如,在商业应用的在线购物应用中,用户频繁地操作购物车,通过将购物车状态改变的操作从云中心迁移到边缘节点可以减少用户请求的响应延迟、提高用户体验。

2)智能家居

边缘计算模型作为构建智能家居系统的最佳平台,在家庭内部的边缘网关上运行边缘操作系统。使用此操作系统连接和管理家庭中的智能家居设备,并在本地处理这些设备生成的数据。该模型减少了数据传输带宽的负担,优化了资源管理和分配操作。

3)边缘计算视频监控

与传统的城市安防视频监控系统相比,边缘计算视频监控系统提高了前端摄像头的智能处理能力。边缘设备预处理视频图像以去除视频图像的冗余信息,从而降低了对云计算中心的计算、存储和带宽要求。

4)智能交通

智能交通旨在解决城市居民面临的出行问题。智能交通控制系统在边缘服务器上运行,根据实时分析的路面数据信息,调节交通信号灯或引导车辆改变路线。边缘计算在无人驾驶、无人机飞行、多飞行器之间的协调控制等领域也得到了一定的应用。

5)智慧城市

智慧城市是智能家居的扩展与延伸。根据边缘计算中将数据处理最大化迁移到数据源附近的原理,用户需求在边缘处理。采用边缘计算进行智慧城市管理具有处理数据大、低延时和位置识别等优势。

4 边缘计算技术给抗恶劣环境数据中心技术带来的机遇与挑战

边缘计算技术的发展不仅给抗恶劣环境数据中心技术带来了发展机遇,同时也带来了挑战。

4.1 边缘计算技术给抗恶劣环境数据中心带来的机遇

边缘计算技术给抗恶劣环境数据中心带来的机遇可以从数据量,时效性,多样性三个方面来进行讨论,图4和图5分别表示集中式云计算与边缘计算的数据处理,总结边缘计算为抗恶劣数据中心带来的优势如下。

1)在数据量方面,边缘计算模型较集中式云计算模型具有更强的承受能力;

2)在时效性方面,边缘计算模型较集中式云计算模型具有更快的数据处理速度;

3)在多样性方面,边缘计算模型较集中式云计算模型具有不同的数据处理方式。

图4 集中式云计算模型数据处理

图5 边缘计算模型数据处理

边缘计算模型将一部分最初属于云中心的计算工作分配给边缘设备,不仅提高了数据的传输效率,还降低了云中心的计算负载,使得抗恶劣环境数据中心具有更高的性能。

4.2 边缘计算技术给抗恶劣环境数据中心带来的挑战

边缘计算技术能够给抗恶劣环境数据中心带来的优势是毋庸置疑的,但由于其起步较晚,还存在很多问题需要研究,下面对其中的几个主要问题进行分析。

4.2.1 多主体的资源管理

不同于云计算中心的集中式管理,边缘计算的资源分散在数据的传输途径上,因此,需研究多主体资源管理。一种直观的解决方案是每个实体自我管理资源,然后通过中间服务提供资源。但这种方法不能满足使用者的特殊需求,如自动供给,因此需要依赖各个主体提供API。各个API的灵活性直接影响着抗恶劣环境数据中心的性能,因此实现灵活的多主体资源管理是一个十分富有挑战性的问题。

4.2.2 虚拟化技术

为了促进资源的有效管理,边缘计算需要虚拟化技术的支持。边缘计算对虚拟化技术的要求体现在3个方面:虚拟化技术实现最小化对应用程序运行时环境的约束、虚拟化技术实现资源的最大化利用以及虚拟机技术对不同任务的隔离。这三个方面可能存在冲突,系统应根据自己的需要在它们之间进行权衡。目前,新型虚拟化技术层出不穷,其中许多技术突破了虚拟机和容器的规则和界限,将两者充分融合,同时具备两者的优势,如LXD,Hyper,Rancher OS等。因此,设计适应抗恶劣环境数据中心的边缘计算特性的虚拟化技术也是一项挑战。

4.2.3 数据分析

数据分析中的数据量越大,通常提取的值信息就越多。但是收集数据需要时间,而价值信息通常是时间敏感的。边缘计算允许数据在收集过程中被处理与分析,但这个过程可能存在着大量价值信息的丢失,因此如何权衡提取信息的价值和及时性是一个关键问题。

4.2.4 编程模型

边缘计算资源的动态、异构和分散性使得应用程序的开发非常困难。Hong等针对该问题提出了一个边缘计算模型[11]。该模型适应分散的异构资源环境,并使程序能够根据负载动态扩展。但是,该模型假设资源之间的网络拓扑必须是树状的,并且不能适应边缘计算资源的动态性。Sajiad等提出了流应用的编程模型[12],将任务区分为本地任务和全局任务,本地任务可以在更接近数据源的计算节点上执行,从而减少应用在网络上传输的数据量。

5 结语

随着边缘数据的增多,集中式云计算模型将无法有效解决抗恶劣环境数据中心传输带宽、负载、数据隐私保护等问题。边缘计算模型中的计算模型可以保证更短的响应时间及更高的可靠性。另外,如果可以在边缘设备上处理大部分数据而无需上传到云计算中心,则可以大大节省设备端的传输带宽和功耗。我们相信,随着边缘计算面临的技术问题得到解决,该技术必将在抗恶劣环境数据处理领域得到广泛地应用。

猜你喜欢
计算中心集中式数据处理
中国—东盟人工智能计算中心正式发布
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
基于低频功率数据处理的负荷分解方法
无人机测绘数据处理关键技术及运用
面向反应堆设计的高性能计算中心建设及应用
腾讯云首个5G边缘计算中心正式对外开放
全新Mentor DRS360 平台借助集中式原始数据融合及直接实时传感技术实现5 级自动驾驶
基于MATLAB语言的物理实验数据处理探讨
国有企业的集中式财务管理模式分析
集中互动式多媒体术前宣教在门诊手术患者中的应用