基于水下云边协同架构的珊瑚礁监测新机制

金志刚, 段晨旭, 羊秋玲, 苏毅珊,*

(1. 天津大学电气自动化与信息工程学院, 天津 300072;2. 海南大学计算机科学与网络空间安全学院, 海南 海口 570228)

0 引 言

水声传感器网络(underwater acoustic sensor networks, UASNs)作为一种探索海洋的新兴技术已被广泛应用于资源勘探、灾害预警以及污染监测等诸多领域[1-2]。由于近年来海洋环境监测与保护成为国际社会的战略中心,在水下部署具备感知、计算、处理以及中继功能的水下传感设备所构成的大规模异构UASNs,对海洋监测和环境保护的应用价值愈发凸显[3]。然而,传感设备的大量应用使得感知数据的类型及数量大幅增加,数据中心集中处理的传统架构面临巨大压力。此外,传统的将边缘设备产生的原始数据直接上传的传输方式存在路径长、延迟大、能耗高等问题,无法有效支持大容量、高速度流量数据的传输[4-5]。因此,亟需设计新的UASNs架构和数据传输策略以满足海洋监测快速响应的需求。

作为极具价值的海洋生态系统,珊瑚礁对海洋环境有极高的要求,近年来因海洋表面温度升高及海洋污染等因素导致的大规模珊瑚礁白化事件屡见不鲜[6]。因此,开展生态监测预警,客观掌握珊瑚礁生态现状,是准确识别其面临风险的关键。现有珊瑚礁白化监测方法大致分为遥感监测、现场监测及生态监测3类[7]。其中,遥感监测法中最常用的是海表温法。该方法通过对海水表面温度的遥感卫星监测来预警珊瑚礁的白化状况。但该方法仅对大规模海域有较好的监测效果,此外还需现场监测数据加以验证辅助。现场监测法基于水下传感设备获取的实拍影像,仅能实现珊瑚礁健康状况的一次性监测,无法实现监测过程的实时持续化。生态监测法采集珊瑚礁区域的海洋环境信息,根据水质环境数据信息评估珊瑚礁的白化状况。该方法虽然可实现高精度持续监测,但存在成本高昂且监测范围有限的缺点[8]。因此,单一的某一种监测方法无法完成大规模、实时且持续的珊瑚礁生态监测。此外,现场监测法及生态监测法所需的现场实拍图像信息以及水质信息均来源于水下,这些信息具有种类多样化、数据流量大的特点,而传统集中式处理的架构及原始数据直接上传的传输方式已很难适用于带宽及能量均受限的水下通信。

利用云服务把上述3种监测方式的感知数据统一上传至云端进行联合分析,并将复杂的计算任务从集中式云端转移到分散式边缘端是解决上述问题的关键。边缘计算模型通过在边缘设备完成一定的预处理任务以实现网络数据流量的减少及延迟和能耗的降低,现已成功应用于智能家居、智慧医疗以及电力物联等诸多领域[9-10],且在UASNs领域的应用也逐渐兴起[11]。此外,机器学习技术也在朝着轻量化端侧发展,文献[12]提出的TensorFlow Lite是一个轻量快速的开源机器学习框架。该框架能够进一步提升边缘计算模型优势,使得边缘设备具有提供更为复杂的深度学习处理服务的能力。将边缘计算模型应用于UASNs,可以充分发挥配备了计算芯片的水下设备能够高效完成多样化边缘处理任务的优势[13-14],合理解决珊瑚礁监测中存在的问题。

基于以上分析,首先,本文构建了一种水下端边云(underwater end-edge-cloud, UEEC)系统架构,将处理任务由集中式云中心分散至边缘端,并在边缘端部署轻量化端侧机器学习环境,使机器学习服务能够在端侧高效实现。其次,提出一种适用于该架构的两级协同珊瑚礁监测(two-level collaborative coral reef monitoring, TCCRM)机制,在协同分析遥感卫星与水下传感设备所获取数据的基础上,实现对珊瑚礁白化情况的云洋联合监测。该机制首先开展一级大范围遥感监测,通过遥感卫星获取的信息确定是否存在白化风险区域及其大致范围,随后进行二级小范围本地监测。且在二级监测环节中,提出端侧图像处理方案及端边协同数据检测方案分别对图像数据和数值数据进行处理。通过部署边缘设备实现复杂服务的本地化执行,避免了复杂网络条件下通信中断和数据丢失等问题,有效降低了网络能耗及传输时延,缩减了数据流量,满足了海洋监测低时延、高可靠和实时响应的需求。

1 系统模型

本节描述了UEEC系统架构,给出了TCCRM机制流程图,并对该机制的执行步骤进行概述。

1.1 UEEC系统架构

UEEC系统整体架构如图1所示,该架构在网络边缘部署兼具计算、分析、存储和网络接入功能的边缘设备与水下智能传感器紧密联系。根据节点的功能和位置将UEEC整体架构自下而上分为终端感知层、边缘预处理层和云计算层。终端感知层由多种传感器及具有高清拍摄功能的无人水下航行器(unmanned underwater vehicle, UUV)组成,边缘层由具备计算存储及机器学习功能的边缘节点组成,地面数据中心和云数据中心共同构成云计算层。

该架构可实现来自边缘端设备的上行数据和来自云中心的下行数据的交互通信[15-16]。来自海底的终端感知数据经中继传输至边缘节点,UUVs通过跨层移动直接将拍摄的原始图像传送至边缘端。首先,原始数据在边缘端进行预处理,待完成边缘计算核心服务(如图像增强、数据压缩、异常检测等)后,将处理结果中继至水面,继而上传至陆地分析中心及云中心。其次,云端完成数据的深层次处理,将分析结论及报警信息查询等内容显示给用户。云中心可根据分析结果下发控制命令至边缘端,进行特定区域或指标的数据收集,最终可实现分层式立体的海洋环境条件协同监测。

终端设备UUVs利用高分辨摄像功能完成实时影像采集,然后移动到边缘节点进一步执行图像预处理任务。水下数据延迟包括3部分:端-边传输延迟Tend-edge、边缘预处理产生的延迟Tpretreatment和边-云传输延迟Tedge-cloud。由于终端设备的不同,Tend-edge分为感知数据中继延迟Trelay和UUVs移动延迟TUUV,总延迟为

Tdelay=Tend-edge+Tpretreatment+Tedge-cloud

(1)

(2)

每个节点能量有限,用Cξ表示数据发送能耗,Cφ表示数据接收能耗,N和M分别为发送和接收数据包的数量,Epre表示边缘处理任务的能耗开销。因此,能耗模型需满足以下要求:

Etotal=Eξ+Eφ+Epre=N·Cξ+M·Cφ+Epre

(3)

1.2 TCCRM机制

TCCRM机制概述如图2所示,该机制综合遥感卫星、水质传感器以及UUVs三方终端数据,对珊瑚礁白化以及海洋环境进行监测。先由环境遥感卫星对大规模海域进行一级初筛,若产生白化风险预警响应,继而由云端向水下终端设备发送命令,执行二级本地化监测,进行小规模实地信息采集。

图2 两级协同珊瑚礁监测机制

TCCRM机制采用分级监测的方式,利用遥感技术在大面积区域尤其是偏远地域容易展开监测的优势完成一级初步筛查。此外,将多种水质传感器和具备水下拍摄功能的UUVs整合于一个系统内,对产生一级预警响应的区域进行二级本地化监测。该机制实现了云洋联合分析,能够完成对珊瑚礁生态状况及海洋环境的实时监测和在线远距离传输。二级监测中边缘计算核心服务涉及的图像增强、图像灰度化处理以及异常数据检测任务的具体策略将在第2节详细描述。

2 边缘计算核心功能

2.1 一级大范围遥感监测

一级监测主要关注环境卫星与云端分析中心间的信息交互。研究表明,海表温度的升高会导致大规模珊瑚礁白化甚至死亡[17]。第一级的预警监测主要基于环境卫星获取的实时海表温度信息,对珊瑚礁区域白化情况进行大规模预警初筛。

一级大范围遥感监测预警结构显示在图2左半部分。采用美国国家海洋和大气管理局(National Oceanic and Atmospheric Administration,NOAA)珊瑚礁监测计划(coral reef watch, CRW)提供的方法[18]。通过海洋遥感卫星获取的5 km海表温度值(sea surface temperatures, SST)与长期监测的基准海表温度值进行比较,推算出热点指数(HotSpot)和周热度指数(degree heating week,DHW)作为预警指标,计算方法如下:

(4)

(5)

式中:MMM (maximum monthly mean climatology)为最热月平均温度值;DHW表示在过去12周(84天)内HotSpot的累加值,以评估热压力对于珊瑚礁白化的累加影响。

将得到的HotSpot和DHW指标上传至云中心,按照表1中CRW有关标准给出一级监测预警结论[18]。若无白化风险(HotSpot<1),则简单存储并持续监测;若存在白化风险(HotSpot≥1),则由云端做出预警响应,并向水下终端设备发送通告数据包,执行二级本地化监测,依据实地监测数据进一步分析。

表1 珊瑚礁白化警报级别

2.2 二级小范围本地监测

二级小范围本地监测结构如图2右半部分所示,其重点在于水下终端设备与边缘节点间的信息交互和数据原位处理。为获得更详细的珊瑚礁生态状况,本文设计了第二级本地化监测。该环节针对图像数据和水质数值数据分别提出了端侧联合图像预处理方案和端边协同数据检测方案。

2.2.1 端侧联合图像预处理方案

基于边缘计算的端侧图像预处理方案主要包括图像增强和图像灰度化处理两部分。

第一部分为图像增强,对UUVs拍摄的实景图像进行增强处理。水下实拍图分析是珊瑚礁白化监测方法中最直观且便捷的一种,该方法通过将获取的珊瑚实际水下影像与珊瑚健康图[19]的颜色对比,可匹配出相应的健康等级颜色代码。珊瑚健康图原理为在4种颜色色度内使用6个亮度(饱和度)来记录珊瑚白化状态的变化。然而,因受到水中选择性光吸收和散射的影响,原始水下图像大多呈蓝色和绿色[20],严重的色彩偏差以及低亮度的特点会直接导致白化预警的误判,因此进行原始图像的增强处理。

本文采用本课题组所提出的基于两种颜色空间的水下图像增强卷积神经网络(简称为UIEC2-Net)[20]对原始图像进行增强处理。该网络将RGB和HSV颜色空间结合在一个单独的卷积神经网络(convolutional neural network, CNN)中,对亮度和饱和度属性敏感,可有效去除水下背景颜色投射,能最大程度还原真实色彩。UIEC^2-Net的端到端训练由4部分损失组成,其中包含两个颜色空间损失,总损失函数如下所示:

(6)

第二部分为图像灰度化处理。首先,提取增强处理后图像的灰度信息,对比所提取的灰度信息与灰度处理后珊瑚健康图的健康等级颜色代码，如图3所示。图3中颜色代码数值越低,表示珊瑚礁团块越接近白色,即出现珊瑚礁白化问题。

图3 经灰度处理的珊瑚健康图

因现有大部分彩色图像均采用RGB颜色模式,而RGB模式只是从光学原理上进行颜色的调配。对于珊瑚礁白化状态评判,实际上关注的仅仅是在不同颜色色度内的亮度(饱和度)情况,色彩信息本身能够提供的信息量十分有限。因此,可以直接用灰度化处理后所得像素灰度值来表示珊瑚礁白化程度(范围从0到255,白色为255,黑色为0),即珊瑚礁白化情况越严重,图片整体颜色越趋于白色,每个像素的灰度值越大。采用平均值法完成图像灰度化处理,具体公式为

Gray(i,j)=(R(i,j)+G(i,j)+B(i,j))/3

(7)

将得到的图像灰度值与图3的颜色等级标准所对应的灰度值进行比对。若灰度值超出标准阈值,则认为存在白化情况,需立即将含地理位置及白化颜色代码等信息的数据包上传至云端;若灰度值未超出标准阈值,则认为生长状况良好,无需上传信息,仅持续监测即可。实际上,图像灰度化处理良好解决了高分辨率彩色图像数据量过大所导致的存储压力大及传输能耗高等问题。

2.2.2 端边协同数据检测方案

UASNs节点能量受限与监测任务持续性之间的矛盾要求网络需具有高效的数据处理能力从而保证长期有效的监测数据采集。然而，传统以时间触发上传数据的方式需要终端传感器持续不断地向数据中心上传原始数据,这其中包含大量正常数据。而这些正常数据的传输会导致网络带宽、能量、存储空间等资源的严重浪费,影响网络生存周期。

因此，需利用边缘设备进行数据的原位处理。本文设计了一种数据驱动的端边协同数据检测方案。终端节点首先判断感知数据是否正常,并上传判断结果至边缘节点协同分析。若数据值判为正常,即无水质污染等不利因素,可原位存储不再上传;若数据值判为异常,且经多边缘节点协同确认异常后及时上报数据中心。

图4为数据驱动的端边协同数据检测方案具体流程。数据驱动的检测机制需预设好终端设备的数据阈值作为报警规则,如海水的pH值、盐度、温度等。部署于海底的终端传感器具有感知及数据原位处理功能,可根据阈值对数据进行异常检测。

图4 端边协同数据检测方法流程图

具体的端边协同数据检测方案异常判断如图5所示。如图5(a),当节点n4检测到异常时,如海水盐度超出阈值(海水盐度超出范围3.4%～3.6%会导致珊瑚礁死亡),该节点n4立即广播数据包,通告同区域的终端节点(n1～n9)采集并上传监测数据至边缘节点,随后多个边缘节点(E1～E3)进行信息交互协同分析,则可能出现两种情况。情况1:如图5(b),多区域节点(n2～n7)检测数据均为异常值,判为真异常,则上传异常数值和报警规则并给出污染水质的覆盖范围;情况2:如图5(c),经多节点协同分析仅为个别节点(n4)数据异常,判为伪异常,仅存储数据且对此区域进行持续监测,并上报传感器设备故障信息。

图5 端边协同数据检测示意图

3 实验与性能评价

本节通过数值实验来评估本文研究性能。首先,对端侧联合图像处理方案的表现进行评价。其次,模拟不同异常数据率,评价端边协同数据检测方案在处理时延及传输能耗方面的性能。最后,比较基于本文架构与传统架构的数据传输在端到端延迟、能量效率和网络生命周期方面的性能。图6为NOAA提供的2021年6月21日全球珊瑚礁预警图,根据第2.1节中表1标准,警报等级为白化预警及以上级别的区域均需进行二级本地化协同监测。

图6 2021年6月21日全球珊瑚礁预警图

3.1 实验设置

本实验场景中120个异构传感器节点(包含终端感知节点、边缘处理节点以及中继传输节点)根据其不同的端边功能分别部署在6 000×6 000×2 000 m3的三维水下区域不同层内。水面设有4个位置已知的sink节点用于接收来自海底的数据包,任一sink节点接收到数据包即认为该数据成功送达陆地数据中心,以便后续传输至云中心进行深层次处理。由于本文研究主要集中在边缘侧数据协同处理环节,同时考虑到传统的基于向量的转发路由协议(vector-based forwarding protocol, VBF)在UASNs数据传输过程中具有很好的检测性能[21],因此,对于边缘端处理结果的后续上传,统一采用VBF协议来完成。水下声速为1 500 m/s,主要实验参数如表2所示[14,21]。

表2 实验参数设置

3.2 性能评价

3.2.1 端侧联合图像预处理方案性能评价

选用来自DUIE数据集[22]的水下图像模拟UUVs采集的水下珊瑚实景图,分别从图像增强主观质量(主观比较)和图像灰度化处理两方面评价图像边缘处理效果。

如图7(a)所示,水下原始图像存在亮度低且大多呈现蓝色或绿色背景的情况,色彩偏差严重影响了其视觉质量。图7(b)为经图像增强处理后的水下图像,该方法有效去除了水下图像的色彩偏差,特别是对背景颜色的恢复效果突出。本处理恢复了珊瑚颜色的真实情况,有效避免了因图像色彩偏差造成的误判。可以明显看出,经灰度化处理后的图像,图7(c)中绿色方框内珊瑚礁灰度图像素颜色更接近黑色,对应图3中数值较高的颜色代码值,表明该珊瑚礁生长状况良好,无需上传数据;而红色方框内珊瑚礁灰度图像素颜色明显呈现白色,对应图3中低颜色代码数值,表明该珊瑚礁出现白化问题,需立即上传报警信息。

图7 端侧图像处理效果

端侧图像处理将原本需要全部上传且数据量较大的图像数据压缩为发生白化问题的珊瑚礁的灰度颜色等级代码数据,显著降低了数据传输流量,有效减小了数据传输过程中节点能耗及存储压力。

3.2.2 端边协同数据检测方法性能评价

实验保持数据包生成率λ为0.1 packets/s,异常数据率α取值为0～1,用来模拟不同异常数据个数的情况(α=0为数据全部正常,α=1则表示数据全部异常)。

当α=0.5时,异常数据平均处理时间如表3所示,端边协同处理仅需1.324 s。这是因为端边处理策略更靠近数据源,异常数据传输至边缘处理节点所经过的跳数少。而云端集中处理方式数据需经多跳才能到达水面sink节点,长路径多跳数还会导致数据包的碰撞或重传,产生更大的时延。

表3 异常数据处理时间比较

图8对比了不同异常数据率时端边协同与云端集中两种处理策略在传输能耗方面的性能。可明显看出,本文端边协同处理策略的能耗远低于传统方式,这是因为在边缘侧增加异常数据检测处理,只有数据存在异常才触发上传,大量的正常数据是无需上传的。当α=0时,无异常数据产生,无数据包需要上传,因此能耗为0;当α=1时,所有数据均为异常,即需要全部上传,此时两种方式能耗一致。

图8 传输能耗与异常数据率关系

3.2.3 UEEC架构性能评价

本节比较了基于本文UEEC架构和传统架构的数据传输在端到端延迟、能量效率和网络生命周期方面的性能。其中,端到端延迟是指数据包从源端正确传输到接收器(边缘处理节点)所需的时间,能量效率定义为网络生命周期与总能量消耗的比值,代表特定能量消耗下的网络生存时间,网络生存期定义为第一个传感器节点死亡的时间。为评价不同数据流量对架构性能的影响,本实验的数据异常率α设为0.2。中继方式统一采用VBF500和VBF1000(管道半径分别为500 m和1 000 m的VBF协议)来完成。

图9表示本文架构与传统架构在VBF500和VBF1000传输方式下端到端延迟与包生成率的关系。可明显看出,本文架构的端到端延迟远低于传统架构,这是因为UEEC架构将原本在云端处理的任务转移至边缘端,处理响应的速度更快,且本架构的任务处理功能更靠近数据源,原始数据的传输路径及跳数也相应减少。随着数据包生成速率的增加,每种方案的端到端延迟也在增加。这是因为随着数据包碰撞率的增加,数据传输失败的概率增加,有更多的数据包被重传,从而导致成功数据包的端到端时延增加。此外,VBF500的时延总是低于VBF1000,这是因为VBF协议是从路由管道半径内选择转发节点的,随着路由管道半径的增加,参与转发节点数量的增加导致了端到端时延增加。

图9 端到端延迟与数据包生成速率关系

图10和图11分别表示在VBF500和VBF1000传输方式下不同架构的能量效率和网络生命周期与数据包生成速率间的关系。随着数据包生成速率的增加,每种方案的能量效率和网络生命周期都在降低,且趋势基本一致。这是因为发送更多的数据包将消耗更多的能量,导致能量效率下降,从而缩短网络生命周期。显然无论用哪种中继方式,本文架构的能量效率和网络寿命均远高于传统架构。以VBF500传输为例,与传统架构相比本文架构将网络生命周期提高约40%。一方面,因为本文处理架构更靠近源端,数据的原位处理降低了传输过程所需能耗;另一方面,边缘侧采用异常数据触发路由策略将大部分正常数据过滤掉。区别于传统将全部原始数据上传的方式,本方案仅上传异常数据，可大幅减少传输能耗,因此在能源效率和网络生命周期方面具有很大的优势。

图10 能量效率与数据包生成速率关系

图11 网络生命周期与数据包生成速率关系

4 结束语

为了缓解传统UASNs架构将大量原始数据直接上传至远程数据中心完成处理所带来的网络能耗及时延压力,本文构建了UEEC系统架构,实现了数据的原位处理。同时,提出了一种适用于该架构的两级协同珊瑚礁系统监测机制,通过端侧机器学习及端边数据协同分析,实现了水下图像和数值数据的边缘侧处理分析。实验结果表明,本文提出的水下新架构与监测机制能显著降低数据流量,同时在传输延迟、能量效率和网络生存周期性能方面均有明显提升,适用于珊瑚礁系统的实时监测管理。在未来的研究工作中,将进一步扩展边缘侧业务范围,执行更加复杂的端侧机器学习任务。