一种海上养殖网箱的无人巡检方法研究

吕新蕾，孟 娟，杜 海，赵云鹏，刘圣聪

(1.大连海洋大学 信息工程学院,辽宁 大连 116023；2.设施渔业教育部重点实验室,辽宁 大连 116023；3.大连理工大学 海岸和近海工程国家重点实验室,辽宁 大连 116024；4.大连天正实业有限公司,辽宁 大连 116011 )

0 引言

因自然资源量消耗逐年增大，为缓解生态环境、水土资源和发展空间等各方面压力，深海养殖模式逐渐成为全球渔业的一个发展趋势。在多种深海养殖方式中，网箱养殖投资收益快，饲养周期短、管理方便、起捕容易、适应性强且便于推广，受到了广大渔民的青睐[1]。

然而，海上养殖的状态监测难度也因养殖网箱离岸距离的增加而增加。目前多数的海上养殖网箱仍采用最为传统的观测方式，即根据专家经验对现场网箱或影像进行识别。尽管人工渔场观测方式已经有了几十年经验的积累，然而人工的参与也必然引起主观判断和行为失误的风险以及人员伤亡的问题。此外，采用纯人工检测的方式并不适用于较大的海上网箱养殖现场(养殖区域往往可达上千亩)，因其检测效率并不十分理想，且海上人工检测时间越长出现风险的可能性也越大[2-3]。随着国内制造业和电子业的高速发展，一些先进的电子科技产品也在养殖中得到广泛应用，这其中包括无人机的使用[4]。网箱检测的现场工作人员可以通过控制无人机的飞行轨迹来获取网箱影像，通过观看影像信息来判断养殖状态是否正常。

为进一步提升海上养殖网箱检测的自动化水平，同时也为了降低海上作业的风险，提高观测结果的客观准确程度，本文将无人机观测技术[5-8]、卷积神经网络以及传统图像处理技术的应用迁移到海上网箱养殖巡检中，提出了一种新型的海上养殖网箱的无人机视觉巡检方法。实验结果表明，该方法在养殖网箱无人化检测中表现良好，有着重要的现实意义，同时也为智慧海洋的发展提供了新思路。

1 卷积神经网络的结构及原理

为提高整体工作的自适应性，选用深度学习中的卷积神经网络HED(holistically-nested edge detection)对养殖网箱进行边缘检测。该网络基于VGG(Very Deep Convolutional Networks for Large-Scale Image Recognition)网络进行改进，将VGG-net最后的池化层与全连接层去掉，侧输出层(side-output layer)与每组卷积池化的最后一个卷积层相连，为更好地利用每个侧输出层的结果，引出6个损失函数同时训练，并且在训练过程中增加了一个“权重融合函数(Weight-fusion)”的学习,将学习结果融合得到最终边缘检测图。网络结构如图1所示。

图1 HED网络结构图

HED网络充分利用了卷积神经网络在提取特征方面的优势以及深度学习方法的强大学习能力，该方法已在文献[9]中被证实边缘处理效果优于Canny算子。

2 海上养殖网箱养殖区域提取

2.1 图像预处理

海上养殖网箱内部养殖区域的提取，是网箱内部鱼群状态检测的基础。为保证计算机准确提取到网箱养殖区，过滤背景环境对提取结果的影响，需要将数据图像进行一系列的预处理。

边缘检测是整个预处理中的第一步，图像边缘包含丰富的特征信息，在特征提取的研究中有着举足轻重的地位，也是图像处理和计算机视觉中重要的研究基础。传统边缘检测技术多种多样，但大多传统边缘检测算子受指定阈值大小的影响，且对光照等噪声敏感，在海上养殖网箱无人化检测任务中自适应性较弱。不利于后续实际检测应用[10-11]使用HED进行网箱边缘检测，可以有效地避免太阳光照及海面反光对检测造成的影响，得到边缘清晰、连贯的目标主体边缘轮廓，更准确地提取有效网箱养殖区域。

首先将图片作为原始数据输入到训练好的HED网络模型，由于该网络可以端到端进行检测，故图像通过整体嵌套的网络模型后可直接得到最终的边缘图Ie，得到网箱边缘图后需要结合传统数字图像处理技术进行二值化处理[12-13]，为进一步提取网箱内部的养殖区域(兴趣区域ROI)做准备。由于本文数据经过HED处理后得到的边缘图Ie，很好地抑制了背景图以及太阳光照等干扰，为充分利用网箱框体边缘图，二值化过程中将阈值自定义为1，则二值图几乎保留Ie中所有边缘像素点。从而使得二值图更为连续。

2.2 连通域筛选

由于分析对象为网箱内部养殖区，而二值图像的像素只有两种状态即黑(0)、白(255)，故将二值图的像素值进行取反操作，得到白色块为初始图像连通域。因为后续方法的分析判断中仅将完整显示的养殖网箱内部区域作为有效区，因此剔除所有与边界相连的连通域，处理后的图像中仍会存在许多小面积区域，其中多数为网箱框体的空洞结构造成，这些区域在处理中被视作噪声。为消除这些噪声点，需要选取合适的阈值t，判断阈值t与之面积大小筛选出的连通域即为提取的网箱养殖区。阈值t的定义如下：

假设图像中的连通域目标集合表示为S={A1,A2,A(3,…)An}，其中Ai为第i个连通域目标的像素面积，则定义阈值t为式(1)：

(1)

最终所得养殖区域的连通域面积特征应满足Ai>t。

3 纹理特征判断

3.1 特征纹理分析

纹理特征反映了物体的自身属性，可以通过对纹理特征异同分析，从而判断不同物体或图像。纹理由纹理基元排列组合而成，基元排列的疏密、周期性、方向性等的不同，能使图像的外观产生极大地改变。Tamura等人提出的纹理特征分析法将6个心理学角度对应于纹理特征中6种属性，即粗糙度、对比度、方向度、线性度、规则度和粗略度。其中前3个指标对于图像处理中的纹理判断具有很高的价值[14]。本文引用Tamura纹理特征分析方法中的粗糙度分量，通过分析网箱内外的粗糙度数值变化，从而判断养殖网箱内是否有鱼群活动。

粗糙度是最基本的纹理特征，当两种纹理特征模式基元尺寸不同时，具有较大基元尺寸的模式给人感觉更粗糙。其计算步骤为：

1)计算图像中给定大小的活动窗口像素平均强度值；

2)对每个像素分别计算在水平和垂直方向上互不重叠的窗口之间的平均强度差；

3)计算整幅图像中最佳尺寸的平均值得到该图的粗糙度。

3.2 网箱纹理特征判断

养殖网箱内的红鳍东方鲀有日常到水面环游的现象，为自动判断养殖区域是否有鱼群游动，以网箱内的鱼场图像纹理特征作为检测依据对养殖区域关键数据进行筛选。鉴于本文主要研究视觉辅助巡检时渔场“粗状态”的检测，故本文主要采用Tamura纹理特征中最为基本、也最为重要的特征——粗糙度来进行河鲀水面游动的判断。由于粗糙度仅在ROI区域中进行分析判断，因此对文献[15]中的Tamura纹理粗糙度计算公式进行了改进。

如公式(2)～(5)所示：

n=1,2,…,N,k=1,2,…,K

(2)

ROIn(|Ak(x,y-2k-1)-Ak(x,y+2k-1)| ))

(3)

(4)

Fn=∑(x,y∈ROIn)2(kt (x,y))/M(ROIn)

(5)

其中：I(i,j)为图像I在点(i,j)处的像素值，k为分析窗口的尺度，K为设定的最大窗口值，ROIn(·)为图像I中第n个兴趣区域，M(ROIn )为ROIn区域内像素的个数，Fn为第n个兴趣区域内的粗糙度值。从式(5)可以看出，粗糙度的计算完全依赖于区域内窗口颗粒尺寸的统计均值，因此粗糙度可以较好地反映纹理中的粒度，当两种纹理模式只是基元尺寸不同时，具有较大尺寸或重复范元较少的模式更粗糙，而日常巡检时鱼在水面环游与其周围海水波面纹理粒度是不同的，对比养殖网箱附近相同窗口大小的海面粗糙度数值，对所提区域给出状态判断。设G为网箱养殖区域粗糙度Fn与其相邻海面粗糙度F′n差的绝对值，f为两者中较小的值，即：

G=|Fn-F′n|

(6)

f=min(Fn,F′n)

(7)

4 实验结果与分析

4.1 实验区与数据获取

本文所需数据来自于大连天正实业有限公司大李家红鳍东方鲀养殖场。大李家红鳍东方鲀养殖场占海域面积2 000余亩，人工巡检任务量巨大，采用无人机巡检技术后将大幅度提高现场检测的效率。本文研究数据是使用无人机搭载像素为1 920*1 080的摄像机按照预先设定的路径从养殖网箱的上空实时获取养殖区域的视频，如图2所示。为保证数据的多样性，在数据采集过程中无人机有明显的高度、角度及距离的变化。为方便研究及降低数据的重复度，将拍摄到的视频数据每间隔6帧取一帧保存为图片形式，并将未进入养殖区的图像删除，剩余图像作为后续算法验证的实验数据。

图2 无人机采集数据

4.2 网箱养殖区域提取

为验证方法的适用性及准确性，目标区域提取实验使用本文第二节所介绍的方法对实验数据进行处理，即，首先使用HED网络提取网箱边缘，再将网箱边缘数据进行二值化及形态学滤波处理，经过对图像取反操作并剔除与图像边界相连的不完整部分后，得到较多连通域，根据公式(1)进行目标面积筛选，得到网箱养殖区域连通域，将其内部原始信息还原，从而提取到网箱的养殖区域。

由于数据样本较多，选取具有代表性的数据，给出实验过程关键步的效果图，如图3～图5所示，无人机飞行过程中由于拍照位置、海面区域特点的变化，使得海面背景图像光照、灰度分布不均匀，经过深度网络多级特征提取后，边缘检测的输出结果完全突显了网箱框架的轮廓，而影响识别的太阳倒影、水面颜色等也得到了很好的抑制。最终结果图清楚地显示了所提取的养殖区域。(说明：为了分析的方便性和处理效率，本文所设计的无人机巡检时仅对图像中完整的网箱区域进行识别与检测)

图3 数据样本

图4 边缘检测图

图5 网箱养殖区域提取

为验证本文所提的网箱养殖区域提取方法的准确度，将实验中每帧图片自动提取完整区域的数量与人工判断的数量(样本数量)做对比统计，以人工判断的完整网箱的数量为正确参考，从而计算得到该方法提取网箱的准确度。结果见表1。

表1 养殖区域提取数据统计表

4.3 纹理特征分析

纹理特征分析在提取出网箱养殖区域之后进行，实验区有部分网箱内的河鲀已被打捞完毕，则该部分网箱内为无鱼群游动的状态，为验证使用粗糙度判断网箱内部状态的有效性，选取了多个养殖区域图像，根据公式(2)～(5)计算网箱区域内及周边海面区域粗糙度，其数值对比如图6～图7所示。其中图6为有效养殖区与其相邻海面粗糙度数值的对比，图7中的养殖区域无鱼群游动，为无效养殖区与海面粗糙度数值的对比。

图6 粗糙度数值对比图

图7 粗糙度数值对比图

表2 养殖区粗糙度数据统计表

5 结束语

本文基于计算机视觉技术提出了一种海上养殖网箱无人机视觉巡检的方法，用以解决海上网箱养殖时无人机巡检过程中有效数据的提取和异常状态的初步判断问题。为助力海洋牧场的无人巡检工作，本文所提方法从无人机海上巡航实际角度出发，以养殖观测技术为支撑，融合当下发展迅速的深度学习及传统的图像处理方法，为海上网箱养殖的自动化监测提供了一个新的解决思路。实验数据来源红鳍东方鲀养殖场，但本文所提方法具有通用性，对于其他鱼类养殖网箱的检测亦具有重要的参考价值。研究过程中，紧密结合海上养殖经验和无人机海上运行实际状态特点，所提出的方法完全针对海上巡检时图像背景光度分布复杂、低对比度、有用信息占比小等实际问题，因此具有较好的现实意义。

通过对红旗东方鲀网箱养殖现场图像进行验证与结果分析，得到完整网箱提取的准确度为97%，网箱初步状态判断的准确度为97.1%，表明该方法可以有效地用于养殖现场的初步判断和数据选择，从而完成海上养殖巡检时有效信息采集，可为海上养殖积累高质量、有效的大数据提供技术参考，并为下一阶段的网箱养殖健康状态评测奠定坚实的技术基础。