基于图像融合及YOLOv3 的水下生物目标识别研究

林秦辉，甘屹，王双园

（200093 上海市 上海理工大学 机械工程学院）

0 引言

海底蕴含着丰富的资源，随着陆地资源的日益匮乏，海洋逐渐成为各个国家争夺的焦点[1]。水下探测技术对海洋资源的探索、海洋军事的应用等具有重要意义[2]。目前，光学探测和声呐探测是水下探测的两种主要手段。相比于水下声呐图像，水下光学图像具有分辨率高、视觉感知信息丰富等特点，因此基于光学图像的水下探测技术具有声呐探测无法代替的优势。但是，基于光学图像的水下探测技术在应用时，由于海水具有吸收光线最长波长的物理特性，红光被吸收，导致水下图像呈现绿色和蓝色的问题，而且水介质中的颗粒对入射光产生散射效应[3]，导致了水下出现图像对比度低等问题。

对水下图像预处理通常采用图像增强或图像恢复的方法[4]。图像增强常采用基于直方图处理方法进行图像增强,能够有效提高图像对比度。文献[5]使用直方图均衡化对图像进行图像增强。该方法把集中在某个灰度区间内的原始图像直方图均匀分布在图像的全部灰度范围内，从而提高图像对比度，但这会导致原始图像某些细节被抹去；文献[6]提出一种自适应直方图均衡法对图像进行增强。通过计算图像的局部直方图，重新分布亮度来提高图像对比度，因此该算法更适合于改进图像的局部对比度以及获得更多的图像细节，但是也存在着有过度放大图像中相同区域的噪声的问题。

在图像恢复方面，常采用色彩恢复方法进行图像恢复，该方法能较好还原图像色彩，解决图像色彩失真问题。Ramo[7]等人提出了一种基于k-means 算法进行色彩恢复的方法，通过将相似的颜色聚合在一起，减少图像的颜色数量，以此来对色彩进行恢复，但是该方法在减少颜色数量的同时会导致图像大小的变化；黄黎红[8]提出了一种暗通道去雾算法，在不改变原图像大小的同时，认为空气中的雾图像和水下图像的低对比度均是因光被吸收和光的散射所导致的，因此将暗原色先验去雾算法直接用于水下图像增强，但实验证明该算法只能提高图像对比度，而图像色彩恢复效果较差。

基于图像融合的算法应用范围广，可有效解决水下图像对比度低、颜色失真等多方面问题，本文提出了一种水下图像增强与恢复融合算法。首先应用CLAHE(限制对比度自适应直方图均衡)在输入的RGB(红黄蓝)图像的3 个通道颜色进行色彩恢复，得到色彩恢复图像[9]，在整个动态范围内对输入的RGB 图像的3 个通道进行对比度拉伸，得到对比度拉伸图像[10]，然后使用基于加权拉普拉斯金字塔融合方法对色彩恢复图像、对比度拉伸图像进行多尺度融合，获得高质量的水下图像，最后将原图像和融合算法处理后的图像分别采用目标检测网络YOLOv3 进行训练和预测，比较两种图像的识别准确率。

1 图像增强和恢复融合算法

本文提出的图像增强和图像恢复融合算法，首先对水下图像进行色彩恢复，获得色彩恢复图像，与此同时对水下图像进行对比度拉伸，获得对比度拉伸图像，分别计算两幅图像的色彩、亮度权重，并对权重进行归一化处理，最后根据归一化后的权重进行图像融合。其基本工作流程如图1 所示。

图1 图像增强和恢复融合算法的工作流程图Fig.1 Work flow chart of image enhancement and restoration fusion algorithm

对图1 所获得的输出图像采用SSIM(结构相似性)[11]进行评价，计算得到的图像SSIM 值越接近1，说明图像5 增强和恢复融合的效果越好。SSIM 公式是根据原始图像a 和处理后的图像b中的3 个变量：亮度L（a，b）、对比度C（a，b）和结构S（a，b）构成，计算公式如式（1）、式（2）所示。

式中：μa——a的均值；μb——b的均值；——a 的方差；——b 的方差；σab——a 和b的协方差；SSIM（a，b）——计算的结构相似性值；c1，c1，c1——常数，避免出现0值。

1.1 水下图像图像增强

水中杂质会对光线产生散射效应，导致图像出现对比度低等问题。为了解决上述问题，采用图像增强中的对比度拉伸方法处理所有颜色通道的直方图，以覆盖整个图像范围，即可提高图像对比度。通过式（3）对图像的对比度进行拉伸处理。为了防止对比度拉伸过程中带来的噪声问题，采用双边滤波方法过滤噪声，并能减少图像的边缘信息的丢失。式（4）表示对输出图像进行双边滤波处理。

式中：（x，y）——二维图像的坐标；CI（x，y）——对比度拉伸后的图像；maxI，minI——每个颜色通道的最大和最小强度值；max，min——最大和最小强度值；B[CI（x，y）]——对图像进行双边滤波后的图像。

经对比度拉伸后，得到对比度后的图像的3D 直方图，如图2 所示。对比拉伸前后的图像3D 直方图可以看出，拉伸后的RGB 颜色直方图在平面范围内由[-10，10]延伸至[-50，50],使得对比度拉伸后的图像直方图分布更均匀。对比度拉伸前后的图像效果如图3 所示。计算对比度拉伸前后图片的SSIM 值，图3（a）约为0.81，图3（b）约为0.85，可知图3（b）图像直方图在整个图像范围内分布更均匀，水下图像对比度得到提高。

图2 对比度拉伸前后图像3D 直方图Fig.2 3D histogram of images before and after contrast stretching

图3 原始图片和经对比度拉伸后的图像Fig.3 Original image and contrast-stretched image

1.2 水下图像色彩恢复

由于海水的光学特征，光线在水下传播，红光被完全吸收，导致大多数图像显示为绿色或蓝色，光在水中的衰减情况如图4 所示[12]。为了解决水下图像失真问题，采用CLAHE 算法对失真的图像进行色彩恢复。CLAHE 算法[13]包括以下5 个步骤：（1）将原图像分成n×n 个大小相等且互不叠加的子块；（2）计算每个子块的直方图；（3）计算裁剪幅值T；（4）裁剪直方图，并对像素点进行分配；（5）对重新分配以后的子块直方图进行均衡化处理。经过CLAHE 算法处理前后的图像如图5 所示。由SSIM 公式计算出色彩恢复前后的图像的SSIM 值，图5（a）约为0.81，图5（b）约为0.89。对比SSIM 值可知色彩恢复后图像的红、绿、蓝各通道色彩更均衡，图像色彩失真问题得到有效改善。

图4 水下光线吸收示意图Fig.4 Schematic diagram of underwater light absorption

图5 原始图像和经色彩恢复后的图像Fig.5 Original image and image after color restoration

1.3 权重归一化

在图像融合前需计算图像色彩权重、亮度权重，为了消除权重之间单位和尺度差异的影响，以对每个权重同等看待，需对权重进行归一化处理。

色彩权重用于调节输入图像的色彩在输出图像中的比率。该权重的计算见式（5）：

式中：Wc,i（x，y）——第i 张图像色彩权重；Li（x，y）——输入图像灰度图；Si（x，y）——输入图像的饱和度；Hi（x，y）——输入图像的色调 。

为了赋予亮度适中的像素点较大的权重，赋予过亮或过暗的像素点较小的权重，亮度权重按式（6）进行计算：

式中：WB,i（x，y）——亮度权重。

对权重进行归一化处理如式（7）所示。

式中：W(x,y)——归一化处理后的权重。

1.4 基于多尺度的拉普拉斯金字塔融合方法

如果将色彩恢复图像和对比度拉伸图像直接叠加，将会导致伪影现象[14]。为避免产生伪影，本文采用多尺度融合方法，具体如下：（1）首先采用多尺度拉普拉斯法,将各输入图像分解为多尺度的拉普拉斯金字塔；（2）采用高斯滤波算子,将各权重图分解为多尺度的高斯金字塔；（3）对拉普拉斯金字塔和高斯金字塔在各尺度上进行融合；（4）将金字塔还原为输出图像。多尺度融合计算式如式（8）所示：

式中：F（lx，y）——输出的图像金字塔；——对归一化的权重进行高斯金字塔分解；Ll（Ik（x，y））——将输入的图像进行拉普拉斯金字塔分解。最后，采用式（9）对输出的金字塔图像进行处理，即

式中：O（x，y）——最终输出图像；A（Fl（x，y））——对图像金字塔进行向上采样操作。融合前后的效果图如图6 所示。计算融合前后图片的SSIM 值，图6（a）约为0.81，图6（b）约为0.94。文献[15]提出了一种基于多尺度注意力融合和CNN 的水下图像恢复方法，使用SSIM 评价融合后的水下图像质量，其融合后图像SSIM 值约为0.927 8。对比SSIM 值可知，经本文算法处理后的图像，SSIM 值提高了2%，因此本文提出的图像增强融合算法处理后的图像色彩更均衡，图像对比度得到提高，有效改善了水下图像质量。

图6 色彩恢复和对比度拉伸融合后的图像Fig.6 Image after color restoration and contrast stretch fusion

2 实验及分析

YOLOv3[16]采用one-stage 网络结构，相比于Faster-RCNN 的two-stage，网络训练速度快很多，所以本文选择该网络进行目标检测。该网络结构主要包括Darknet-53 网络与YOLO 层两部分。Darknet-53 作为骨干网络主要用于提取图像特征，它是全卷积网络，包含53 个卷积层，并引入了残差结构。Darknet-53 特征提取网络输出3 个尺度的特征图，将3 个不同尺度的特征图通过FPN（Feature Pyramid Network）进行融合，最后将融合后的特征输入YOLO 层进行类别预测和边界框回归。

本文采用水下目标检测竞赛提供的水下图像数据集，该数据集包含5543 张图像，其中包括JPG 格式的水下图像集与对应图像的xml 标注结果文件，另外还提供800 张图片来进行预测实验。采用Adam 解算器进行网络训练，设置学习率=0.0001，批量大小为1，网络训练100 个周期。为了验证本文提出的水下图像增强和恢复算法对水下图像的有效性，在实验过程中，采用平均精确度（Mean Average Precision@0.5 MAP@0.5）评价识别精度。

在原始数据集和融合数据集下检测方法的目标识别精确度如图7 所示。图7（a）中，目标检测网络在原始数据集上的识别精度约为0.27@0.5，图7（b）融合数据集上的识别精度约为0.36@0.5。融合前后，目标检测网络的识别精度提高了约18%，利用训练好的YOLOv3 目标检测网络测试原始图像的结果如图8 所示。即使在模糊不清、颜色失真的原始图像8（a）（b）（c）（d）中，水下生物也能够被准确地识别出。

图7 原始图像和融合后图像的模型识别精度图Fig.7 Model recognition accuracy map of original image and fused image

图8 模型识别图片Fig.8 Model recognition picture

3 结语

本文采用图像恢复方法对色彩失真图像进行色彩恢复处理，同时针对水下图像对比度低问题采用对比度拉伸方法，提高图像对比度，然后采用拉普拉斯金字塔方法进行多尺度融合,以获得高质量的水下图像，最后通过目标检测网络YOLOv3 对原始图像和增强和恢复融合后的图片进行训练和预测，最后比较两种图像的识别准确率大小，来验证本文提出的图像增强和恢复融合算法的有效性。结果表明本文算法能有效恢复水下图像色彩以及提高水下图像对比度。