基于多尺度图像融合和SIFT特征的水下图像拼接研究

王昕平 张森林 刘妹琴 樊 臻

(浙江大学电气工程学院 浙江 杭州 310027)

0 引 言

海洋在维持地球生态环境，促进人类可持续发展中扮演着愈来愈重要的角色，人类对探索和挖掘海洋资源的需求与日俱增。近些年，随着计算机技术的快速发展，水下图像处理技术得到了来自海洋科学技术领域研究学者的广泛关注，计算机视觉技术在水下图像上的应用也取得了显著的成果。水下图像处理对大坝检测、石油提炼、水下电缆铺设、海洋资源勘探、海洋生物观测等都具有重要意义。目前，水下图像有声学图像和光学图像两种：水下声学图像的成像设备成本较高，精度较低，且缺乏直观性；水下光学图像相对分辨率较高，所得信息更具有直观性。随着无人有缆水下潜行器(Remote Operated Vehicle，ROV)和自主式水下航行器(Autonomous Underwater Vehicle，AUV)技术的成熟，人们可以很容易地通过ROV和AUV得到水下光学图像。但是，由于光在水中衰减严重，通过水下光学图像设备得到的图像和视频存在视野较窄、图像质量低等问题。如果想获取更广视野和更多信息的图像和视频，难免会降低其分辨率和图像质量。图像拼接技术成为了克服此问题的有效方法。

图像拼接技术即将多幅图像重新合成并融合起来，在不损失分辨率和图像质量的情况下，生成一幅广角度的全景图像。近年来，图像拼接技术发展迅速，包括Harris算法[1]、SUSAN算法，尺度不变特征变换匹配算法[2](Scale Invariant Feature Transform，SIFT)、加速稳健特征算法[3](Speeded Up Robust Features，SURF)等，其中应用最广的是SIFT和SURF算法。SIFT算法虽然鲁棒性强、可靠性好，但描述符维数较高，计算复杂，算法效率不高；SURF算法通过降维的方法将匹配速度提高了3倍，但文献[4]的实验证明，SURF在尺度不变性、旋转不变性等性能上的表现并不理想。考虑到水下环境和水下成像的特殊性，以及SIFT算法几乎不受图像光照、仿射变化(图像旋转角度、缩放大小等)和噪音等因素变化的影响，鲁棒性较强，容易辨识物体并提取特征，且准确率较高，并且现在已经有很多改进SIFT算法[5-6]，提升了算法的速度和效率。本文主要针对水下图像特点对SIFT算法进行改进。

此外，对于水下图像来说，由于光在水下的衰减性，光在水下传播的前向散射效应和后向散射噪声、水中漂浮物、水对光成分中的蓝、绿色成分吸收能力弱等问题，使得水下图像色彩失真严重(图像偏绿色或蓝色)，亮度和对比度较低，有的图像会出现类似“白雾”(噪声粒子较小)或“雪片”(噪声粒子较大)覆盖的现象。水下成像质量差的问题使水下图像拼接的准确度大大降低，限制了图像拼接技术的效果。因此，在水下图像拼接之前，对水下图像进行预处理极为重要。

本文充分考虑水下环境和水下成像的特点，将多尺度融合原理的图像增强算法[7]应用于水下预处理图像中，提升了水下图像拼接的效果和正确率；并在前人基础上对SIFT算法进行了水下图像配准方法改进，提升水下图像配准和拼接的准确率。

1 算法设计

本文对水下图像拼接的研究主要分为三个部分：水下图像预处理、水下图像配准和图像拼接。水下图像预处理使用专门针对水下图像设计的简化多尺度图像融合算法，修复偏色严重图像。水下图像配准使用改进SIFT算法，其改进主要体现在以下三步：从水下图像中提取关键点，特征提取采用自适应阈值法筛选关键点，扩大关键点提取范围；用Canny算法计算关键点的梯度和大小，在平滑噪声的同时也可以保留图像更多细节，形成关键点描述符；使用平均Hausdorff距离和BBF最邻近查询法可以较快速地对关键点进行粗匹配，再用RANSAC进行进一步精准匹配。图像拼接即通过配准后的点计算变换矩阵，得到最终拼接图像。本文水下图像拼接研究整体算法流程如图1所示。

图1 算法流程

2 水下图像预处理

由于水下环境的特殊性和成像质量问题，水下图像预处理的效果对图像配准的准确度有极大影响，所以选择合适的预处理算法非常关键。此前最常见的是基于直方图的图像增强算法，如：Shamsuddin等[8]使用基于直方图的颜色校正来预处理图像，增强图像对比度，平衡亮度；Wen等[9]将水下彩色图像根据RGB三个通道分成三幅单独的彩色图像，然后分别对三幅图像进行直方图均衡化，将三幅图像组合在一起，得到对比度高、色彩信息丰富的最终输出图像，但该方法没有考虑RGB三个通道之间的关系，存在图像颜色失真问题；Hitam等[10]分别对图像的RGB和HSV模型使用对比度受限自适应直方图均衡化(CLAHE)算法，然后将输出图像与欧几里得范数相结合，得到最终输出图像。但是，基于直方图的算法会带来一定程度的噪声放大，且不适用于深水域中颜色失衡严重的图片。谢雨来等[11]采用了无需先验信息的快速图像预处理方法，包括图像对称拉伸后恢复、颜色空间转换后恢复、小波去噪、亮度调整和色彩平衡等图像增强常见步骤，但此方法并不专门针对于水下环境的特点，对水下不同质量的图像不具有普适性，且步骤较多，算法复杂，运算量较大，实时性不强。

综合普适性、实时性等因素，本文采用的多尺度图像融合算法专门针对水下成像特点构建模型，算法快速有效，对单帧图像和视频都适用。基于多尺度融合的图像增强算法主要包括白平衡处理、对比度增强和多尺度图像融合三个主要步骤。

2.1 白平衡处理

因为水中各种光源会造成水下图像产生许多色块，且图像色彩偏色严重，白平衡可以有效地恢复色彩均衡，所以对图像进行白平衡处理非常关键。但是，光在水深10 m以上的水域中传播较差，深水图像存在明显的对比度不足，图像被吸收的颜色难以恢复，白平衡效果受限。目前有多种改进白平衡处理方法，但对深水图像的处理效果都不太理想。由于水下图像只包含有镜面反射的缩小区域，因此白斑算法[12]在深水图像上的效果较差；由于水下图像的对比度较低，边缘不像自然图像那么明显，所以灰度边缘算法处理效果也较差。综上，充分考虑深水域环境特点，白平衡方法采用了灰色世界算法，可以很好地解决在光照不足时图像偏色严重问题，使得深水域的图像也可以色彩分布均匀，有效去除色块，同时恢复图像的白色和灰色阴影。

2.2 对比度增强

白平衡后的图像无法直接使用，还需要进行对比度增强处理。增强图像对比度的常用方法有自适应直方图均衡化(AHE)和对比度受限自适应直方图均衡化(CLAHE)。AHE算法比过去的直方图均衡法可以保留更多的图像细节，但也存在同时放大图像噪声的问题。CLAHE算法通过对图像灰度直方图限制高度的方法，限制图像局部对比度的增强幅度，可以达到较好的对比度增强效果。本文采用CLAHE算法。

2.3 多尺度图像融合

在应用融合算法时，输入权重包含以下几个部分：

(1) 亮度权重：控制最终输出图像的亮度增益。此权值代表了每个R、G和B颜色通道与原始输入图像亮度之间的标准差。亮度权重可以让图像颜色更均衡。

(2) 对比度权重：图像元素如边缘和纹理会有较高权值。对比度权重通过对输入图像的灰度图进行拉普拉斯滤波产生。

(3) 色彩权重：控制最终输出图像的色彩饱和增益。色彩权重通过对每个像素高斯曲线计算饱和度值和最大饱和度值之间的距离生成。

(4) 显著度权重：表示图像邻域显著度。根据Achanta等[13]提出的显著度计算公式生成此权重。

计算得到各权重后，将各权重值高斯均一化。最后采用多尺度融合方法对输入和权重进行融合。为了避免光晕现象，本文选择了广泛使用的多尺度拉普拉斯金字塔分解法，最终的输出图像是由拉普拉斯输入和高斯归一化权值在各个尺度上独立混合得到的。水下原图像与预处理后的图像分别如图2、图3所示。

图2 水下原图像

图3 预处理后的水下图像

3 水下图像拼接

本文采用改进SIFT算法进行图像配准。SIFT算法主要处理以下场景的图像：(1) 同一物体通过不同的拍摄仪器获取到的图像；(2) 同一物体在不同时间获取到的图像；(3) 同一物体从不同的角度获取到的图像。

水下图像除了存在图像质量问题之外，由于ROV和AUV等水下航行器会受到鱼群、水流等水下环境因素的影响，水下摄像机拍摄到的图像还会存在尺度变化大、旋转角度大、亮度差异大和运动物体干扰(如鱼群、水流)等问题，也会影响图像拼接的效果和准确度。而SIFT算法基本不受目标物体旋转、缩放和平移等角度变换的影响，对图像的光照变换、目标遮挡、杂物场景和噪声等有较好的鲁棒性，所以SIFT算法比较适用于水下场景的图像配准。本文算法对SIFT算法进行改进。

3.1 阈值自适应的特征检测

SIFT算法首先在不同尺度空间上搜索水下图像的关键点，通过高斯模糊来获取尺度空间。设给定输入水下图像I(x,y)像素坐标是(x,y)，尺度空间定义公式为：

L(x,y,σ)=G(x,y,σ)*I(x,y)

(1)

式中：σ是空间尺度因子；尺度空间L(x,y,σ)定义为变化尺度的高斯函数G(x,y,σ)和原图像I(x,y)的卷积。其中，变化尺度的高斯函数公式为：

(2)

之后使用高斯差分函数(DoG)和常数因子k进行邻域极值检测：

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=

L(x,y,kσ)-L(x,y,σ)

(3)

水下图像每个像素与同尺度的8个邻域像素和相邻尺度的9个邻域像素比较，检测出局部极大值和极小值，识别对旋转和尺度变化具有鲁棒性的候选特征点。

标准SIFT在选取关键点时，不选取对比度较低的不稳定极值作为关键点，直接筛去亮度在0.03以下的点，这些点不参与极值检测。但是大多数水下图像的亮度都很低，因此亮度阈值设为0.03会使水下暗色图像中的许多关键点被忽略。本文算法将阈值设定为图像对比度的10%，对比度值10%以下的点才会作为低照度点处理，以此扩大关键点范围，提高水下图像配准准确率。

3.2 Canny算法关键点方向分配

为了使描述符具有旋转不变性，根据水下图像的局部特性为每个特征点分配一个基准方向。标准SIFT算法使用图像梯度的方法求取DoG金字塔检测出的关键点的3σ邻域窗口内像素的梯度和方向分布特征。但是，这种微分运算的实质就是高通滤波，有加强高频分量的副作用，造成水下图像高频噪声部分也同时被放大，所以求取梯度算法应该在提高对像素梯度敏感性的同时可以抑制水下图像噪声。本文采用Canny算法中的一阶有限拆分计算偏导数方法来代替标准SIFT的图像梯度算法，Canny算法既可以平滑噪声，还可以保留图像更多细节信息。由于现在图像已经经过灰度化和高斯滤波，对每个关键点像素进行一阶有限拆分计算偏导数，像素梯度的模值m(x,y)和方向θ(x,y)如下：

m(x,y)=[(L(x+1,y)-L(x-1,y))2+

(L(x,y+1)-L(x,y-1))2]1/2

(4)

(5)

式中：L(x,y)是关键点所在的尺度空间值。根据图像特征点周围区域的梯度方向形成方向直方图。在方向直方图中，令m(x,y)取得局部最大值时的方向角θ(x,y)为图像特征点局部梯度的方向。

3.3 关键点匹配

标准SIFT算法使用欧氏距离进行关键点匹配，本文考虑水下图像光照变化较大、噪声较多、易受杂物影响等特点，采用先经过基于平均值的Hausdorff距离(MHD)算法[14]和BBF最邻近查询法进行关键点粗匹配，后采用RANSAC进行关键点精匹配的方法进行关键点匹配，在提高准确率的同时也提升了计算速度。

首先，MHD算法计算关键点之间的距离公式如下：

(6)

式中：p为待配准图的特征点集合A中的个数；hk(A,B)是从特征点集合A到特征点集合B排序后的距离(HD)值集合中的第K个值，K∈(0,1,…,p)。

接着，用BBF算法进行关键点粗匹配。实验证明，用BBF进行特征匹配比常用的KD-Tree算法更加快速和准确。粗匹配后，用RANSAC算法对匹配点进行提纯，去除前面算法得到的不匹配的特征点，以改善水下图像光照不均、对比度低、噪声明显等问题，解决水下图像匹配效率低、鲁棒性差的问题。

最后，使用仿射变换求出变换矩阵，将两幅图像进行加权融合，得到最终拼接图像。变换矩阵公式如下：

(7)

式中：(x,y)是图像原坐标；(x′,y′)是变化后图像的坐标；(a11,a12,a21,a22)是尺度、旋转角度和剪切角度等的参数；ax和ay是图像变换参数。

4 实 验

本文将提出的算法与标准SIFT算法进行对比，算法在MATLAB 2017a环境中运行，将实验结果从特征点个数、匹配点个数、匹配成功点个数、匹配正确率、RMSE值、耗时六个维度进行对比。

均方根误差(RMSE)统计了所有匹配点变换前后的坐标偏差，RMSE值越小，说明正确率越高。

(8)

(9)

(10)

式中：dx和dy是变换后图像与原图之间的偏差。实验结果如图4和图5所示。

(a) 标准SIFT算法

(b) 本文算法图4 本文算法和标准SIFT算法特征点配准情况比较

图5 本文算法配准结果

用标准SIFT算法处理上面两幅图像最终拼接失败，用本文算法处理图像最终拼接成功，证明本文算法可以将偏色严重的深水域图像成功配准并拼接。表1所示为算法的实验结果在数据上的比较。可以看出，本文算法特征点和匹配点个数更多，匹配正确率更高，RMSE值更小。实验对50余幅水下图像进行拼接，验证了本文提出的图像拼接算法更加贴合水下应用场景，对图像质量低、光照弱、噪声较大、失色严重的水下图像鲁棒性更强，正确率更高，普适性更强。

表1 本文算法和标准SIFT算法的数据比较

5 结 语

水下图像拼接算法研究在水下图像处理领域中非常重要，也对后续图像应用于大坝检测、石油提炼、水下电缆铺设、海洋资源勘探、海洋生物观测等工程中都具有重要意义。本文实验结果说明，多尺度融合算法预处理水下图像对后续图像配准效果有显著提高作用，扩大了关键点范围，对噪声的鲁棒性增强，拼接效果更好。同时从实验结果可见，本文算法明显地延长了图像拼接的时间，但因为目前图像多为离线处理，所以耗时增加的影响并不大。若研究实时性图像处理系统，未来将在提高拼接正确率、提升拼接效果的同时，适当缩短算法的耗时。