基于特征的水下图像拼接技术研究

孙杰 薛纯 余义德

（1.91550部队大连116023）（2.中国海洋大学信息科学与工程学院电子工程系青岛266100）

基于特征的水下图像拼接技术研究

孙杰1薛纯2余义德1

（1.91550部队大连116023）（2.中国海洋大学信息科学与工程学院电子工程系青岛266100）

论文针对水下图像的特点，运用四种图像颜色校正的算法，针对多幅图片进行批量预处理后，根据它们能够平均得到的特征点的个数，找到最适用于水下图像拼接的算法。同时，在进行SIFT特征点描述时，不仅考虑了邻域的梯度信息，而且加入纹理信息，能够在一定程度上降低误匹配率，改善图像融合的效果。通过分析错位距离以及拼接处的色度差异，量化了评价的好坏，对最终的拼接效果有了更为客观的评价。

水下图像；图像拼接；颜色校正；SIFT特征点描述

Class NumberTP391

1 引言

随着海洋强国战略的提出，我国越来越重视对海洋的开发和研究。运用拼接技术，可以生成大幅度，高分辨率，宽视角的海洋图像，从而帮助我们更好地探测未知的海洋。因此，水下图像拼接技术以其重要的应用价值，逐步发展成为计算机视觉、图像处理和计算机图形学的研究热点。在多数实际应用中，由于光在海水传输过程中的吸收和散射作用，噪声以及各类图像变换等不利因素对特征匹配鲁棒性的影响，导致获取的单幅水下图像范围小、视角有限、颜色失真，并影响着整个算法的性能。基于此，本文对快速提取稳定可靠的水下图像特征，形成有效特征描述子用于水下图像拼接进行了探索性研究。

图像拼接算法主要包括三部分：图像的预处理、特征点提取与描述、图像配准与图像融合。其首要任务是从待匹配的图像中提取含有图像特征的特征点并进行描述，建立起原图像和待匹配图像的特征点集之间的对应关系。

1977年，Moravec提出了点特征这个概念，当时他将特征点称之为“兴趣点”［1］。但当时提出的算法并不具备尺度旋转不变性，而且抗噪性能差。1988年，Harris提出了具有旋转、平移不变性的Harris兴趣点检测器［2］。该方法对信号噪声、数据获取时的参数变化和图像方向变换以及光照变换等具有较好的鲁棒性。1994年，Blaszka T.Rachid Deriche通过二维高斯模糊过滤得到一些低级特征模型［3］，1996年，Lindeberg［4］全面地提出了极具影响力的信号的尺度空间理论，该理论的出现对局部特征的研究历史推进了一大步。1997年，LeilaM.G. Fonseca等采用基于小波变换的多尺度分析理论［5］，先对图像作小波变换，计算小波变换的模值，模的局部极大值点即对应图像中的边缘特征点。同年，Smith S M，Brady J M利用最小同值吸收核算法（Smallest Univalue Segment Assimilating Nucleus），即SUSAN算法提取特征点来实现图像的配准［6］。1999年，Lowe D G在提出了基于尺度不变特征变换SIFT（Scale Invariant Feature Transform）的特征检测算法，Lowe将图像转化为灰度图像，然后寻找高斯拉普拉斯空间中的极值点来得到特征点［7］。2002年，Matas提出的最大稳定极值区域（Maximally Stable Extremal Regions，MSERs）的特征提取算法［8］。Matas将分水岭理论运用于灰度图像的最稳定局部区域检测中，最后对检测区域进行旋转和尺度归一化处理。

2 颜色校正预处理

传统的水下图像在传输过程中，由于受到严重的吸收和散射作用的影响，使得获得的水下图像存在颜色失真，图像偏蓝或偏绿色，并呈现一层雾状效果，对比度和清晰度较低，噪声较多，不利于下一步配准工作的进行。本文比较了四种图像颜色校正的算法，Shade of gray算法［9］，Gray edge算法［10］，Max-RGB算法［11］，Weight gray edge算法［12］，对图片集进行批量处理。由于图像拼接最重要的一步是寻找特征点，因此把他们能够平均得到的特征点的个数作为评价处理好坏的一个重要的指标。

如图4可得，Max-RGB算法所得到的特征点数是最多的。同时，通过原图与处理后的图像相比较，其颜色恢复效果也较好。

3 基于特征点的图像配准算法

基于特征点的图像配准技术有很多优点，主要体现在以下三个方面：图像的特征点比图像的像素点要少很多，从而大大减少了匹配过程的计算量；特征点的匹配度量值对位置变化比较敏感，可以提高匹配的精度；特征点的提取过程可以减少噪声的影响，对灰度变换、图像变形以及遮挡都有较好的适应能力。

3.1 特征点的提取

在现有的图像配准方法中，Harris算法，Susan算法，SIFT算法以及Edward Rosten和Tom Drummond提出的FAST算法都是较为经典的特征点提取算法。本文运用四种比较经典的提取特征点的算法，对海水环境中距离目标物0.5m条件下，对特征采集进行批量处理，从以下几个方面进行衡量：

不同水质下提取特征点个数并记录运算速度，不同拍摄距离下提取特征点个数并记录运算速度。对运算速度和提取的特征点数取平均，结果如表1所示。

表14 种特征点提取算法的性能比较

由表1可得，SIFT算法速度较快，提取的特征点较多，且具有尺度不变性。

3.2 特征点的描述

传统SIFT算法生成的特征描述子仅仅表明了邻域的梯度信息，容易受到噪声的干扰，因而匹配不够精准。本文通过获取关键点的纹理信息，从而提高匹配与拼接的精度，有利于解决高精度快速配准的问题。

设Fi（x，y，σ，θ）为SIFT关键点检测方法得到的某一关键点，其中（x，y）为Fi在原始图像上的位置坐标，σ和θ分别为Fi的空间尺度因子和主方向。根据空间尺度因子σ的大小，在点Fi所对应的高斯金字塔层上，按照θ的大小把该图像区域旋转到参考方向。以点Fi为中心，取半径为4的圆形区域作为待描述区域。特征点描述的具体流程如图2所示。

以关键点pi为中心在半径为4的圆形区域中，分别以区域内每个像素点pj为中心，求取以它为中心的旋转不变LBP特征，记为lbpj（j=1，2，…，52）。

从直观上讲，像素点pj距离中心pi越远，它对描述pi贡献的信息量越小，因此对lbpj进行加权，加权系数为

其中，（rj，cj）和（ri，ci）为像素点pj和中心点pi在待描述图像区域中的坐标，σ0为选定的常数。

把计算得到的所有加权LBP特征值组成一个一维向量，记为Ti，则

为了消除光照变化的影响，把Ti进行归一化，由原始的128维SIFT局部特征向量Tj和得到的52维向量，构成新的180维的描述子：

综上，最后得到的180维向量T即为关键点pi周围区域的描述。从T的计算过程可以看出，在待描述图像区域获取的过程中，利用关键点的尺度获得了尺度不变性，把待描述图像区域旋转到参考方向获得了旋转不变性，通过描述向量的归一化获得了对光照变化的鲁棒性，再加上旋转不变LBP特征自身具有一定程度的尺度、旋转和光照不变性，确保了基于旋转不变LBP特征描述方法的鲁棒性。

3.3 特征点的匹配与融合

图像融合是图像拼接的最后一步，图像融合是将两幅图像中信息综合到一幅图像中并以可视化方法显示的技术。常用的图像融合方法有以下几种：

1）平均值法：对于两幅图重叠部分，取两点像素的平均值，作为新的融合图像的像素值。

2）加权平均法：在重叠部分由前一幅图像慢慢过渡到第二幅图像，即将图像重叠区域的像素值按一定的权值相加合成新的图像。使颜色逐渐过渡，以避免图像的模糊和明显的边界。

3）多分辨样条法：它将图像分解成不同频率上的一组图像，在每个分解的频率上，将图像重叠边界附近加权平均。最后将所有频率上的合成图像汇总成一幅图像。

关于特征点的粗匹配，本文采用最近邻与次近邻距离比值法（Nearest-Neighbor with Distance Ratio）。图像融合阶段，用加权平均法进行图像融合。例f1，f2是两幅待拼接的图像，将图像f1和f2在空间叠加，则融合后的图像像素f(x，y)可表示为

在重叠区域中d1由1渐变至0，d2由0渐变至1，由此实现在重叠区域中由f1平滑过渡到f2。

4 实验结果与分析

对典型待拼接图像进行前文介绍的处理过程。

比较图5和图6可得，传统拼接图存在较为明显的错位，妨碍信息的获取。而本文提出的改进后的拼接图仅有微量错位，拼接痕迹不易察觉，整体拼接效果更好。

5 结语

本文针对水下图像的特点，运用四种图像颜色校正的算法，针对多幅图片进行批量预处理后，通过比较平均得到的特征点个数及运行速度等，选出最适用于水下图像拼接的算法。同时，在进行SIFT特征点描述时，不仅考虑了邻域的梯度信息，而且加入纹理信息，在一定程度上降低误匹配率，改善图像融合的效果。采取基准数据方法中的分析错位距离以及拼接处的色度差异，对实验的拼接效果做出了更为客观的评价。

［1］Moravec H P.Towards automatic visual bbstacle avoidance［C］//International Conference on Artificial Intelligence（5th：1977：Massachusetts Institute of Technology）. 1977.

［2］Harris C，Stephens M.A combined corner and edge detector［C］//Alveyvisionconference，1988，15（50）：147-151.

［3］Blaszka T，Deriche R.Recovering and characterizing image features using an efficient model based approach［R］. R-2422，INRIA，1994：7-10.

［4］Lindeberg T.Edge detection and ridge detection with automatic scale selection［J］.International Journal of Computer Vision，1998，30（2）：117-156.

［5］Fonseca L M G，Costa M H M.Automatic registration of satellite images［C］//Computer Graphics and Image Processing，1997.Proceedings.，X Brazilian Symposium on. IEEE，1997：219-226.

［6］Smith S M，Brady J M.SUSAN—a new approach to low level image processing［J］.International journal of computer vision，1997，23（1）：45-78.

［7］Lowe D G.Object recognition from local scale-invariant features［C］//Computer vision，1999.The proceedings of the seventh IEEE international conference on.IEEE，1999，2：1150-1157.

［8］Extremal M S，Matas J，Chum O，et al.Robust wide baseline stereo from［C］//In British Machine Vision Conference.2002：384-393.

［9］Finlayson G D，Trezzi E.Shades of gray and colour constancy［C］//Color and Imaging Conference.Society for Imaging Science and Technology，2004，2004（1）：37-41.

［10］Van De Weijer J，Gevers T，Gijsenij A.Edge-based color constancy［J］.IEEE Transactions on image processing，2007，16（9）：2207-2214.

［11］Land E H，McCann J J.Lightness and retinex theory［J］. Josa，1971，61（1）：1-11.

［12］Gijsenij A，Gevers T，Van De Weijer J.Improving color constancy by photometric edge weighting［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（5）：918-929.

Underwater Image Mosaicking Technologies Based on Features

SUN Jie1XUE Chun2YU Yide1
（1.No.91550 Troops of PLA，Dalian116023）（2.Department of Electronic Engineering，College of Information Science&Engineering，Ocean University of China，Qingdao266100）

According to the characteristics of the underwater image，this paper applies four image color correction algorithms for Batch preprocessing multiple images.Based on the average number of feature points that obtained in the pretreatment，a more suitable algorithm for underwater image mosaicking is found.At the same time，in the description of SIFT feature points，not only the gradient information of the neighborhood，but also the texture information are taken into account，which can reduce the mismatching rate to some extent and improve the effect of image fusion.The difference between the dislocation distance and the chromaticity of the splice is quantitatively analyzed，and the quality of the evaluation is quantified.The final mosaicking effect is evaluated more objectively．

underwater image，image mosaicking，image color correction，description of SIFT feature points

TP391

10.3969/j.issn.1672-9730.2017.06.031

2016年12月9日，

2017年1月17日

孙杰，女，硕士研究生，工程师，研究方向：水下测量。薛纯，女，硕士研究生，研究方向：水下图像拼接。

余义德，男，高级工程师，研究方向：水下测量。