改进TV图像去噪模型的全景图像拼接算法

呼亚萍，孔韦韦，李 萌，黄翠玲

1.西安邮电大学 计算机学院，西安710121

2.陕西省网络数据分析与智能处理重点实验室，西安710121

图像拼接技术可以将多幅图像构建成一幅大型宽视角的全景图像。借助该技术，医生可以获取信息更为全面的大尺寸X射线图像，有助于针对病灶特征制定更有效的治疗方案。不仅如此，全景图像还被广泛应用于地形勘测、环境监测、遥感图像处理、军事科学、道路监控等其他多个领域[1]。然而，在图像拼接过程中，若待拼接图像清晰度差、噪声点较多，则很容易导致图像拼接失败，从而影响全景图像的质量。尽管人们可以通过改良设备来获取高质量的低噪声图像，提高图像拼接的成功率，但硬件设备成本昂贵，无法实现大面积的应用，针对硬件的局限性，人们考虑通过改进算法的方法来提高图像的质量。因此，将改进的图像去噪模型应用于全景图像的拼接，是一种能够解决实际问题的有效途径[2]。

目前，应用于全景图像的拼接算法主要包括Harris角点检测算法、Hessian-Laplace算法、SIFT算法、SUFR（Speeded Up Robust Features）算法以及各种类型衍生出来的改进算法。Harris角点检测算法[3]通过计算灰度图像二阶矩阵的特征值获得具有旋转不变特性的特征点，但由于该类特征点不具备尺度不变性，因此在噪声点的干扰下会导致伪角点的出现；在此基础上，文献[4]提出通过引入图像差分滤波算子对Harris角点检测算法进行改进，帮助其检测特征点，使得算子可以滤除噪声响应点，降低噪声点带来的负面影响；Hessian-Laplace算法[5]通过Hessian矩阵确定特征点的位置，利用拉普拉斯算子使得特征点具备尺度不变性，从而降低噪声点的干扰，但算法的时间复杂度较高；SIFT算法[6]通过在尺度空间寻找极值点的方法，降低噪声点的灰度值，提取出位置和尺度具备旋转不变性的特征点，因此该算法在噪声的干扰下能够保持一定的稳定性，但由于SIFT算法中会产生多维特征向量对特征点进行欧式距离的匹配，对于多噪声点的干扰，算法产生的高维特征向量在匹配过程中耗时较大；Raut等[7]提出在SIFT算法的基础上采用Gabor滤波器作为预滤波器，减少噪声点的干扰，降低算法的时间复杂度；SURF算法[8]通过采用Harr小波响应及积分图像的概念，提升图像拼接的整体运行速度；Durgam等[9]采用SURF算法对图像进行特征检测后，通过RANSAC算法滤除噪声点和异常点，细化特征点后提高了配准精度；文献[10]提出基于小波域SURF的遥感图像配准方法，采用小波变换分解源图像和目标图像，利用主成分分析对描述子降维，去除描述子之间的噪声信息，降低噪声对图像拼接的干扰。

在此背景下，提出一种改进的TV图像去噪模型[11]应用于全景图像拼接问题的研究。该改进模型在TV图像去噪模型建立泛函函数后引入卷积运算，进行一次滤波去噪降低大噪声点的灰度值，在此基础上求解泛函函数的拉格朗日方程[12]极小值，达到图像二次去噪的效果，降低噪声点对图像拼接过程的干扰；随后引入SIFT图像拼接算法进行特征点的提取与匹配；最后采用加权融合算法对图像进行融合处理得到视觉效果良好的全景图像。

1 TV图像去噪模型

图像去噪是指尽可能降低观察图像中的噪声干扰，得到有一个视觉效果良好的高质量图像，便于进一步图像处理。结合最大似然原理，可将图像去噪问题通过求解最小二乘法[13]的方法表示，通过求解如下变分问题可得到真实图像u的最小二乘逼近解：

然而，在求解过程中出现了极小化问题不适定的病态现象。正则化方法作为解决该问题的常用方法，其原理为在上述问题中引入一个正则化项进行调节，使正则问题为良态后用正则问题的解逼近病态问题的解。近年来，利用变分正则化方法研究图像去噪问题衍生出一系列图像去噪模型，如TV图像去噪模型引入泛函函数的概念，通过极小化图像的泛函函数对图像进行去噪，同时保护图像细节信息。设S为一个函数集合，若对于每一个函数x(t)属于S有一个实数J与之对应，则称J是定义在S上的泛函[14]。最简泛函函数的定义如下：

其中，被积函数F包含自变量t、未知函数x(t)及导数x'(t)。

Rudin等[15]在变分模型中引入拉格朗日乘子λ，平衡正则项与保真项间的权重，达到在去噪过程中保护细节信息的效果，TV图像去噪模型的泛函函数表达式如下：

式中，第一项为正则项，实现平滑噪声的功能；第二项为保真项，使得去噪后图像保留较多的细节信息；在图像的边缘区域，参数λ值较大，保真项权重变大，保护图像的细节信息；反之，正则项权重变大，去除图像中的噪声信息。

2 基于改进模型的全景图像拼接算法

2.1 算法描述

本文采用改进的TV图像去噪模型对源图像进行去噪处理，随后进行特征点的提取与匹配，最后进行图像融合，得到一幅含丰富信息的全景图像。

基于TV图像去噪模型的全景图像拼接算法步骤如下：

输入：含有噪声的源图像I1和I2。

输出：去除噪声后的全景图像I。

初始条件：I1和I2所含噪声类型为高斯噪声，其均值为0，方差分别为0.01、0.02和0.03。

步骤1对含噪图像I1和I2进行去噪处理。首先在图像区域以扩散形式获得I1和I2的像素点；随后在建立像素点对应的泛函函数后进行卷积运算，降低噪声点的灰度值；最后通过求解含有卷积运算的泛函函数所对应的极小值方程得到最终的去噪图像I'1和I'2。

步骤2对图像I'1和I'2进行特征点的提取与匹配。将步骤1处理后的图像作为特征点提取的目标图像，采用SIFT算法提取出图像I'1和I'2中稳定性较强的特征点，然后通过采用比值法判定特征点之间的匹配关系，确定图像的重叠区域。

步骤3实现图像配准后，在最大程度上实现了消除错误点的匹配，通过加权平均的方法进行图像融合，实现图像的无缝拼接，得到最终的全景图像I。

2.2~2.4节将对上述三个步骤进行详细分析与说明。

2.2 改进的TV图像去噪模型

为了提高图像去噪质量，本文在TV图像去噪模型中引入卷积运算。根据卷积运算的性质可知，卷积运算可以达到滤除噪声的效果，是一种直接对图像灰度值进行运算的滤波方法，因此将卷积运算引入TV模型中不会破坏模型的最初结构。在此基础上，对构建完成后的泛函函数进行卷积运算可以达到再次图像去噪的效果，从而提升图像去噪的质量。因此，针对式（3）进行改进，得到下述改进模型：

式中，f运算表示对TV图像去噪模型的泛函函数进行卷积运算，所满足的约束条件为：

根据Rudin等提出的相关知识可知，图像噪声的去除问题可以转化为泛函函数的最小化问题，如下式所示：

对该模型的求解过程中，本文采用有限差分格式对模型所对应的PDE进行离散，并通过八邻域系统获取图像像素点的周边信息。令时间步长为Δt，网格步长为h且h=1，记则有限差分格式的离散求解过程如下：

需要满足的边界条件为：

改进型模型的去噪步骤如下：

步骤1输入含噪图像I0，初始化时间步长Δt、迭代总次数IteN和参数λ。设置迭代次数n=1,I=I0。

步骤2计算图像的梯度幅值|∇I|和方差值σ2，根据式（8）计算第n+1次迭代的图像In+1的泛函函数；并置n=n+1。

步骤3对图像的泛函函数进行卷积运算操作。

步骤4求解步骤3中函数对应的拉格朗方程极小值。

步骤5判断n的值，若n≥IteN，则停止迭代，In为最后得到的去噪结果图；否则，返回步骤2。

2.3 特征点的提取与匹配

2.3.1 SIFT特征点提取

本节将2.2节处理后的图像作为特征点提取的目标图像，对去噪后的图像进行特征点的提取。SIFT算法在图像尺度空间中具体步骤如下所示：

步骤1建立高斯差分图像金字塔[16]（DOG尺度空间），通过对相邻尺度空间做差分建立DOG金字塔，然后在空间内做检测极值。即：

式中，K为相邻尺度空间因子的比例系数。

步骤2确定特征点位置[17]。首先在候选特征点中去除低比度的点，然后利用特征点周围的像素块Hessian矩阵，将不稳点边缘响应点去除。即：

设trH和detH分别为Hessian矩阵的秩和行列式值，若：

则保留该特征点，否则舍弃，一般情况下，r=10。

步骤3通过方向直方图确定特征点的主方向。若步骤2中定位的特征点坐标为(x,y)，其对应的模值为m(x,y)，方向为θ(x,y)。即：

图像的SIFT特征点提取效果如图1所示。

图1 提取特征点Fig.1 Extraction of feature points

2.3.2 SIFT特征点匹配

针对上小节提取出的特征点，判断在多维空间中两个向量之间的距离是否满足阈值条件，若满足，则认为两个向量匹配，否则认为这两个向量间不具备匹配关系[18]。本文采取比值法[19]进行图像的特征点匹配，其原理为：将提取出的所有特征点向量组成数据集1，求解配准图中特征点向量与数据集1中向量的距离，取出距离中最小距离的前两个向量，通过判断两个距离的比值来确定配准图中的特征点向量是否与数据集1中与之距离最短的向量匹配。在高维空间中，欧拉距离是常用的距离度量函数，以两个点为例，点X和Y的欧拉距离为：

图像的SIFT特征点匹配效果如图2所示。

图2 特征点匹配Fig.2 Feature point matching

2.4 图像融合

实现图像配准后，在最大程度上实现了消除错误点的匹配，即可以进行图像融合[20]。图像融合的质量取决于图像配准的精度与图像融合方法的选取。图像加权融合方法，能够降低来自被融合图像的亮度、视角等参数不完全相同所造成的干扰，对两幅图像重合的区域，采用加权平均的融合方法平滑重叠区域，实现图像的无缝拼接。以源图像I1和I2为例，图像加权融合的表达式为：

式中，Ii表示I1和I2融合后的图像，α1和α2表示I1和I2的权值，权值由重合区域像素点与源图像之间的距离决定，在0到1之间取值，渐变像素点与哪一幅源图像距离越近，则该源图像对应的权值越大，反之越小，本文采用了加权平均的融合方法，权值α1和α2为0.5。

3 实验结果与分析

为了验证本文算法的有效性，本章针对房间1号图和房间2号图、海景1号图和海景2号图引入不同方差的高斯噪声后进行全景图像拼接处理，源图像如图3所示。同时，本文选取了与本文算法相近的三种算法加以比较，分别为SIFT算法、文献[4]算法和文献[10]算法。其中，SIFT特征是图像的局部特征，对平移、旋转、尺度缩放等具有较好的不变性，即使少量目标也可以产生较多的特征向量，但是对于特征点周围纹理较少的情况，容易造成误匹配；文献[4]引入图像差分滤波算子对Harris角点检测算法进行改进，Harris角点检测算法具有计算简单的特点，但由于Harris角点检测算法不产生多尺度特征信息，因此特征点没有方向信息，失去了旋转不变性；文献[10]算法将小波变换引入SUFR算法，SUFR算法通过积分图像减少了运算量，但在求主方向阶段会依赖局部区域像素的梯度方向，产生主方向不准确现象。

图3 源图像Fig.3 Source image

几种算法的参数设置情况如下：针对像素为200×200的源图像分别加入σ=0.01,σ=0.02,σ=0.03的高斯噪声，文献[4]算法中滤波算子采样窗口大小为3×3；文献[10]算法中高斯二阶微分滤波模板大小为5×5；改进算法中TV图像去噪模型R=I（单位算子），λ=0.01，Δt=5，迭代次数为30次。所有算法均在相同实验环境下运行，相应的运行环境配置为：Win10操作系统，Intel®Core™i7-9700K CPU@3.60 GHz 3.60 GHz，实验平台为Matlab R2016a。本文算法对应的源图像仿真实验结果如图4~图6所示。

图4 源图像拼接效果对比(σ=0.01)Fig.4 Comparison of splicing effect of source images(σ=0.01)

图6 源图像拼接效果对比(σ=0.03)Fig.6 Comparison of splicing effect of source images(σ=0.03)

从直观视觉角度看，SIFT算法在非重叠区域发生了形变，与真实图片有差别；文献[4]算法在图像的重叠区域配准效果较理想，在图像的非重叠区域造成拼接接口位差，使得图像拼接过程中出现位差现象；文献[10]算法在重叠区域没有发生明显形变，在非重叠区域发生了图像倾斜现象；与上述三种算法相比，本文算法通过改进的模型对图像进行去噪预处理，最大程度上降低了噪声对图像拼接的干扰，因此获得的全景图像视觉效果较佳。

为了更为客观地评价三种算法的图像去噪效果，本文采用峰值信噪比[21]（Peak Signal to Noise Ratio，PSNR）、图像熵[22]和均方误差[23]（Mean Square Error，MSE）对不同算法的图像效果进行了评价。PSNR是目前应用较为广泛的客观评价图像质量方法，PSNR数值越大表示图像失真程度越小，恢复得到的图像越接近原图，整体质量越高。PSNR的数学表达式为：

其中，L表示图像的最大灰度级，对于8位图像来说，L取255。

图像熵表示为图像灰度级集合的比特平均数，单位为比特/像素，描述了图像信源的平均信息量。因此熵指的是体系的混乱程度，清晰图像的熵值大于模糊图像的熵值，因此熵值越大，图像质量越高。对于离散形式

的二维图像，信息熵的数学表达式为：

图5 源图像拼接效果对比(σ=0.02)Fig.5 Comparison of splicing effect of source images(σ=0.02)

其中，pi为每一灰度级出现的概率。

MSE适用于针对已知原始图像进行模拟仿真的情况，用于比较仿真结果与原始图像的偏差。MSE数值越小，仿真实验效果越好。设x'i,j、xi,j分别为复原图像和原始图像在位置(i,j)处的像素值，M与N分别为图像的行数和列数。其数学表达式如下：

上述算法针对源图像的PSNR、图像熵和MSE数值结果如表1~表6所示，此外，本章对四种算法的平均运行时间进行了分析与比较，其结果如表7所示。

表1 房间源图像的不同算法PSNR值对比Table 1 Comparison of PSNR values of different algorithms for room source images dB

表2 房间源图像的不同算法图像熵值对比Table 2 Comparison of image entropy values of different algorithms of room source images

表3 房间源图像的不同算法MSE值对比Table 3 Comparison of MSE values of different algorithms for room source images dB

表4 海景源图像的不同算法PSNR值对比Table 4 Comparison of PSNR values of different algorithms for seascape source images dB

表5 海景源图像的不同算法图像熵值对比Table 5 Image entropy value comparison of seascape source images with different algorithms

表6 海景源图像的不同算法MSE值对比Table 6 Comparison of MSE values of different algorithms for seascape source images dB

表7 不同类型算法运行时间对比Table 7 Comparison of running time of different types of algorithms

由表1~表6不难看出，与传统的去噪算法相比，基于本文模型获得的全景图像对应的PSNR、图像熵和MSE评价指标值均有较好的表现，表明本文算法在噪声去除和图像清晰度方面均有较好的性能。在平均运行时间方面，本文提出将改进的图像去噪模型引入全景图像拼接算法中，因此运行时间较长，但仍在可接受的范围内。

4 结束语

本文提出了一种改进的TV图像去噪模型应用于全景图像拼接问题的研究与解决。在引入高斯噪声的场景下，首先对源图像进行去噪处理，为了提高图像去噪质量，在TV图像去噪模型建立泛函函数阶段引入卷积运算，对噪声点进行一次滤波处理后求解函数的拉格朗日极小值，达到图像去噪的效果，降低噪声点对图像拼接效果的影响；随后，通过经典算法SIFT特征匹配算法对去噪后的图像进行特征提取和匹配；最后，对待拼接图像进行加权融合处理，优化视觉效果。仿真实验结果表明，本文所提出的方法在去噪效果方面优于同类去噪算法，其对应的PSNR、图像熵和MSE评价指标数值有较好的表现，同时如何缩短算法的平均运行时间将是下一步研究工作的重点。