基于伪高动态范围的图像拼接预处理方法

吴亮红，孙亮，周博文，张红强，卢明

(湖南科技大学信息与电气工程学院，湖南湘潭，411021)

图像拼接是计算机视觉研究中的热点问题，该技术已广泛应用于医学图像处理[1]、虚拟现实[2]、机器人视觉[3]等领域。图像拼接就是将某一环境下拍摄到的2幅或多幅图像经过图像处理拼接成1幅视角更广的全景图像技术。图像拼接可以通过基于灰度信息特征、相位相关和变换模型等方法来实现，其中，由于基于图像特征点的匹配方法能够在光照变化、拍摄角度变换等变化下表现出较强的可靠性和鲁棒性，被大量应用于图像拼接中。例如，BAY等[4]提出的加速鲁棒特征(speeded up robust features，SURF)算法采用Hessian 矩阵检测图像特征点具有尺度、光照、旋转等不变特性，使得图像特征匹配具有较强的稳定性。然而，在恶劣照明场景下，图像特征匹配准确度非常低。由于图像特征匹配是基于检测到的边缘、角落等特征来进行匹配，所以，尽可能多地检测出特征点是解决图像特征匹配准确度低的有效方法。为了能够检测出更多的特征点，通常在图像拼接预处理部分采用能够提高图像对比度并且增强待拼接图像中边缘、角落的图像增强方法，如TU 等[5]提出直方图均衡化应用于图像特征匹配，经实验验证，直方图均衡可以明显提高特征点的数量；DAUD 等[6]提出一种基于直方图均衡的改进预处理方法，该方法提高了恶劣光照情况下图像特征匹配的准确度；贾银江等[7]提出一种锐化滤波器来增强图像细节，以此增加特征点数量；ZHANG 等[8]采用直方图匹配的方法改善图像质量，并可以改善光照变化时的图像拼接效果。以上研究主要采用图像增强算法作为图像特征匹配和图像拼接的预处理方法，提高了匹配准确度，但同时造成图像噪声增多，从而影响匹配效率和拼接时间。为此，本文作者提出一种基于伪高动态范围(pseudo high dynamic range，P-HDR)的图像增强算法作为图像拼接的预处理方法。该算法首先通过单幅低动态范围(low dynamic range，LDR)图像生成多重虚拟亮度图像，然后对多重虚拟亮度图像进行色调映射生成伪高动态范围图像。在恶劣照明场景下，本文提出的图像增强算法可以明显增强图像边缘、角落和提高对比度，检测到的特征点数量增多，能有效抑制图像噪声，提高图像特征匹配准确度。

1 P-HDR图像增强算法

本文提出图像增强算法，即通过单幅图像生成伪高动态范围图像，利用该算法增强待拼接图像，以改善图像质量。图1所示为该图像增强算法的流程框图，主要由3步组成。

1)通过RGB到YUV颜色空间变换，从输入图像S中提取亮度信息图像L，然后根据Retinex理论将亮度信息图像分解成环境的照明量I和反射量R[9]。

由于加权最小二乘滤波器(weighted least square，WLS)与传统高斯滤波器相比，可以防止光晕伪像，因此，本文采用加权最小二乘滤波器得到照明量I。

图1 图像增强算法流程框图Fig.1 Flow chart of image enhancement algorithm

2) 调整反射量并生成对应不同虚拟曝光值的多重虚拟照明量。为了调整反射量，提出一种选择性调整反射比例方法，增强相对明亮区域的细节，从而提高图像对比度。同时，使用虚拟曝光值比例函数生成多重虚拟照明量{Ik}。

3)由调整后的反射量R′和多重虚拟照明量{Ik}生成多重虚拟亮度图像{Lk}，并对多重虚拟亮度图像进行色调映射处理，最后得到增强后的伪高动态范围图像。

1.1 图像分解

首先将输入图像S从RGB 颜色空间转换到YUV颜色空间以获得作为人眼感知物体的亮度信息。Y分量的物理意义是像素点的亮度，将Y分量进行归一化后得到亮度信息图像L：

式中：CR，CG和CB分别为输入图像RGB颜色空间的3个分量(红、绿、蓝)。

根据Retinex 理论，人眼感知物体的亮度取决于环境的照明和物体表面对照射光的反射，数学表达式为

式中：(i,j)为像素位置；R为图像信息的反射量；I是用滤波器G滤波L得到的照明估计量。由于高斯核通常会在明亮背景和暗前景的边界附近产生光晕伪影[10]，因此，本文采用加权最小二乘滤波器代替高斯滤波器以减少光晕伪影。加权最小二乘滤波器是一种边缘保持平滑的滤波器，能够满足与亮度信息图像L类似又尽可能平滑的要求。

加权最小二乘滤波器数学模型[11]为

式中：u为滤波器输出；λ为第1项和第2项之间的平衡参数；下标p表示像素位置。式(3)中，第1 项(up-Lp)2是为了使输出图像u与输入亮度信息图像L越相似越好，第2项是通过最小化偏导数来抑制纹理的平滑项和ax,p(L)和ay,p(L)为平滑权重。

1.2 调整反射量和生成多重虚拟照明量

1.2.1 选择性调整反射量比例

为了增强图像暗区域中的细节清晰度，需要调整照明量。然而，在明亮区域下，增加照明又可能使图像像素饱和，这样会使图像细节信息损失[12]，因此，在相对明亮的区域中，调整照明量不能充分增强图像细节清晰度。本文在处理图像明亮区域时，没有采用遍历像素的照明均衡方法，而是采用当照明量大于某个阈值时进行调整反射量的方法，这样可保证明亮区域的图像细节更清晰。

反射量为

式中：mI为照明量I的平均值；γ=0.6。因此，当像素I(i,j)的照明值大于平均值mI时，则将I(i,j)视为较明亮像素，并且将该像素的反射量增加倍。

1.2.2 生成多重虚拟照明量

由于本文使用的是未知曝光值的单幅亮度信息图像L，为了生成多重虚拟照明量，采用Sigmoid 函数作为虚拟曝光值的比例函数f(ν)：

式中：ν为[0,1]范围内的虚拟曝光值；mI为照明量I的平均值；σs为Sigmoid 函数的平滑因子，本文取值为为控制比例函数的自适应幅度；M为初始照明量I的最大值。

本文设计4种不同的虚拟曝光值，加上初始照明量平均值mI，即可获得一组虚拟曝光值νk(k=1, 2, 3,4, 5)，其中，ν1=0.25，ν2=(ν1+ν3)/2，ν3=mI，ν4=(ν3+ν5)/2，ν5=0.75。

将图像的初始照明量I乘以f(νk)作为新的照明量，这样便可以生成多重虚拟照明量Ik(k=1,2,3,4,5)，即

1.3 色调映射

通过调整后的反射量R′和多重虚拟照明量Ik生成多重虚拟亮度图像Lk(k=1,2,3,4,5)：

然后，对多重虚拟亮度图像Lk进行色调映射[13]，从而获得增强伪高动态范围图像：

式中：β∈[0,1]，为该范围内的校正系数，本文β取为1.0。

1.4 图像增强效果对比

为了验证本文提出的P-HDR 图像增强算法的有效性，对1幅恶劣环境照明场景下的图像进行增强处理，其结果如图2所示，其中，图2(a)所示为原始图像，图2(b)所示为增强后的图像。由图2可见：本文提出的图像增强算法可增强图像暗区域的边缘，提高图像对比度。

图2 恶劣照明场景下的图像增强效果Fig.2 Image enhancement effects in extreme illumination scenario

2 基于SURF算法的图像拼接

2.1 SURF特征点检测和特征描述符构建

SURF特征点检测是利用盒子滤波器建立尺度空间，在不改变原图像大小的条件下不断改变盒子滤波器的模板大小，与原图像在不同方向上进行卷积计算，从而形成多尺度斑点响应的金字塔图像。利用这一金字塔图像，即可进行斑点响应极值点的搜索[14]，从而检测出图像的特征点。

SURF 特征点检测是基于Hessian 矩阵，给定图像I中的像素点I(i,j)，则尺度为σ的Hessian矩阵H(I,σ)定义如下：

式中：Lii(I,σ)为高斯二阶微分在点I(i,j)处与图像I的卷积，Ljj(I,σ)与Lij(I,σ)具有类似的含义。SURF算法在进行卷积时采用盒子滤波器来近似高斯滤波。通过Hessian 矩阵检测到的特征点构建特征描述符，每个特征点沿着主方向建立64 维的特征描述符[15]。图3所示为沿主方向描述的待拼接图像的特征点。

图3 采用SURF在待拼接图像中检测到的特征点Fig.3 Feature points detected by SURF in image to be stitched

2.2 图像特征匹配

由于SURF 算法检测到的特征点具有尺度、光照、旋转等不变特性，所以，通过比较特征描述符高维空间的欧氏距离，即可判断2个特征点是否对应于场景中的同一个位置[16]。对于待拼接的2幅图像，若检测到的2个特征点的欧式距离最近，则认为这2个特征点是待拼接的2幅图像相同场景部分中的同一位置。本文采用快速近似最近邻搜索(FLANN)算法[17]进行粗匹配得到待拼接图像的特征点对。当完成粗匹配后，特征点对仍然存在一些错误的匹配对。为了进一步提纯特征点对，采用随机抽样一致性算法[18](RANSAC)进行精匹配。RANSAC算法通过误差函数来计算实际异常值，从而剔除错误的特征点对。图4所示为图像拼接的特征匹配效果。

图4 图像特征匹配效果Fig.4 Image feature matching effect

2.3 图像拼接

通过计算匹配特征点对的透视变换矩阵来进行图像拼接。根据透视变换矩阵，可以将待拼接图像映射到一幅投影图像上。由于待拼接图像存在亮度、色度等差异，所以，在拼接图像的拼接处采用加权平权算法[19]进行图像融合。图5所示为基于SURF 算法的图像拼接效果。

图5 基于SURF算法的拼接图像Fig.5 Stitched image based on SURF algorithm

3 实验验证及分析

本文实验平台为Microsoft Visual Studio 2015，Python3.6.5 和OpenCV3.4.1，计 算 机CPU 为Inter(R)Core(TM)i5-8300M(2.30GHz)，内存为8 GB。图6所示为恶劣照明场景下的待拼接图像1和图像2。由图6可见：待拼接图像整幅区域的细节清晰度很低，严重影响拼接效果。

本文实验分为4个阶段。

1) 通过预处理方法增强待拼接图像。为了与其他方法进行比较，该阶段有5 种预处理方法：a) 无图像预处理；b)文献[5]中方法；c)文献[7]中方法；d)文献[8]中方法；e)本文预处理方法。

2)采用SURF算法检测待拼接图像的特征点。

3)采用FLANN算法和RANSAC算法对特征点进行图像特征匹配。

图6 待拼接图像Fig.6 Images to be stitched

4) 根据匹配的特征点对计算透视变换矩阵，然后进行图像拼接。实验中，记录检测到的特征点数量、匹配特征点对数量、特征匹配准确度和拼接时间，然后对记录的数据进行比较和分析。

由不同预处理方法检测到的特征点数量对比见表1。由表1可知：采用不同预处理方法得到的增强图像都会使检测出的特征点数量增多；检测出的特征点数量增多证明这些预处理方法提高了图像对比度，增强了图像中的边缘、角落。

表1 不同预处理方法检测到的特征点数量对比Table 1 Comparison of the number of feature points detected by different preprocessing methods 个

不同预处理方法的特征匹配实验结果见图7。在每幅图像上，红色点代表检测到的特征点，蓝色线代表特征匹配的特征点对。由图7可知：与其他预处理方法相比较，待拼接图像采用本文预处理方法进行增强，在暗区域边缘能检测出更多的特征点数量，这能有效抑制增强后的图像噪声。

图7 不同预处理方法的特征匹配效果Fig.7 Feature matching effects of different preprocessing methods

表2所示为不同预处理方法对4 组测试图像进行拼接的定量评估结果。由表2可知：采用预处理方法增强待拼接图像后可以提高特征匹配的准确度；本文预处理方法与其他方法相比，具有更多的特征点对数量且特征匹配准确度更高；文献[5]中方法尽管检测到的特征点数量增多且提高了特征匹配的准确度，但粗匹配的特征点对数量与其他预处理方法相比少很多，说明该方法没有有效地抑制图像器噪声，检测出的特征点有很大部分是图像噪声，严重影响特征匹配效率，拼接时间过长；文献[7]中方法由于检测出的特征点数量少，特征匹配特征点对数量较少；文献[8]中方法由于没有图像去噪，在进行特征匹配过程中增加了大量的错误特征点对，严重影响准确度。对比表2中第1 组和第4 组数据可以发现：文献[5]与文献[8]中方法不稳定、鲁棒性差。

表2 基于SURF的不同预处理方法对图像拼接的定量评价Table 2 Quantitative evaluation of image stitching based on SURF with different preprocessing methods

以上实验结果表明：在恶劣照明场景下，本文提出的预处理方法在图像拼接方面有着更好的拼接效果：特征点对数量平均提升15.37%，特征匹配的准确度平均提升9.413%，拼接时间平均缩短6.26%。

4 结论

1) 针对恶劣照明场景下图像拼接过程中特征匹配准确度低的问题，提出一种有效方法来提高图像特征匹配的准确度。采用图像增强算法来改善图像质量是解决特征匹配准确度低的有效方法。

2)提出一种P-HDR 图像增强算法来改善图像质量。该图像增强算法采用单幅图像生成伪高动态范围图像的方式，使得增强后的图像边缘更加明显，图像对比度提高。

3) 本文提出的基于伪高动态范围的图像拼接预处理方法可以有效地提高图像拼接的特征匹配准确度。该方法在基于特征的图像拼接方面比现有预处理方法具有更好的效果，可应用于任何图像拼接系统如智能手机、视频监控和医学图像处理等系统，特别是在恶劣照明场景下，能够可靠地进行图像拼接。