纹理抑制的光照不均图像配准算法研究

刘 天，曾 亮

国防科技大学 计算机学院，长沙 410073

1 引言

在图像处理中，图像配准是十分基础的理论，但它也是图像处理研究领域里的一个技术难点。计算机图像处理领域飞速进步的同时，很多理论和方法都更加完善，并且做了很多创新。图像配准是一个热点问题并且逐渐让人们更加关注这一方面，它是获取图像信息的重要手段。这项技术在计算机视觉、图形图像处理、建筑学、医学、军事以及材料力学等领域都有着非常广泛的应用[1]。

图像配准方法主要分为基于灰度的匹配算法、基于变换域的匹配算法和基于特征的匹配算法[2]。基于特征的图像配准方法利用图像的局部不变特征配准图像的重合部分，其抗噪声的能力和抗形变能力较为突出，因此，此类算法的时间复杂度较低的同时，还具有较高的鲁棒性。常用的特征提取算法包括Harris[3]、SUSAN（Smallest Univalue Segment Assimilation Nucleus）[4]、SIFT（Scale Invariant Feature Transform）[5]、SURF（Speed-Up Robust Features）[6]、ORB（Oriented FAST and Rotated BRIEF）[7]、BRISK（Binary Robust Invariant Scalable Keypoints）[8]、KAZE[9-10]和 AKAZE（Accelerated-KAZE）[11]等。SIFT 和SURF 算法使用高斯差分尺度空间对特征点进行提取，虽然这两种算法的鲁棒性较高，但是模糊了轮廓信息，在其进行高斯滤波后的图像会存在边缘细节模糊、轮廓信息丢失的情况。ORB算法结合FAST与BRIEF，计算所用时间较少，但是不具备尺度不变性。BRISK 算法具备尺度不变性与旋转不变性，计算速度快，但是鲁棒性较差。上述的局部特征检测算法，都是利用线性滤波的方法模糊图像来获得光照分量，然而这种方法并不能适用于所有图像，在一些光照不均图像中，光照分量在一些明暗区域边界处可能是突变的，使用线性滤波会破坏图像的区域边界。KAZE和AKAZE都是通过非线性滤波构建尺度空间，稳健性较强，局部精度高，但是在构建相同尺度空间时，图像细节或纹理区域的弱边缘会很快被平滑，这时就会出现特征匹配错误的现象。

上述算法虽然对普通图像的配准具有良好的效果，但是对于光照不均图像的配准效果却不太理想，本文针对KAZE算法对光照不均图像特征点提取不准确、配准效果较差等方面的不足，提出了一种基于纹理抑制的改进KAZE 算法。该方法首先将纹理抑制算法嵌入到非线性扩散方程中，利用纹理抑制的特性，保留原图像的边界性边缘，并平滑掉图像中的纹理细节，实现原图像正确的光照估计，然后对光照分量进行自适应伽马校正[12]，将反射分量和光照分量结合恢复图像的细节和色彩，最后对校正图像进行配准。实验结果表明：本文算法的准确率更高，适用性更广泛。

2 KAZE算法

KAZE 算法是基于非线性尺度空间的特征检测与描述算法。该算法利用非线性扩散滤波器构建具有任意步长的尺度空间。在该尺度空间的平缓区域，图像的灰度快速扩散，反之，在边缘处图像的灰度缓慢扩散。因此，使用KAZE 方法处理图像时，图像的细节和边缘信息能够被较好地保存，同时噪声被模糊。

2.1 非线性扩散滤波与非线性尺度空间构造

非线性扩散滤波方法是将图像像素亮度在不同尺度上的变化视为某种形式的流函数的散度。因此，可以通过非线性偏微分方程来描述，如式（1）所示：

其中，L表示图像的亮度，div 表示散度，∇表示梯度，c(x,y,t)为传导函数，时间t为尺度参数。图像的复杂程度由t决定，t的值越小，图像越繁杂。传导函数c对扩散自适应图像局部结构起着决定性作用，其定义如下：

其中，∇Lσ表示图像Lσ经高斯平滑后的梯度。函数g有如下三种形式：

其中，k表示控制扩散级别的对比度因子，其决定着边缘信息的数量。在函数g1中对比度高的边缘被优先保留；在函数g2中，宽度较大的区域被优先保留；在函数g3中，对图像的内部区域进行平滑处理，以便保留边界信息。在KAZE算法中，传导函数g2被采用，k值通过图像梯度直方图中高于70%的部分计算。

在传统的特征检测算法中，尺度空间的引入是为了解决图像匹配过程中尺度变化的问题，KAZE算法也引入了该理论，而尺度空间的类型是有差别的，传统算法构建的是线性的，而KAZE 算法则是非线性的。KAZE算法始终使用与最初的图像一致的分辨率，而不是传统算法中每组都需要降采样。图1 展示了两种尺度空间的对比效果。

图1 不同演化时间的高斯和非线性尺度空间比较

从图1分析可知，非线性扩散滤波比高斯滤波更好地保留了图像边缘以及细节信息。

非线性偏微分方程不存在解析解，所以普遍利用数值分析求解出近似解。以往使用显式差分格式的求解办法必须采取小步长，收敛较慢，KAZE 算法采用加性算子分裂（Additive Operator Splitting，AOS）算法使用非线性扩散滤波，其可以构建具有任意步长的非线性尺度空间，由于非线性偏微分方程不存在解析解，因此，微分方程的解通过数值分析方法近似求得。KAZE 算法采取隐式差分形式将方程离散化，如式（6）所示：

式中，I是单位矩阵，ti是进化时间，Al是三对角矩阵，Al(Li)为图像L在维度l上的传导矩阵。

2.2 非线性尺度空间特征点检测

KAZE 算法进行特征点提取的过程与SIFT 算法大致相同，都是寻找不同尺度归一化后的Hessian 矩阵局部极大值点来完成的。Hessian 矩阵的计算公式如下所示：

其中，σ为尺度参数σi的整数值；Lxx、Lyy、Lxy均为L的二阶微分。在搜索特征点的过程中，全部的像素点都要同其相邻位置的点进行对比，当该点的值大于其所在图像域和尺度域中的每一个相邻点，就将其当作极值点。理论上，在目前尺度及其相邻尺度下，选择规格为σi×σi的3个矩形窗口作为对比范围。为了提高搜索速度，通常情况下将矩形窗口的尺寸固定为3×3，即该点的比较范围变为以该点为中心的相同尺度上的8 个相邻点和其相邻尺度上的各9个点。

在提取到特征点后，需要对特征点的位置进行准确定位。在KAZE算法中，利用子像元插值法精确确定特征的位置。其使用泰勒展开式确定亚像素的精确位置，计算公式如下：

其中，x表示特征点的位置标准。特征点的亚像素坐标解为：

2.3 特征向量描述与匹配

特征点的主方向是由局部图像结构来决定的。KAZE 算法所使用的办法与SURF 算法大致相同，如果特征点的尺度参数设定为σi，那么搜索半径就是6σi。对搜索范围内相邻点的一阶微分值做高斯加权运算，并且通过距离的远近决定特征点的响应贡献值大小，距离较近的值较大，距离较远的值较小；把这部分值看作向量空间中的一组点，利用角度为60°的扇形窗口，搜索整个圆形区域，并将这些点通过向量叠加，求出最大向量所在的角度，即为主方向。

对于尺度参数为σi的特征点，在梯度图像上围绕特征点选取一个范围是24σi×24σi的矩形，然后把窗口分割成4×4个子区域，每一小块的面积为 9σi×9σi，邻近的子区域有宽度为2σi的交叠带。每个子区域都用一个高斯核(σ1=2.5σi)做加权运算，然后计算长度为4 的子区域描述向量：

再通过其他大小为4×4的高斯窗口(σ2=1.5σi)对所有子区域的向量dv做加权运算，最后对向量做归一化处理。这样就得到了4×4×4=64维的描述向量。

3 改进KAZE算法

KAZE 算法虽然在一般图像的特征点检测方面具有良好的性能，但是对于光照不均图像的特征点检测效果并不理想，对光照不均图像之间的匹配不准确，并不能保留边界区域的跃变，而平滑纹理区域，非线性扩散方程中，如何滤波是由图像的梯度值来确定的，梯度值大的地方，平滑强度要小，梯度值小的地方，平滑强度要大。然而，梯度值并不能完全区分图像的边界性边缘和纹理性边缘，某些图像中的纹理性边缘梯度值会大于边界性边缘的梯度值，这样会导致某些纹理区域的扩散率小于边界区域的，不能完全将纹理区域平滑化和保留边界，需要在非线性扩散方程中添加一种机制来区分纹理区域和边界区域。因此，本文针对KAZE 算法进行改进。首先，在非线性尺度空间构造阶段，将纹理抑制算法嵌入到非线性扩散方程中，用来削弱纹理性边缘的梯度值，突出图像中的边界性边缘，使得图像在特征点检测过程中能够更准确地检测出特征点的位置。其次，对图像的光照分量进行自适应校正，使得图像的清晰度更高，亮度更加均匀，提升特征点检测数量与精确度，使得图像间的匹配更加准确。最后使用欧氏距离对特征向量进行匹配。

3.1 纹理抑制

通过神经生理学的实验发现，初级视皮层（V1 区）的神经元在从所观察到的场景中提炼物体的边缘信息中起着十分关键的作用。V1区神经元的所有感受野有它自己的一块小的兴奋区域，这片区域被称为经典感受野（Classical Receptive Field，CRF），而附近的较大一片区域则是其邻近单位所形成的抑制区，这片区域被称为非经典感受野（non-Classical Receptive Field，nCRF）。侧抑制的机制可以简单用图2 说明，图2（a）是神经元的复合感受野，分为环形的非经典感受野和中心的圆形经典感受野。图2（b）是一幅由线状纹理生成的图。Grigorescu 等使用Gabor 模型模仿经典感受野的结果，并运用非经典感受野的抑制特性[13]，利用圆环形抑制区域采取高斯差分（Difference of Gaussian，DoG）模型来计算其距离权值。

图2 侧抑制机制

纹理抑制机制具有削弱图像纹理性梯度的作用，因此将借鉴纹理抑制的原理用于非线性扩散方程中进行纹理抑制[14]。对梯度进行纹理抑制的步骤如下：

（1）计算初始图像I的梯度幅度：

（2）模拟神经元的环形抑制区，构造尺度相差3 倍的高斯差值系数模板：

将DoG中的负值置0，并进行归一化：

权重系数模板中不为0的区域近似为一个圆环，其三维示意图如图3所示，因此模拟了神经元的环形抑制区。

图3 侧抑制权重系数模板

（3）权重系数模板与图像梯度值作卷积，得到图像的抑制量：

（4）计算纹理抑制后的图像梯度幅度：

纹理抑制算法中，抑制力度α直接决定了抑制量的大小，当α较大时，对纹理性边缘的抑制效果较强，但也会削弱一些边界性边缘，特别是多个边界的交汇处，而当α较小时，对纹理的抑制能力较弱。因此，参考文献[14]，将α设置为一个数值较大的固定值1.2，这是为了能使非线性扩散在较少的迭代次数下产生较大的纹理抑制效果。

（5）将纹理抑制的算法嵌入到非线性扩散方程中：

由上式可以看出，原方程图像的梯度幅度替换为了纹理抑制过后的图像，这样可以使得纹理性边缘和边界性边缘得到进一步的分离，纹理区域最终会得到平滑，边界区域得到保留，以实现正确的光照估计。

图4 中的（a）是没有经过纹理抑制的光照反射分量，（b）则是经过纹理抑制的光照反射分量，对比（a）和（b）可以发现，有纹理抑制的图像保留了图像较大的边界信息，使得图像更加平滑，保留了大部分的图像细节，无纹理抑制的图像中边界信息较少，并且很少一部分的图像细节会保存在光照分量里。所以利用纹理抑制方法能更好地保留图像区域边界的信息和图像细节。

图4 纹理抑制对图像边缘检测的影响

3.2 自适应Gamma增强

Retinex 理论[15]认为图像是由亮度分量和反射分量组成。本文算法首先将图像从RGB 颜色空间转换到HSV 颜色空间，然后对图像的亮度分量V(x,y)进行处理，保留饱和度分量S(x,y)和色度分量H(x,y)。最后再将图像从HSV颜色空间变换到RGB颜色空间。

（1）计算光照分量与反射分量

利用高斯滤波器G(x,y)对亮度图像V(x,y)进行卷积可获得图像的光照分量：

由此，反射分量R(x,y)也可以被分离出来：

（2）光照分量的Gamma校正

计算出光照分量后对其进行自适应校正：

Lco(x,y)表示校正过后的光照分量，γ(x,y)为Gamma校正系数矩阵，pw(l)为对应于各亮度值的权值分布函数：

p(l)是亮度分量的概率密度函数，pmax为p(l)的最大值，pmin为p(l)的最小值，p(l)可通过下式求得：

nl为对应的亮度所含像素数，np为亮度分量包含的像素总数。最后将校正后的光照分量Lco(x,y)与反射分量R(x,y)合并得到最后的亮度图像V(x,y)。

该算法主要针对图像的光照分量进行自适应校正，首先统计对应亮度下所含像素数值，并求得亮度分量的概率密度函数，然后再统计其最大值与最小值，计算各亮度值的权值分布函数，最后求得Gamma 校正系数矩阵，对光照分量进行校正后，与反射分量做卷积，合并得到最后的亮度图像，校正后的图像与原图像相比，不仅能显著提高图像全局和局部区域的清晰度，而且使图像的动态范围更佳，增强效果更为自然。

4 实验结果与分析

4.1 实验环境与数据集

本文实验以MATLAB R2018a为实验平台，在Window10上运行，处理器为Intel®Core™ i5-8300H CPU @2.30 GHz 2.30 GHz，内存为16.0 GB。为验证本文算法的匹配效果，实验采用Vonikakis V和Chrysostomou D[16-17]局部对称特征配准实验所用图像数据集，该图像数据库具有更多种成像条件，包涵不同程度的均匀和光照不均图像，本文选用Phos 图像数据库中的五组图像。每组图像选取两张图像进行匹配，如图5所示。

4.2 算法对比分析

为了验证本文所提出算法的可靠性及优越性，对传统的 SIFT 算法、SURF 算法、KAZE 算法以及本文算法进行对比，并统计各种算法所检测到光照不均图像的特征点数目，以及匹配准确率。表1给出了分别使用SIFT算法、SURF算法、KAZE算法和本文算法对Phos数据集右侧图像进行特征点提取的数目进行比较。从表中可以看出SURF 算法针对光照不均图像所能提取的特征点数目最少，并且在第二个数据集中检测到的特征点数量过于稀少，有很多图像所表达出的关键信息都没有检测出来，SIFT 算法所检测的数目较少，虽然相较SURF算法来说，可以检测出更多的特征点，但是在数据集2中很多关键信息也没有检测到。KAZE 算法和本文算法所提取的数目最多。但是KAZE算法对数据集3和5的光照不均图像检测中，边缘特征点漏检测现象严重，其检测出的特征点无法很好地代表图像所要表达的信息。而改进算法能够检测出更多特征点的同时，对图像边缘的特征点检测效果也较好，更适用于光照不均图像。

图5 实验用图

表1 各算法检测光照不均图像特征点对比结果

为了进一步验证本文所提出算法的匹配高效性，将实验所用数据集的五组图像分别运用四种算法即对SIFT、SURF、KAZE 和本文算法的匹配效果图进行比较，进一步增强对比结果，证明本文算法的优越性。实现效果如图6～10所示。

图6 Phos2_scence1实验结果

图7 Phos2_scence2实验结果

图8 Phos2_scence3实验结果

图6～10 为采用 SIFT、SURF、KAZE 及本文算法对Phos 图像数据库中的五组光照不均图像匹配结果对比图。通过上面五组图像的对比结果可以直观地看出，传统算法对图像中光照不均和较暗区域的特征点检测效果不太理想，虽然SIFT算法提供了较多的特征点，但是SIFT算法出现较多误匹配；SURF算法匹配点对相对稀少，误匹配相比SIFT 算法较低；并且从图9 中可以看出传统算法对边缘区域的特征点检测效果不太理想，很多重要的特征点都没有被检测到，而KAZE算法和本文算法特征点检测较多，匹配均匀，但相较于KAZE算法，本文算法能检测出更多特征点，并且匹配效果良好。以上只是主观地判断本文算法的优劣性，为了进一步验证本文算法的有效性，相关参数将通过折线图的形式直观显示出来，并将匹配率进行对比，进一步增强对比效果，证明本文算法的优越性。

图9 Phos2_scence4实验结果

图10 Phos2_scence5实验结果

图像配准实验中，通过常用的评价指标准则[18-19]查全率（Recall）和错误率（1−Precision）评价图像配准算法的优劣性。

查全率是指图像检索出正确的配准点和图像中所有配准点对（包括已配准和应配准但未通过算法配准的点）的比率：

错误率是指错误配准点占通过算法得到的总配准点的比重：

实验对 SIFT 算法、SURF 算法、KAZE 算法以及本文算法进行比较，通过查全率和错误率比较算法优劣，如图11所示。

对上述5 组图像进行配准，评价4 种算法的配准性能，根据图6 可以看出，SIFT 算法虽然能够检测出大量的特征点，但是容易出现误匹配的状况，SURF算法检测出的特征点数量相对较小，在数据集Phos2_scence2 中的检测效果相对较好，查全率最高达到0.9左右，但是在图10中，其特征检测效果较差，并出现了明显的误匹配现象，从整体效果来看，KAZE 算法以及本文算法的效果明显更好，而本文算法的查全率最高达到0.8左右，相较于SIFT、SURF、KAZE算法平均查全率分别提高了26个百分点、5个百分点和5.5个百分点。因此可以看出，本文算法对于光照不均图像具有更好的配准效果，并且能够更好地检测图像边缘的特征点，对于图像明暗区域边界处的效果也明显优于传统算法。

图12是四种算法的准确率对比图，从图中可以直观地看出，在数据集Phos2_scence2中，SURF算法优于KAZE算法，在剩余的4个数据集下，KAZE算法要优于SURF算法和SIFT算法。本文算法对于数据集Phos2_scence3的匹配效果最好，准确率最高，整体结果要优于传统算法。

图11 不同算法配准实验曲线

图12 四种算法的准确率对比

表2是各算法配准分数的对比结果，SIFT算法检测出的匹配对数最多，但是正确匹配较少，因此分数较低，SURF 算法和KAZE 算法相对分数较高，结合图7 也可以看出，SURF算法在数据集Phos2_scence2中效果要好于KAZE 算法，本文算法在数据集Phos2_scence1 和Phos2_scence4中的匹配分数分别高于KAZE算法5.5个百分点和4.4 个百分点，但是对于数据集Phos2_scence2和Phos2_scence3匹配分数分别高于KAZE算法31个百分点和39.3 个百分点。本文算法的平均正确率较SIFT、SURF、KAZE算法分别提高了48.5个百分点、22.1个百分点和20.1个百分点。

表2 各算法匹配分数对比结果

最后，对改进算法在不同数据集的实验进行归纳总结，在数据集 Phos2_scence1、Phos2_scence4、Phos2_scence5中，主要选取了光照程度较高，纹理细节内容较少的图片进行测试，从表1 中可以看出，检测的特征点数量相对较少，从图11中可以看出，改进算法的平均匹配正确率略高于原算法。但是在数据集Phos2_scence2和Phos2_scence3中，主要选取颜色鲜明、边缘和纹理细节较为丰富的图像进行测试，从表1 中可以看出，改进算法在该数据集上检测出了更多的特征点，并且从图11和表2中可以看出，改进算法的平均正确率高于原算法35个百分点。由此可以看出，本文算法的匹配正确率最高，对于光照不均图像的特征点检测效果最好，并且对于纹理细节丰富的图像匹配效果更佳。

5 结语

本文针对光照不均图像配准不佳的问题，提出了改进的KAZE 算法，并介绍了改进算法的基础原理，并通过实验验证了算法的优越性。实验结果表明，本文算法针对光照不均图像能检测出更多的特征点，并且能够提高正确匹配率，匹配效果良好。在日常生活中，许多拍摄出的室内外图像大多是光照不均匀图像，而传统算法对其进行特征点检测效果不太理想，本文算法能够很好地解决这一问题，适用性较为广泛。由于本文图像匹配算法在非线性扩散方程中嵌入了纹理抑制方法和自适应增强算法，所以该算法的实时性欠佳，虽然提高了准确率，但是时间也相对较长，算法整体的时间复杂度较高，今后可以对非线性扩散方程的计算进行加速，所以对于光照不均图像的实时性配准问题仍需要进一步研究。