图像增强技术在图像匹配中的应用

赵宁 鲁斌

摘要：图像处理是近年来人们研究的热点，图像匹配技术是图像处理技术中颇为重要的部分，SIFT算法是其发展的重要根基。由于SIFT算法有其自身局限性，提出了将图像增强技术与SIFT算法结合起来，以增加图像特征点的数量。采用了直方图均衡化和拉普拉斯增强进行处理，并提出了一种改进的图像增强算法。最后以实验验证了该方法的可行性。

关键词：SIFT算法；图像增强；特征点提取

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）26-0240-05

Abstract： Image processing is a hot topic in recent years. Image matching is an important part of image processing. The SIFT algorithm is an important foundation for its development. Because SIFT algorithm has its own limitations， this paper proposes to combine image enhancement and SIFT algorithm to increase the number of image feature points. Histogram equalization and Laplacian enhancement are used for processing， and an improved image enhancement algorithm is proposed. Finally， the feasibility of the method is verified by experiments.

Keywords： SIFT algorithm； image enhancement； feature point extraction

1 概述

圖像配准已经广泛地应用于计算机视觉、医学图像、遥感数据分析等诸多领域[1]，基于特征的图像配准是目前图像配准的主流方法。局部特征提取算法（SIFT）是Lowe[2]于1999年提出的一种特征提取算法，在特征提取领域有着十分重要的地位。局部特征从总体上说是图像或在视觉领域中一些有别于其周围的地方，通常是描述一块区域，使其能具有高可区分度。局部特征的好坏直接会决定着后面分类、识别是否会得到一个好的结果。然而SIFT具有其自身局限性：实时性不高；有时提取的特征点略少；对边缘光滑的目标无法准确提取特征点。针对提取特征点数量略少的不足，本文提出将图像增强与SIFT算法相结合，使用图像增强技术处理图像，对得到的质量更好的图像使用SIFT算法进行特征点的提取，从而得到更多的局部特征点，进而有更多的特征点进行之后的配准过程。

2 SIFT算法简述

SIFT算法是Lowe于1999年提出，并在2004年优化的用以检测和描述图像局部特征的算法[3]，其特征是图像的局部特征，对图像的尺度变化、旋转平移、缩放、保持不变性，对光线变化、视角变化、仿射变换、噪声也保持一定程度的稳定性[4]。基于以上特点，这些特征非常稳定并且相对更容易提取，提取SIFT特征点主要包括以下步骤：

2.1 DoG尺度空间生成

使用DoG直接使用高斯卷积核，相比于LoG需要使用两个方向的高斯二阶微分卷积核，省去了对卷积核的生成的运算量；DoG直接保留了各个高斯尺度空间的图像，在生成某一空间尺度的特征时，无需再次生成该尺度的图像。

2.2 极值点搜索

在DoG空间检测极点，每一个检测点都要与其相邻的所有26个点进行比较（包括同尺度的8个点以及相邻两个尺度的18个点），当它在相比较的点中为最大值或者最小值是，就称之为一个极值点。

2.3 特征点的确定

在得到极值点并不是真正的特征点，由于DoG对图像中的边缘有较强的响应值，这些点如果落在图像的边缘上难以定位，具有定位的歧义性，并且这样的点容易被噪声干扰而变得不稳定。首先要到空间尺度函数的泰勒展开式求导，精确极值点的位置，然后，然后分别检测极值点的对比度和边缘响应，过滤低对比度和边缘响应不稳定的点，得到真正的特征点。

2.4 确定特征点主方向

为了使算子具备旋转不变形，需要根据特征点周围像素的方向分布，来确定特征点的方向

在实际计算中，使用直方图统计特征点邻域像素的方向，直方图的峰值即为该特征点的主方向。

2.5 生成特征点表述子

将坐标轴旋转至特征点方向，以确保特征点的旋转不变性，以特征点为中心在其邻域生成16*16的矩形区域，将其划分为4*4子区域，计算每个子区域8个方向方向梯度直方图，得到128个数据，生成128维特征向量。将得到的特征向量进行长度归一化，即可去除光照变化的影响。

2.6 特征点匹配

当两幅图像的SIFT特征向量生成后，下一步采用特征向量的欧式距离来作为两幅图像中关键点的相似性度量。取图像中的某个关键点，并找出其与待匹配图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。

3 图像增强技术简述

SIFT算法的实质是在不同的尺度空间上查找极值点，筛选出关键点，并计算出关键点的方向。由于拍摄的原因，常会有图像质量不理想的情况，需要使用图像增强的方法来突出图像中不能良好展现的信息，增加图像中的极值点。本文使用了直方图均衡化、拉普拉斯算子增强等图像增强技术对图像进行处理，并提出了一种改进的图像增强方法。

3.1 直方图均衡化

直方图均衡化是利用图像的直方图来对图像的对比度进行调整的方法。其核心思想是将调整原图像的灰阶分布，从较集中的某个灰度区间变成在0-255全部灰阶上均匀分布，以达到改善图像视觉效果的目的[5]。

3.2 基于拉普拉斯算子的图像增强

拉普拉斯算子，即二阶微分线性算子，与一阶微分相比，它的边缘定位能力更强，定位能力更好，并具有旋转不变性[6]。一个二维图像函数的拉普拉斯变换是各向同性的二阶导数，定义为：

如果在图像中一个较暗的区域中出现了一个亮点，那么用拉普拉斯运算就会使这个亮点变得更亮。图像锐化的作用是使灰度反差增强，从而使模糊图像变得更加清晰。拉普拉斯算子的应用可以增强图像中灰度突变的部分，减弱灰度缓慢变化的部分。基于拉普拉斯算子的图像锐化表示为

基于拉普拉斯算子的图像锐化在保留图像背景的同时，突出图像中的细节信息。

3.3 一种改进的图像增强方法

针对图像曝光不足或过曝的情况，以像素值归一化后0.5为基准，此值保持不变，将小于这个值的像素值进行拓展，大于这个值的部分进行抑制，可以凸显更多图像暗部及高光处未展示的细节。公式如下：

由图可知，当v越小时，变换后图像像素值集中在一个较小的范围，对暗部拓展以及高光部分的抑制效果越弱，反之当v越大，对暗部拓展以及高光部分的抑制效果则越强，可以显示更多这一部分的细节。

4 实验结果及分析

实验采用基于OpenCV的Xcode软件为仿真平台，电脑操作系统采用macOS Sierra，CPU i5，主频为 2. 7 GHz，内存8 GB。分别使用多种图像增强方法处理图像，并比较使用Sift算法提取的特征点的数目。图像增强技术是对图像进行处理以提升图像质量，故以不同质量的图像进行实验。

首先选取在曝光不足条件下拍摄的两幅图片进行实验。实验发现，使用图像增强方法增强图像教暗部分的细节，可以提取更多的特征点。实验结果如下所示（以下图中先后顺序均为原图像、直方图均衡化、拉普拉斯算子增强和改进算法增强）：

由此可知，在使用拉普帕斯算子进行图像增强时，图像阴暗处细节较原图更为清晰，这些区域可以提取更多特征点。图1和图2中特征点的数量分别由295个和126个增加至528个和352个，两幅图像的匹配点数也由28对增加至59对，从图中可以看出，这些特征点质量更高，错误匹配点数从19对降到0对，匹配正确率也从32.14%提升到了100%，在两幅图的重叠区域进行了正确的匹配；使用改进算法进行图像增强效果次之，图1与图2的特征点数量分别达到了312和186个，匹配点数为39对；而使用直方图均衡化的方法时，对图像的直方图进行了大幅度的调整，抑制了图像原本较为清晰的高光部分细节，效果并不理想。

选取在过曝条件下拍摄的两幅图片进行实验。实验发现，使用图像增强方法增强图像高光部分的细节，可以提取更多的特征点。实验结果如下所示：

由此可知，使用对图像进行直放图均衡化后效果最佳，图像的灰阶均匀的拉伸到0～255之间，使得图像整体细节更加明显。图1和图2中特征点的数量分别由1248个和1048个增加至2596个和2133个，两幅图像的匹配点数也由166对增加至450对；使用改进算法时效果次之，两幅图特征点数目分别为1787和1540个，匹配点数目达到了290对。使用拉普拉斯算子增强效果不佳。

综上所述，将图像增强技术与SIFT算法结合起来，可以得到数量更多、质量更高的特征点，从而在后续的特征点匹配与图像配准中得到更好的效果。本文提出的改进算法与增强前比较可以得到更多正确匹配点，且在图像曝光不足以及过曝条件下有着更广泛的适用条件。

5 结束语

本文对SIFT算法以及常用的图像增强算法进行了阐述，并提出了一种改进的图像增强算法，将图像增强技术与SIFT算法相结合，首先使用几种图像增强方法对图像进行处理，提高图像质量，使得图像整体细节更为清晰。使用SIFT算法对图像进行特征点的提取，并对两幅图像的特征点进行匹配。实验结果表明，经过合适方法处理过后的图像可以提取出更多特征点，这些特征点质量更好，从而可以提高特征点之间的匹配正确率，有助于实现图像的正确匹配。

参考文献：

[1] 卜凡艳.数字图像匹配技术研究[D].合肥：合肥工业大学，2010.

[2] David G. Lowe. Object recognition from local scale-invariant features[C]. International Conference on Computer Vision， Corfu， Greece，1999（9）：1150-1157.

[3] David G. Lowe. Distinctive Image Features from Scale-Invariant Keypoints[C]. International Journal of Computer Vision，60，2（2004）：91-110.

[4] 王永明，王贵锦，姚一豫.图像局部不变性特征与描述[M].北京：国防工业出版社，2010.

[5] 姜柏军，钟明霞.改进的直方圖均衡化算法在图像增强中的应用[J].激光与红外，2014，44（06）：702-706.

[6] 章凌俊. 基于FPGA的拉普拉斯图像增强算法设计与实现[D].南京：东南大学，2017.

[通联编辑：梁书]