基于改进SURF算子的高低分辨率图像配准方法

曾朝阳，程相正，陈 杭，宋一铄，窦晓杰，黄 超

（1.装备学院光电装备系，北京101416；2.装备学院研究生院，北京101416）

基于改进SURF算子的高低分辨率图像配准方法

曾朝阳1，程相正2，陈 杭2，宋一铄2，窦晓杰2，黄 超2

（1.装备学院光电装备系，北京101416；2.装备学院研究生院，北京101416）

针对激光三维成像传感器与可见光传感器图像分辨率差异较大，配准过程中特征点误匹配情况严重的问题，提出了一种基于改进SURF算子的高低分辨率图像配准方法。首先，采用双线性插值算法对低分辨率图像进行预处理，然后在经典SURF算子的基础上，采用最近邻向量匹配法完成SURF特征的粗匹配，并基于特征偏移一致性原则对匹配情况做进一步优化，最后结合RANSAC和最小二乘法求出图像之间的仿射关系，利用所求的变换参数插值得到配准后的图像。实验结果表明，该配准方法在保持配准速度的同时，结构相似性测量指数提高了约11%，进一步提高了配准的精度。

图像处理；高低分辨率配准；SURF；特征偏移一致性

1 引 言

三维重建、场景分析是机器视觉领域中一项关键性技术，在视觉导航、探测、识别等方面有着重要的应用。无扫描激光三维成像传感器可以实时地获取灰度图像的每个像素的距离值，对于三维重建、场景分析具有重要的意义。但是无扫描激光三维成像传感器分辨率很低，如PMD（Photonic Mixer Device）传感器的分辨率仅为204×204［1］和160×120［2］，APD（Avalanche Photo Diode）阵列激光三维成像传感器的分辨率为128×128。国外许多学者利用无扫描激光三维成像传感器提供的距离信息和高分辨率可见光传感器提供的灰度信息实现了场景三维重构［3－5］。由于涉及无扫描激光三维成像传感器和可见光传感器，需要完成低分辨率图像和高分辨率图像的配准，才能实现图像融合进而实现场景的三维重构。

图像配准是指依据一些相似性度量准则决定图像间的变换参数，使从不同传感器、不同视角、不同时间、不同光照条件下获取的同一场景的两幅或者多幅图像，变换到同一坐标系下，在像素层上得到最佳匹配的过程［6］。图像配准技术是计算机视觉领域中的一项基础性、关键性技术，在图像拼接、三维重构、位姿解算等方面有着广泛的应用。配准的精度和速度直接影响图像融合、拼接、三维重构的效果。基于图像特征的配准方法使用场景限定条件较少，在合理选取图像的不变特征集后，可以有效地应对图像的旋转、平移、尺度变化以及较大的图像内容变化［7］，成为研究的热点。文献［8］针对低分辨率图像特征点不明显，无法完成图像配准的问题，提出了一种多尺度高能量偏移点特征配准算法，实现了低分辨率图像之间的配准。但该算法计算量大，实时性不强。针对无扫描激光三维成像传感器分辨率比较低，特征点不明显，同时与可见光图像分辨率差异比较大，特征点误匹配严重的问题，提出了一种基于改进SURF算法的高低分辨率图像配准方法。首先利用双线性插值算法对低分辨率灰度图像进行插值，接下来基于SURF算子对高低分辨率图像分别进行特征检测，利用最近邻向量匹配法实现特征点的粗匹配，然后再根据特征偏移一致性原则和随机抽样一致性原则实现特征点的精确匹配，最后经仿射变换实现高低分辨率图像的配准。

2 算法原理

2.1 双线性插值算法

由于无扫描激光三维成像传感器所成强度图像与高分辨率可见光图像相差10倍左右，直接进行配准无法达到理想的效果，需要首先对低分辨率图像进行插值，使得低分辨率图像和高分辨率图像具有相同的尺寸。双线性插值法［9］，又称为双线性内插，其核心思想是在两个方向分别进行一次线性插值，实现分辨率和图像尺寸的增大。双线性插值和最近邻点插值法相比，可以产生一个能保持连续性和连通性的光滑映射，不会出现像素不连续的现象；与双立方插值算法相比，计算量小，速度快。因此，选择双线性插值算法来实现低分辨率图像的升采样。

2.2 SURF特征点检测

SURF算法的计算速度快，对图像的旋转、尺度伸缩、光照、视角等变化保持不变性，尤其对图像严重的模糊和旋转处理得非常好［10］，因此基于SURF算法来分别提取分辨率差异非常大的两幅图像的特征点。Hessian矩阵［11］具有良好的计算速度和精度，通过计算每一像素点的行列式从而得到极值。图像I（x，y）中的一像素点x′＝（x，y）在尺度σ上的Hessian矩阵定义为：

其中，Lxx（x，σ）是高斯滤波二阶导数与图像I的卷积，Lxy（x，σ），Lyy（x，σ）的含义类似［12］。由于积分图像可以加速卷积计算，高斯滤波器需要离散化，因此Bay等人［13］提出用方框滤波（Box Filter）近似代替二阶高斯滤波，用积分图像来加速卷积以提高计算速度［14］。9×9方框滤波模板如图1所示，图中灰色部分模板值为0，黑色部分值为－2，白色模板部分值为1。

图1 9×9方框滤波模板

不同方向不同尺寸方框滤波与图像的卷积分别记为Dxx，Dyy，Dxy，进一步求得近似Hessian矩阵的行列式：

式中，w是为了补偿在计算Hessian矩阵时采用近似的高斯二次偏导函数而不是实际的高斯卷积核而引入的一个参数，一般取为0.9［15］。

为了具有尺度不变性，需要建立尺度空间，在不同的尺度上寻找特征点。与经典的SIFT算法不同，SURF算法保持图像大小不变，改变方框滤波器尺寸大小，从而得到不同尺度的图像。SURF金字塔尺度空间如图2所示。在每一阶（Octave）中，选择四层尺度图像。若方框滤波器尺寸大小为N×N，则对应的尺度为

图2 SURF金字塔尺度空间示意图

用近似Hessian矩阵求出行列式后，需要在3× 3×3的立体空间进行非极大值抑制。只有比本尺度周围8个、上下尺度周围各9个共26个邻域值都大或者都小，才能作为候选特征点。由于无扫描激光三维成像传感器分辨率低，需要进行亚像素定位，以得到稳定的特征点的准确位置和尺度。利用H（x）函数在尺度空间的Taylor展开式进行插值，插值所使用的二次拟合函数为：

对上式求导并置0，得极值点为：

将极值点代入方程（3）得：

将H（x′）与给定阈值w作比较，小于阈值的点即为响应较弱的不稳定点，予以删除。一般w取为0.03。

2.3 主方向确定和描述符生成

为保证特征点具有旋转不变性，应确定特征点的主方向。首先计算在以特征点为中心，6σ（σ为像素点所在尺度，下同）为半径的圆形邻域内所有像素点在x，y方向的Haar小波（滤波器尺寸为4σ×4σ）响应d x，d y，表征为向量（d x，d y）；然后以特征点为中心对这些响应进行高斯加权，使得靠近特征点的响应贡献大，远离特征点的响应贡献小；最后采用一个的扇形区域窗口进行滑动，计算窗口内所有x，y方向的响应和（∑d x，∑d y），取模值最长的向量的方向作为特征点的主方向。Haar小波响应如图3所示。

图3 Haar小波响应

描述符生成如图4所示。首先，以特征点为中心，一边与特征点主方向平行，建立边长为20σ的正方形区域，同时将该区域平均划分为4×4共16个子区域。赋以高斯加权系数，统计每一个子区域的像素点在x，y方向（相对于主方向）的Haar小波（滤波器尺寸为2σ×2σ）响应之和以及绝对值之和：∑d x，∑dx，∑d y，∑dy。这样，在每一个子区域形成一个4维向量V＝(∑d x，∑dx，∑d y，∑dy)，对每一个特征点形成一个4×（4×4）维的描述符，同时将向量归一化，对光照更具有鲁棒性。

图4 描述符生成示意图

2.4 改进的特征点匹配与高低图像配准实现

由于无扫描激光三维成像传感器所成图像分辨率比较低，SURF特征点相对较少，而可见光成像传感器分辨率较高，SURF特征点相对较多。为了避免出现“外点”，这里以可见光图像为参考图像，以无扫描激光三维成像传感器的低分辨率图像为待配准图像。为了能够从低分辨率图像中尽量多的提取出特征点，SURF特征检测时阈值设置比较低，这就需要用相似性度量准则筛选出候选特征点，同时利用优化算法去除误匹配点。这里采用基于欧式距离的最近邻向量匹配法，对于低分辨率图像中的特征点，利用K－D树搜索法在参考图像中找到与低分辨率图像特征点欧式距离最近的前两个特征点。设最近距离为d1，次近距离为d2，阈值为w。如果≤w，则该对特征点为候选特征点，否则予以剔除。一般情况下，阈值在［0.4，0.8］区间内较为合理［16］。

SURF算法在图像特征提取与匹配时，仅考虑了特征点处的局部信息而忽略了图像的几何信息，对于实现分辨率差异比较大的图像配准，会存在着大量的特征点误匹配。而特征点匹配的精度直接影响图像间配准的准确性，因此有必要从粗匹配中进一步筛选出精匹配点。根据在参考图像与待配准图像中正确匹配特征点连线长度、方向大致相同的特点，这里以最近邻向量匹配法所形成的候选匹配点集为样本，利用特征点偏移一致性准则［17］剔除“离群”特征点对，进一步筛选出精匹配点。基本原理如下：

设（u1i，v1i），（u2i，v2i）为参考图像与待配准图像中的一对候选特征点，候选特征点对连接线矢量为（ui，vi），其中ui＝u1i－u2i，vi＝v1i－v2i。则得到连接矢量坐标均值为（u，v）：

对于连接线矢量（ui，vi），若满足max｛｜ui－u｜，｜viv｜｝≥ω，则该候选匹配点对为误匹配点对，予以剔除。其中ω为偏移阈值，根据实际情况选择不同的值。

得到参考图像与待配准图像之间的特征点对以后，需要估算出两幅图像之间的仿射系数，进而对待配准图像利用插值算法进行重采样，实现图像之间的配准。设(u1，v1，1)，(u2，v2，1)为特征点对的齐次坐标，根据仿射矩阵M可得：

理论上讲，得到3对匹配点对即可计算出仿射矩阵M。

由于图像高低分辨率差异比较大，虽然特征点经过上述的粗匹配、精匹配，但仍然难免存在误匹配，影响配准精度，因此还需要采用基于经典随机抽样一致性（RANSAC）算法进行特征点对的进一步筛选。首先，从候选特征点对中随机抽取3个特征点对建立方程组，求解出M的6个参数。计算特征点经过M转换后与候选特征点的距离。若距离小于设定阈值，则为内点，否则为外点，予以剔除，同时统计内点个数。接下来再次取3个特征点对，重复上述步骤，经过若干次以后，选取包含内点最多的一个点对集。最后，利用最小二乘法对该点对集求解仿射矩阵M，基于双线性插值实现图像间的配准。

3 实验仿真及结果分析

3.1 实验仿真

实验中，仿真平台硬件环境系统为：Intel（R）Core（TM）2 Duo CPU E7500，主频为2.93GHz，内存为2G；软件开发环境为：Windows 7操作系统，Matlab（R2010a）。实验所用待配准图像为40×41像素的无扫描激光三维强度图像，如图5（a）所示，待配准图像经双线性插值算法得到341×341的图像如图5（b）所示，参考图像为341×341像素的可见光图像，如图5（c）。

图5 实验图像

实验仿真步骤为：

1）将低分辨率的待配准图像经过双线性插值算法升采样得到与参考图像尺寸相同的图像。

2）利用2.2节和2.3节中所述方法进行特征点检测、确定主方向以及生成描述符，结果如图6所示。可以看出，SURF算子对于低分辨率图像，检测出的特征点比较多（85个），检测效果比较理想，为特征点的匹配打下了良好的基础。

图6 SURF特征检测

3）基于欧式距离的最近邻向量匹配法，运用K－D树搜索算法得到候选的特征点粗匹配对（62对），如图7所示。

图7 最近邻向量法特征点粗匹配

接下来利用特征偏移一致性原则进行候选特征点对的筛选，剔除“离群”的特征点对，实现特征点对的进一步优化，特征点对（32对）匹配情况如图8所示。

图8 基于特征偏移一致性原则的特征点对优化

4）利用经典的随机抽样一致性原则，实现特征点对的精确匹配。采用最小二乘法计算仿射矩阵，基于双线性插值算法得到最终的配准图像，如图9所示。

图9 配准图像

3.2 仿真实验结果分析

为了验证配准效果，我们引入了图像间SSIM、匹配点对RMSE、配准时间三个指标，来评价所提算法的配准精度和配准速度。SSIM［18］（Structural Similarity Index Measurement）是指结构相似性测量指数，衡量两幅图像相似性的指标，其值越大越好，最大为1。人类视觉很容易从图像中抽取出结构信息，结构相似性测量指数从图像组成的角度来定义结构信息，用协方差作为两幅图像结构相似程度的测量。实验中，我们计算了配准图像与融合后图像之间的SSIM。匹配点对RMSE［19］是指匹配点对均方根误差（Root Mean Square Error），定量评价图像的配准精度。公式如下：

式中，（pi，qi）是一对匹配点；N是匹配点对数量；M是仿射矩阵；f（·）是仿射函数。实验中，我们计算了最终确定仿射矩阵所用的匹配点对之间的RMSE。

基于改进的配准算法，对配准图像与参考图像进行了融合。为了对比配准效果，基于经典的SURF算法，进行了一组相同的实验。两种配准算法的融合效果如图10所示，评价指标数据如表1所示。

图10 两种不同算法的融合效果图

表1 评价指标比较

定性、定量的比较两种配准算法，从图11可以直观的看出，基于经典SURF算法的融合图像有明显的模糊现象，而基于改进SURF算法的融合图像比较清晰，显然配准更加准确。从表1可以看出，改进算法所需配准时间略微增加（需要利用特征偏移一致性原则进一步剔除误匹配点），但匹配点对均方根误差RMSE从6.830降为2.295，配准图像与融合图像的结构相似度测量指数从0.8887提高到0.9970，提高了约11%。

4 结束语

针对不同成像传感器图像分辨率差异较大，配准过程中特征点误匹配情况严重的情况，提出了一种基于改进的SURF算子的高低分辨率图像配准方法。该方法在经典SURF算子的基础上，采用特征偏移一致性原则对匹配点对进一步优化，有效提高了图像的配准精度。通过实验仿真，证明了该算法的有效性，为后续的无扫描激光三维图像与可见光图像的融合提供了技术支持。

［1］ Zhang Xudong，Shen Yuliang，Hu Liangmei，et al.Improved super-resolution reconstruction algorithm for PMD range image［J］.Journal of Image and Graphic，2012，17（4）：480－486.（in Chinese）张旭东，沈玉亮，胡良梅，等.改进的PMD距离图像超分辨率重建算法［J］.中国图象图形学报，2012，17（4）：480－486.

［2］ K D Kuhnert，M Stommel.Fusion of stereo-camera and pmd-camera data for real-time suited precise 3d environment reconstruction［C］／／Proceedings of the International Conference on Intelligent Robots and System，2006：4780－4785.

［3］ Uwe H，Marc A.Combing time-of-flight depth and stereoimages without accurate extrinsic calibration［J］.International Journal of Intelligent Systems Technologies and Applications，2008，5（3－4）：325－333.

［4］ Prasad T A，Hartmann K，Weihs W，et al.First steps in enhancing 3D vision technoque using 2D／3D sensors［C］／／Proceedings of the 11th Computer Vision Winter Vision.Prague：Citeseert，2006：82－86.

［5］ Huhle B，Fleck S，Schilling A.Integrating 3D time-offlight camera data and high resolution images for 3DTV applications［C］／／Proceedings of IEEE 3DTV-Conference.Kos Island：IEEE Press，2007：1－4.

［6］ Liu Xue，Yao Hongli，Jin shilong.Colored image registration technique based on extended SURF［J］.Application Research of Computers，2011，28，（3）：1191－1194.（in Chinese）刘学，姚洪利，金世龙.基于扩展的SURF描述符的彩色图像配准技术［J］.计算机应用研究，2011，28，（3）：1191－1194.

［7］ Li Xiaochang，Zhu dan.Image registration method based on region selection and scale-invariant feature［J］.Infrared and Laser Engineering，2012，41（2）：537－542.（in Chinese）李小昌，朱丹.采用尺度不变特征和区域选择的图像配准方法［J］.红外与激光工程，2012，41（2）：537－542.

［8］ Zhou yuchuan，Liu benyong.Registration of low resolution images using high energy offset point feature［J］.Journal of Guizhou University：Natural Science，2012，29（6）：91－94.（in Chinese）周钰川，刘本永.基于高能量偏移点特征的低分辨率图像配准算法［J］.贵州大学学报：自然科学版，2012，29（6）：91－94.

［9］ Cheng xiangzheng，Zeng Zhaoyang，Chen hang，et al.Calibration method of low-resolution sensor based on bilinear interpolation strategy［J］.Laser＆Optoelectronics Process，2013，50（7）：071501－1－071501－7.（in Chinese）程相正，曾朝阳，陈杭，等.基于双线性插值算法的低分辨率传感器标定方法［J］.激光与光电子学进展，2013，50（7）：071501－1－071501－7.

［10］Yuan Jinsha，Zhao Zhenbing，Gao qiang，et al.Review and prospect on infrared／visible image registration［J］.Laser＆Infrared，2009，39（7）：693－670.（in Chinese）苑津莎，赵振兵，高强，等.红外与可见光图像配准研究现状与展望［J］.激光与红外，2009，39（7）：693－670.

［11］Viola P，Jones M.Rapid object detection using a boosted cascade of simple feature［C］／／CVPR（1），2001： 511－518.

［12］Qiao yongjun，Xie xiaofang，Li dongde，et al.Research on the speed-up method of SURF feature matching by blocking［J］.Laser＆Infrared，2011，41（6）：691－696.（in Chinese）乔勇军，谢晓方，李德栋，等.SURF特征匹配中的分块加速方法研究［J］.激光与红外，2011，41（6）：691－696.

［13］Bay H，Tuvtellars T，GOOL L Van.SURF：speeded up robust features［C］／／Proceedings of the European Confe rence on Computer Vision，2006：404－417.

［14］Zhang ruijuan，Zhang jianqi，Yang cui.Image registration approach based on SURF［J］.Infrared and Laser Engineering，2009，38（1）：160－165.（in Chinese）张瑞娟，张建奇，杨翠.基于SURF的图像配准方法研究［J］.红外与激光工程，2009，38（1）：160－165.

［15］Fan Youchen，Li yingchun，Du lin.Mini-displacement measurement based on SURF algorithm［J］.Laser＆Infrared，2012，42（6）：699－704.（in Chinese）范有臣，李迎春，都琳.基于SURF算法的微小位移测量［J］.激光与红外，2012，42（6）：699－704.

［16］Zhang jiao，Li juanshan，Zhu yinghong，et al.Matching method of IR／Visual images based on SIFT and shape context［J］.Laser＆Infrared，2012，42（11）：1296－1300.（in Chinese）张姣，李俊山，朱英宏，等.SIFT与形状上下文结合的异源图像匹配算法［J］.激光与红外，2012，42（11）：1296－1300.

［17］Wu hanshu，Yu xuchu，Zhang penhqiang，et al.Research on the infrared image sequence fast registration based on improved SURF algorithm［J］.Laser＆Infrared，2012，35（1）：161－163.（in Chinese）吴翰书，余旭初，张鹏强，等.基于SUR F改进算法的红外序列影像快速［J］.测绘与空间地理信息，2012，35（1）：161－163.

［18］Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment：From error visibility to strural similarity［J］. Transaction on Image Processing，2004，13（4）：600－612.

［19］Ding nannan，Liu yanying，Zhang ye，et al.Fast image registration based on SURF-DAISY algorithm and randomized kd trees［J］.Journal of Optoelectronics·Laser，2012，23（7）：1395－1403.（in Chinese）丁南南，刘艳滢，张叶，等.基于SURF-DAISY算法和随机kd树的快速图像配准［J］.光电子·激光，2012，23（7）：1395－1403.

Registration method of high-low resolution images based on improved SURF

ZENG Zhao-yang1，CHENG Xiang-zheng2，CHEN Hang2，SONG Yi-shuo2，DOU Xiao-jie2，HUANG Chao2
（1.Department of Optical and Electrical Equipment，the Academy of Equipment，Beijing 101416，China；2.Company of Postgraduate Management，the Academy of Equipment，Beijing 101416，China）

Due to the large resolution difference between the three-dimensional laser imaging sensor and visible imaging sensor，mismatching feature points are numerous.In order to solve this problem，a registrationmethod of high-low resolution images based on improved SURF is proposed.Firstly，low-resolution image is processed through bilinear interpolation.Subsequently，SURF feature′s coarsematching is completed by using the nearest neighbor vector based on the classical SURF.Thematching is further optimized according to feature shift coherence rule.Finally，affine relationship between the images is obtained by using SANSAC and least squaremethod.The registration image is obtained by interpolation based on affine transform parameters.The experiment shows that the proposed registration method can keep the registration speed，structural similaritymeasure index is increased by about11%，andmeanwhile the accuracy of registration is further improved.

image process；high-low resolution images registration；SURF；feature shift coherence

TP391.41

A

10.3969／j.issn.1001-5078.2014.02.0

1001-5078（2014）02-0207-06

国家高技术研究发展计划资助项目。

曾朝阳（1971－），男，副教授，主要从事光学测量，激光雷达及光电检测等方面的研究。E-mail：cyzeng＠139.com

2013-06-21

文章编号：1001-5078（2014）02-0213-04