一种结合边缘区域和互相关的图像配准方法

陈亮，周孟哲，陈禾

(北京理工大学 信息与电子学院，北京 100081)



一种结合边缘区域和互相关的图像配准方法

陈亮，周孟哲，陈禾

(北京理工大学 信息与电子学院，北京 100081)

针对灰度差异较大的红外图像和可见光图像，提出了一种基于互相关系数和Canny边缘区域相结合的配准算法，以改进的互相关系数作为相似性度量函数，只提取图像的边缘及其附近的区域，剔除其他互相关性低的部分，采用粒子群优化算法搜索使得度量函数达到最值时的空间变换参数的值.实验结果表明，克服了红外和可见光图像相关性较差的缺点，能够避免由灰度差异带来的多源图像配准不精确的情况，可以实现红外和可见光的配准，并且能够保证误差在较小的范围之内.

互相关系数；边缘区域；边缘提取；度量函数；图像配准

红外和可见光传感器作为两种最常见的图像源被广泛应用在目标识别跟踪、计算机视觉、军事应用等领域，故红外和可见光的配准具有重要意义.配准的方法分为两类：① 基于特征[1]的配准，提取图像的显著特征点，如边缘点、闭合区域的中心等作为参考信息来进行配准；② 基于区域[2]的配准，根据图像间的灰度或变换域信息进行配准.这种方法对于灰度信息有较强的依赖性，常用于医学图像配准中，对于灰度差异较大的红外和可见光图像，容易产生较大的配准误差.

互相关法是一种常见的基于灰度的图像配准方法[3-4]，但受不同模态图像成像的影响较大，故互相关的方法主要用于单模态图像的配准[5].对于同一目标，不同传感器得到的图像虽然差异可能较大，但边缘特征的相似性极高，故可用两幅图像的边缘特征作为配准时的相似性度量[6]，常用的边缘提取算子有梯度算子、Sobel算子和Laplace算子等[7].

针对灰度差异较大的红外和可见光图像，传统的互相关方法不能达到精确匹配的效果，而本文提出的互相关系数和边缘区域相结合的配准算法能有效提高配准的鲁棒性和准确性.

1 归一化互相关系数

互相关的方法是一种常用的匹配算法，基于灰度的互相关法的匹配常用的相似性度量函数是互相关系数，两幅图像的互相关系数如式(1)所示[8]为

(1)

两幅图像没有配准时，互相关系数较小，当两幅图像完全配准时，互相关系数达到最大值.如图1(a)，1(b)，将可见光图像放在红外图像上与之重叠，并沿水平或竖直方向移动，对每次移位，在两幅图像的重叠区域都可以计算出一个互相关系数，如图1(c)所示.

由图1(c)可知，得到的系数矩阵有些局部最值，这些局部最值不仅影响配准结果，而且从Matlab仿真的角度来说，相关系数公式中涉及到开方运算，比较浪费时间，所以本文提出一种改进的相似性度量函数如式(2).

(2)

与式(1)相比，新的度量函数是互相关系数的平方，平方的运算比开方的运算快很多，仍然将可见光图像在红外图像的任何可能位置滑动，得到新的相似性度量矩阵，如图1(d)，可以看出，新的度量函数没有过多的局部最值，峰值也更加明显.

2 边缘区域的提取

红外和可见光图像之间的灰度值关系是复杂和未知的，一副图像中的某些特征可能不会出现在另一幅图像中，一副图像中的某个单一灰度值可能对应着另一副图像中多个灰度值，即两幅图像通常不是全局相关的[9].一对图像中，单一灰度值对应多个灰度值的区域是低相关性的，要尽可能剔除这种区域.由于这种区域很难找到，可以改成剔除每幅图像中灰度变化较小的区域，与之对应的另一幅图像中可能存在的多灰度值区域也就剔除了.但是这就存在一个问题：两幅图像中同为灰度变换比较小的区域(高相关性区域)也会被剔除，但由于这样的区域很难改变两幅图像的统计相关特性，故不会对配准产生很大的影响.

综上，本文对参考图像和待配准图像做如下处理：先使用Canny算子[10]提取图像的边缘，然后找出距图像边缘像素点距离d>D(D为预设定值)的所有点，认为是灰度变化较小的点，剔除掉，剩下的点组成边缘区域掩膜图像，用这幅图像便可得到原图像的边缘区域图像[11].原理如图2所示.其中D与图像场景和两幅区域图像重叠区域大小有关.

3 粒子群搜索算法

图像配准中，常用的优化算法有Powell算法、粒子群算法、遗传算法等.其中粒子群算法在收敛速度、搜索精度方面具有一定的优势，实验中利用粒子群算法作为优化算法.其主要思想是将空间变换参数看做“粒子”，每个粒子有自己的位置和速度还有根据粒子得到的适应度(相似性度量函数的值)，所有粒子在解空间中进行搜索，在搜索过程中通过迭代找到最优解.具体的搜索过程如图3所示.

粒子的位置和速度根据式(3)和式(4)进行初始化和更新：

present[ ])+c2×rand( )×(gbest[ ]-

(3)

(4)

式中：present[ ]为当前粒子的位置；pbest[ ]和gbest[ ]为粒子的历史最优粒子和粒子群的全局最优粒子；v[ ]为粒子的速度；w为惯性权重；rand( )为介于(0，1)之间的随机数；c1，c2为学习因子，通常c1=c2=2，粒子个数在20～40之间.

4 D取值分析和配准结果比较

为了对基于边缘区域的互相关方法进行性能分析，实验中选取了两组图像进行仿真.由图4可见，可见光图像4(a)和红外图像4(d)分别作为参考图像，其对应的红外/可见光图像的平移图像4(b)、4(e)和旋转图像4(c)、4(f)分别作为待配准图像.其中，第一组图像，像素数为512×512，灰度级别256，平移图像水平方向移动20个像素点、竖直方向移动10个像素点，旋转图像整体顺时针旋转5°；第二组图像，像素数为640×480，灰度级别256，平移图像水平方向移动5个像素点、竖直方向移动3个像素点，旋转图像整体顺时针旋转5°.第一组图像背景简单，轮廓明显；第二组图像场景较为复杂，有一些场景信息没有在红外图像和可将光图像中同时表现出来.实验平台是Matlab 2013a，Inter Pentiunm 3.2 GHz CPU，2 GHz内存.

以第一组图像为例，提取边缘区域图像过程如图5所示.

以第一组的平移图像为例，一次配准过程中相似性度量函数随迭代次数增加而变化的趋势如图6所示.

图6中横坐标代表迭代次数，纵坐标代表相似性度量函数.由图可知，图像配准的过程就是不断寻找度量函数的最大值，直至搜到的最值不再变化的过程.

边缘距离D的大小与两幅图像的互相关性有很大关系，决定着匹配精度的高低：D过小，图像信息丢失过多匹配精度会下降，D过大，会包含很多互相关性弱的区域影响配准，造成误匹配.因此，在实验时，对平移和旋转两幅图像的配准，分别设定了D的大小为2，7，12，16，20，25，30，分析D为何值时配准效果最好.

4.1 D取值分析

实验中，图像配准的结果应包含水平位移像素点X,竖直位移像素点Y,旋转角度αS3个参数.在完全正确匹配的情况下，对于第一组图像，平移图像的理想配准结果应为x=20，y=10，αL=0°，旋转图像的理想配准结果应为x=0，y=0，αS=5；对于第二组图像，平移图像的理想配准结果应为x=5，y=3，αL=0°，旋转图像的理想配准结果应为x=0，y=0，αS=5.但在实际配准中，不能完全达到理想配准结果，会产生配准误差，分别对平移和旋转图像进行配准30次，取其实验结果的平均值，分别得到两幅图像在3个参数方向上的结果如表1～表4.

表1 不同D值时平移图像b的配准结果

表2 不同D值时旋转图像c的配准结果

表3 不同D值时平移图像e的配准结果

表4 不同D值时旋转图像f的配准结果

从表中可以看出，两幅图像在不同D值的情况下配准结果的准确性不同：第一组图像，平移图像，水平和竖直方向均在D=16附近达到最优值，误差均在1.5个像素点内，旋转角度在任意D值均能达到较小误差.旋转图像，水平和竖直方向在D=2到D=16之间均能保持误差在1.0个像素左右，旋转角度在D=16附近达到最优值，误差在0.5°以内；第二组图像，平移图像，水平和竖直方向在D=25时最接近理想值，误差均在0.5个像素点以内，旋转角度也在此时达到最优.旋转图像，水平、竖直方向除D=25、30时误差较大外，其他时刻误差均较小.

评价图像配准精度使用目标配准误差(target registration error，TRE)，TRE是实际实验结果和理想实验结果对于同一个点的均方根值[12-14]，可用式(5)表示为

(5)

式中：X，Y，αS为实际配准结果；x，y，αL为理想配准结果.

分别计算两组图像在不同D值时的σTRE的值，如图7和图8.

对于第一组图像，整体上看b、c图像的σTRE值都表现了先减小后增加的趋势，在D=16时达到最小，旋转图像的σTRE值要略小于平移图像，且σTRE在2以内.当D逐渐增大，σTRE也逐渐增大，当D=25时，图像配准都产生了很大的误差.对于第二组图像，整体σTRE值比第一组图像小.旋转图像大体呈逐渐增加的趋势，在D=2时σTRE最小；平移图像呈先减小后增加的趋势，在D=20、25时达到最小值，D=30时误差显著增大.

若当σTRE<3时则认为图像成功配准，不同D值时两组图像分别经过30次配准，计算成功率如图9所示.

图9表明，旋转图像配准的成功率略高于平移图像.当D在7～16之间时，平移图像和旋转图像的成功率较高，约90%到100%，D继续增大，成功率迅速下降，当D=30时，成功率接近于0.图10表明，平移图像在D=25时达到峰值，然后显著下降，旋转图像的配准成功率在D=2时达到最大，然后逐步降低.平移和旋转图像的配准成功率均能大90%以上.

4.2 与传统互相关方法比较

综上所述，对于第一组图像，D=16时，从配准的误差和配准成功的概率而言，平移图像和旋转图像的配准均能达到最优值.将传统的基于互相关的平移图像和旋转图像的配准分别运行30次，将其配准的σTRE和成功率与D=16时的结果比较，比较结果如表5.

表5 两种匹配方法的比较

对于第二组图像，选取D=2时的旋转图像和D=25时的平移图像与传统的互相关的图像配准相比较，结果如表6.

表6 两种匹配方法的比较

结果表明，简单的使用传统方法几乎不能实现红外和可见光图像的配准，而提出的方法大大提高了配准的准确性和成功率，配准误差σTRE在3以内，成功配准概率在90%以上.

5 结 论

在传统互相关准方法的基础之上，提出了一种结合边缘区域的互相关方法，从配准误差和成功配准概率两个方面，通过实验分析，验证了新配准方法的准确性.实验结果表明，对于不同图像，D的取值不同，但均能保证图像正确配准.这是因为提取的边缘区域既能保留较完全的图像信息又避免包含很多图像间互相关性低的部分.将这种方法与传统互相关方法比较，新的方法很大地改善了传统方法对多源图像较难配准的问题，使配准的准确性和成功率大大提高，是一种有效的多源图像配准方法.

[1] Liang Jiayong，Liu Xiaoping，Huang Kangning，et al.Automatic registration of multi sensor images using and integrated spatial and mutual information (SMI) metric[J].IEEE Transaction on Geoscience and Remote Sensing，2014，52(1):604-615.

[2] Cao W P，Che R S，Ye D.An illumination independent edge detection and fuzzy enhancement algorithm based on wavelet transform for non-uniform weak illumination images[J].Pattern Recognition Letters，2008，29(3):192-199.

[3] Sarvaiya J N，Patnaik S，Bombaywala S.Image registration by template matching using normalized cross-correlation[J].2009 International Conference on Advances in Computing，Control and Telecommnication Technologies，2009,28:819-822.

[4] Wang Yufan，Yu Qiuze，Yu Wenxian.An improved normalized cross correlation algorithm for SAR image registration[C]∥Proceedings of 2012 IEEE International Conference on Geoscience and Remotes Sensing Symposium(IGARSS).[S.l.]: IEEE, 2012:2086-2089.

[5] 曹蹊渺.基于互信息的图像配准算法研究[D].北京：北京交通大学，2008.

Cao Qimiao.Image registration based on mutual information[D].Beijing: Beijing Jiaotong University，2008.(in Chinese)

[6] 张丽琴.红外和可见光图像配准算法研究[D].南京：南京理工大学，2012.

Zhang Liqin.Infrared and visible image registration algorithm[D].Nanjing: Nanjing University of Science and Technology，2012.(in Chinese)

[7] 孙淑一，吴勇，吴建民.一种基于边缘特征的图像配准方法[J].计算机工程与应用，2008，44(7):94-96.

Sun Shuyi，Wu Yong，Wu Jianmin.Image registration based on edge feature[J].Computer Engineering and Applications, 2008，44(7):94-96.(in Chinese)

[8] 汪勇.基于互信息和角点特征的多光谱图像配准技术研究[D].武汉：华中科技大学，2005.

Wang Yong.Multispectral image registration based on mutual information and corner points[D].Wuhan: Huazhong University of Science and Technology，2005.(in Chinese)

[9] Irani M, Anandan P.Robust multi-sensor image alignment[C]∥Proceedings of IEEE International Conference on Computer Vision.[S.l.]: IEEE, 1998:959-966.

[10] Canny J.A computational approach to edge detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1986，8(6)：679-698.

[11] Kim K S，Lee J H, Ra J B.Robust multi-sensor image registration by enhancing statistical correlation[C]∥2005 8th International Conference on Information Fusion.[S.l.]: IEEE, 2005:380-386.

[12] Lee J G，Kim Y S，Lee D，et al.Robust CCD and IR image registration using gradient-based statistical information[J].IEEE Signal Processing Letters，2010，17(4)：347-350.

[13] Kim Y S，Lee J H，Ra J B.Multi-sensor image registration based on intensity and edge orientation information[J].Pattern Recognition，2008，41(11):3356-3365.

[14] Lee J H.Robust multi-sensor image registration by using gradient-based statistical information[D].Yuseong, Korea: Korea Advanced Institute of Science and Technology，2011.

(责任编辑：刘芳)

A Method for Image Registration Combined by Edge Region and Cross Correlation

CHEN Liang，ZHOU Meng-zhe，CHEN He

(School of Information and Electronics，Beijing Institute of Technology，Beijing 100081，China)

A new algorithm aimed at infrared and visible image registration based on cross-correlation coefficient and Canny edge region was presented：regarded the improved Cross-correlation coefficient as the similarity function，extracted the edge region and its nearby area, removed other regions with low correlation，used the particle swarm optimization(PSO) to seek.It shows that this algorithm can overcome the shortcomings which infrared and visible images are poor correlated and avoid the bad matching between multi-sensor images．Multi-sensor image registration could be achieved and small error is guaranteed．

cross-correlation coefficient； edge region； edge extraction； similarity function； image registration

2013-11-25

陈亮(1981—)，男，博士，副研究员，E-mail:chenl@bit.edu.cn.

周孟哲(1989—)，女，硕士，E-mail:zhoumengzhe.ok@163.com.

TP 391

A

1001-0645(2016)03-0320-06

10.15918/j.tbit1001-0645.2016.03.018