一种基于点特征与Freeman链码的红外与微光图像配准算法研究

赵德利，朱尤攀,2，李 燕，曾邦泽，潘 超，罗 琳，吴 诚



一种基于点特征与Freeman链码的红外与微光图像配准算法研究

赵德利1，朱尤攀1,2，李 燕1，曾邦泽1，潘 超1，罗 琳1，吴 诚1

（1.昆明物理研究所，云南 昆明 650223；2.微光夜视技术重点实验室，陕西 西安 710068）

由于红外与微光图像成像原理的不同，成像特征的巨大差异，研究提出了一种基于点特征与Freeman链码的红外与微光图像配准算法。目的是解决红外与微光图像配准中特征点提取较复杂、特征匹配难的问题；采用优化的Harris角点检测算法进行特征点提取，结合环形灰度区域、RSTC不变矩和Freeman链码对红外与微光图像进行特征点匹配。实验结果表明该算法能够提取出有效的匹配点，能够有效地解决红外与微光图像配准中遇到的视场不统一、旋转、平移问题。

红外/微光图像；Harris角点检测；RSTC不变矩；特征多边形；Freeman链码

0 引言

图像配准是图像处理领域的一项重要课题，在军用夜视仪、遥感图像处理、计算机视觉、运动估计、医学图像分析等领域有着广泛的应用，是图像融合技术中首先解决的问题。由于不同传感器、不同成像模式或不同时间得到的同一个对象的数据之间存在相对的平移、旋转、不同比例的缩放关系，对具有这些关系的图像进行综合分析和利用时，首先要解决图像间的配准问题[1]。

红外技术是一种利用红外探测器将不可见的红外辐射转换成可见图像，而不需要任何光源照明的被动成像技术；微光技术的成像主要是微光摄像机对景物进行成像，再通过传输设备在接收显示装置上获取景物图像。红外图像、微光图像的成像原理不一样，成像特征具有明显的差异，传统的基于灰度或者是联合灰度的配准方法将会很难完成红外与微光的图像配准[2-4]。

本文在传统的Harris角点检测算法基础上，提出了一种基于点特征与Freeman链码的红外与微光图像配准算法。该算法针对红外与微光图像的不同特征，前期分别对2幅红外图像、微光图像进行特征点提取、优化、并分别采用基于环形灰度区域和基于RSTC不变矩的方法对红外图像、微光图像进行特征点预匹配，保留红外图像与微光图像的预匹配点，根据预匹配点分别可以构建红外与微光图像的特征多边形；对每个特征点的特征多边形进行Freeman编码，根据Freeman链码的相似程度来决定红外与微光图像的匹配点对；最后根据得到的红外与微光图像匹配点对来决定缩放、平移、旋转参数。

1 算法分析与流程

1.1 Harris特征点提取

角点是指像素点在其领域内的、方向上灰度变化足够大的点，它包含了丰富的二维结构信息，常常被称作“兴趣点”。目前，Harris角点检测法是最常用的角点检测方法。Harris角点检测算法提出与图像的自相关函数相联系的矩阵，通过计算的特征值，即自相关函数的一阶曲率来判定该点为角点[5-8]。定义为：

式中：I代表图像在方向上的梯度；I表示图像在方向上的梯度；¢¢()代表高斯模板；〈〉代表高斯模板与函数的卷积，－＞代表进行对角化处理，即：

〈I2〉＝¢¢()ÄI2

〈II〉＝¢¢()ÄII

〈I2〉＝¢¢()ÄI2

其角点响应函数CRF为：

CRF＝det－×(trace)2

式中：det为矩阵的行列式；trace为矩阵的迹；为经验常数。CRF中每一点的元素值对应于原图像点的兴趣值，则CRF的局部极大值所在点就是角点，如图1所示。

1.2 特征点优化

针对Harris角点检测方法提取的特征点存在数量过多、不精确问题，本文提出了一种特征点优化算法，在一次角点的基础上，将CRF值进行降序排列并进行分段处理，提取每一段的中值，根据图像配准需求选取不同的分段处理并选取合适的特征点，对一次角点进行了3次分段处理，根据红外、微光图像的特征，主要选取了每一段中CRF值偏大的特征点。通过该算法能够在保留关键点的同时缩减特征点的个数，提高图像匹配过程的准确性[9]。

(a) 红外图像Harris特征点

(b) 微光图像Harris特征点

图1 特征点提取

Fig.1 Harris feature points

1.3 特征点预匹配

1.3.1 同源红外图像预匹配

本文采用准确性和稳定性较好的特征点区域环形灰度均值算法进行同源红外图像角点匹配。首先分别以优化角点为中心取大小不同4个圆环，分别计算参考图像和待配准图像每个特征点对应的4个圆环灰度值之和的均值，并设置单一阈值大小Ave0_subs，再分别计算4个圆环灰度均值，设置灰度均值阈值Ave1_subs，Ave2_subs，Ave3_subs，Ave4_subs；以参考图像的特征点为参考点，计算参考点与每个待配准特征点之间4个圆环灰度值之和的均值差，将不在阈值Ave0_subs之内的特征点剔除，在此基础上再分别计算保留的对应特征点4个环形灰度值均值之差，如果都在阈值Ave1_subs，Ave2_subs，Ave3_subs，Ave4_subs范围内，则可以得到匹配的特征点对[9-10]。

1.3.2 同源微光图像预匹配

文献[11]给出了RSTC不变矩的定义：

2＝2/12

3＝3/13

4＝4/13

5＝5/16

6＝6/14

7＝7/16

式中：

1＝20＋02；

2＝(20－02)2＋4112；

3＝(30－312)2＋(03－321)2；

4＝(30＋12)2＋(21＋03)2；

5＝(30＋312)(30＋12)[(30＋12)2－3(21＋03)2]＋(321＋03)(21＋03)[3(30＋12)2－(21＋03)2]；

6＝(20－02)[(30＋12)2－(21＋03)2]＋411(30＋12)(21＋03)；

7＝(321－03)(30＋12)[(30＋12)2－3(21＋03)2]＋(321－03)(21＋03)[3(30＋12)2－(21＋03)2]。

文献[11]已经证明了在离散情况下RSTC不变矩2～7同时具有了平移、旋转、尺度缩放及对比度变化不变，针对微光图像的特征，本文采用RSTC不变矩来对同源微光图像进行特征点匹配[12-15]，如图2，匹配过程为：

Step1：分别计算源图像和待配准图像的RSTC不变矩；

Step2：RSTC不变矩2～7求均值，得到Y_AVE；

Step3：分别计算源图像每个特征点与所有待配准图像特征点的Y_AVE差值；

Step4：将源图像每个特征点与所有待配准图像特征点求得的Y_AVE差值进行升序排列；

Step5：根据Y_AVE的最小值设定阈值YZ_1，YZ_1的值设置为0.00232。

1.4 红外与微光图像特征点匹配

1.4.1 特征多边形构建

多边形构建主要处理方式一般分为：设定误差阈值，获得满足此阈值的最小顶点的多边形，设定顶点个数上限，获得满足上限的最小多边形。多边形构建算法常用的主要有Douglas-Peucker（DP）算法和Rosenfeld-Johnson、The-Chin算法。本文对以上方法进行分析，主要采用的方法步骤有：分别经过红外图像、微光图像的预匹配之后，得到预匹配点，选取较为中心的点A，分别计算点A与其他点之间的相对距离，确定最小距离B点，最远距离C点，得到多边形的两条边；再分别以B点、C点为初始点，计算与其余点之间的最短距离，剔除重复点可依次确定多边形的各条边，如图3所示。

图2 微光图像角点匹配

图3 红外、微光图像特征多边形

1.4.2 Freeman链码

Freeman链码的定义描述[16]：任选一个像素点（通常对已细化的图像进行）作为参考点，与其相邻的像素分别在8个不同的位置上，给他们赋予方向0～7（如图4），称为0～7位链码方向值，一个线条可以用Freeman链码的码值串来表示称为该线条图形的链码，如图5，给出了一个9×9的点阵图，其中一条线段，S为起始点，E为终点，此线段可以表示为＝43322100000066。

321 4P0 567

1111111 11 1E 1 1 1S1 1 1

1.5 控制点配准

本文算法是对提取的预匹配特征点进行多边形逼近，用多边形来进行最终特征点的匹配。Freeman链码对于多边形分析具有强大的作用，对于多边形的顶点和边的描述很方便，可以减少计算量，对构建的多边形进行Freeman编码，由于提取出的预匹配点不完全相同，作者在判定的时候，如果Freeman链码的重复度大于50%则认定为该点对为匹配点对，根据匹配点对则可以计算出平移、旋转、缩放参数，图6为实现步骤。

本文中两次使用了特征多边形，第一次构建多边形是在预匹配点的基础上得到的，目的是提取最终我们希望的特征点对；第二次构建特征多边形其目的是计算旋转、缩放参数，在得到红外与微光图像匹配点对之后，分别构建出红外微光图像特征点多边形，计算对应各边在水平、垂直的比例均值和各边与水平方向、垂直方向的夹角，计算出两幅图像的缩放比例和旋转参数。

图6 配准过程

1.6 算法流程

本文算法重点引入基准红外图像和基准微光图像来进行预匹配特征点提取，将初匹配过程转化为同源图像的处理过程，此方法不但能够满足实验要求，而且还减少了算法的复杂度，有利于红外与微光图像的特征点对提取，算法流程如图7，重点解决的问题有：

1）同源图像特征点优化过程；

2）同源图像特征点匹配；

3）特征点多边形的构建；

4）引入Freeman链码作为匹配相似度的度量；

5）解决红外与微光图像配准中出现的平移、旋转、缩放问题。

2 实验仿真结果

算法仿真结果基于MATLAB R2010b平台，图8为本文算法的红外与微光图像配准结果。从图像明显特征可以看出，配准效果较好，图像信息如表1所示。

表1中平移、旋转、缩放参数是以红外图像作为基准图像得到的。

和参考文献[17]相比，本文算法能够提取出更加精确的特征点，减少算法的后期运算量，从表2中还能看出，算法的匹配准确率更高。

图7 算法流程

图8 配准结果

表1 图像信息

表2 匹配对比 Table 2 Matching comparison

3 结论

本文提出了一种基于点特征与Freeman链码的红外与微光图像配准算法，通过前期引入基准红外图像和微光图像进行预匹配，得到预匹配点，对预匹配点进行多边形逼近，分析两幅图像中的对应多边形，对多边形进行Freeman编码，得到最终的红外、微光图像匹配点对。这种算法具有特征点配准的稳定性与准确性，可以针对许多方法失效的复杂的红外与微光图像进行配准，比传统的角点特征配准算法具有更高的精确度和可操作性。本文算法解决了红外与微光图像配准中出现的旋转、平移、缩放（视场不统一）问题。

[1] Manjusha Deshmukh, Udhav Bhosle. A survey of image registration[J].:(), 2011, 5: 246-269.

[2] Zitova B, Flusser J. Image registration methods: a survey[J]., 2003, 21: 977-l000.

[3] Waxman A M. Solid-state color night vision: fusion of lowlight visible and thermal infrared Imagery[J]., 1999, 11: 41-60.

[4] 陈健, 高慧斌, 王伟国, 等. 超分辨率复原方法相关原理研究[J]. 中国光学, 2014, 7(6): 897-910.

[5] 赵辉. 基于点特征的图像配准算法研究[D]. 济南: 山东大学, 2003.

[6] 戴璐. 基于改进SIFT电子稳像[D]. 北京: 北京理工大学, 2013.

[7] 谢萍. 基于Harris角点与SIFT特征的近景影像匹配[D]. 长沙: 中南大学, 2011.

[8] 焦继超. 基于多特征联合的多源图像配准技术研究[D]. 北京: 北京理工大学, 2013.

[9] 赵德利, 朱尤攀, 吴诚, 等. 一种改进的联合点特征与灰度特征的红外图像配准算法研究[J]. 红外技术, 2014, 36(10): 820-826.

[10] 邵泽名, 朱剑英. RSTC不变矩图像特征点匹配新方法[J]. 华南理工大学学报, 2008, 36(8): 37-40.

[11] 王连亮，陈怀新. 图像识别的RSTC不变矩[J]. 数据采集与处理, 2006, 21(2): 225-229.

[12] 李鹏, 朱宏辉. 一种改进的不变矩方法在图像El标识别中的应用[J]. 交通与计算机, 2004, 22(2): 88-90.

[13] 杜亚娟, 潘泉, 张洪才. 一种新的不变矩特征在图像识别中的应用[J]. 系统工程与电子技术, 1999, 21( 10): 71-85.

[14] 丁明跃, 常金玲, 彭嘉雄. 不变矩算法研究[J]. 数据采集与处理, 1992, 7(1): 1-9.

[15] 钱忠良, 王文军. 不变矩目标特征描述误差分析和基于上层建筑不变矩的舰船识别[J]. 电子测量与仪器学报, 1994, 8(3): 23-31.

[16] 吴东东, 周东翔, 关涛, 等. 一种基于轮廓多边形逼近的可见光与红外图像配准方法[J]. 计算机应用与软件, 2012, 29(10): 28-31.

[17] 栾莹莹. 微光与红外图像配准技术研究[D].南京: 南京理工大学, 2010.

Investigation on Infrared and Low Light Level Image Registration Algorithm Based on Point Feature and Freeman Chain Code

ZHAO De-li1，ZHU You-pan1,2，LI Yan1，ZENG Bang-ze1，PAN Chao1，LUO Lin1，WU Cheng1

（1.，650223，；2.，710068，）

The paper puts forward a registration algorithm of infrared and LLL image based on the point feature and the Freeman chain code, as a result of different principle and features of infrared and low light level images. This algorithm has been designed to solve the problem of complex feature point extraction and difficult feature matching of infrared and low light level image registration. This algorithm extracts feature points by optimizing the Harris corner detection algorithm and matches feature points combining with the annular gray region, RSTC moment in variants and Freeman chain code. Experimental results show that such algorithm can extract the matching point effectively, meet the effective solution in the field that is not uniform, rotation, translation of infrared and low light level image registration problems.

infrared and low light level image，Harris corner detection，RSTC invariant moments，polygon of feature points，freeman chain code

TP391

A

1001-8891(2015)06-0467-05

2014-11-19；

2014-12-19.

赵德利（1989-），男，硕士研究生，研究方向为红外光电系统。

朱尤攀（1978-），男，硕士生导师，研究方向为红外光电系统。

国防预研项目。