红外与X光图像融合方法研究

陈树越，刘金星，丁 艺，董 伟

(常州大学信息科学与工程学院，江苏 常州213164)

1 引言

红外热成像检测技术由于具有无损伤、非接触式、可靠性好的优点，因而被广泛应用于工业中的缺陷检测、故障诊断等领域［1］。红外与可见光图像的融合，可以得到构件表面的热辐射图，同时还含有丰富的背景信息。常见的红外与可见光图像融合的方法有小波融合、金字塔融合、像素平均加权融合等方法［2－4］。X光具有很高的穿透本领，能透过许多对可见光不透明的物体。工业上用于探伤，X光可以激发荧光，使感光乳胶感光，故X光可作用于电离计、闪烁计数器和感光乳胶片等来进行构件的缺陷检测［5］。

红外图像与X光图像进行融合，不仅能获得构件表面的温度场分布，还可以透过构件内部获得不可视零部件的结构，进而判断和追踪热辐射来源，使得图像的信息更加丰富。本文在分析红外与可见光融合的基础上，提出了红外图像与X光图像的融合方案。采用交互式选择配准点的方法对他们进行图像配准，然后用灰度加权平均法对图像进行融合。通过实验，我们得出了融合后的图像，从图像中可以获得构件内部的分布及温度场分布，并对融合后的图像进行了质量评价。

2 图像配准与融合

2．1 图像配准

图像配准是将两幅或者多幅从不同视角、在不同条件或时间下获得的关于同一场景的图像进行最佳匹配的过程，从而去掉待配准图和标准图在几何上的差异，如旋转，平移和变形，使得相同目标在不同的图像上具有相同的坐标［6］。

可以将图像配准定义为:

式中，P1、P2分别为待配准图像和参考图像，两幅图像在点(x，y)处的灰度值分别表示为P1(x，y)，P2(x，y);L和F分别表示一维灰度变换函数和二维灰度变换函数，F可以用一些常见的空间变换模型表示，如仿射变换、投影变换等［7］，本文采用了仿射变换。

图像特征的配准方法根据在特征点提取的过程中是否需要人为介入，可以将基于特征点的配准方法分为自动配准和交互式配准。自动配准方法是使用各种角点算法提取出待测图像特征点，然后通过某种算法除去不一致的特征点，获得可靠的特征点对。交互式配准方法分别在参考图像和待配准图像上选取特征点对，这个过程是由人主观选取的。对红外图像和X光图像的融合，由于它们在灰度和特征信息上还存在着较大的差别，很难通过自动配准的方法精确地选取到一致的特征点。所以，本文采用交互式配准的方法。

2．2 图像融合

灰度加权平均法图像融合算法对原图像的像素值直接取相同的权值，然后进行加权平均得到融合图像的像素值，得到一幅新的融合图像。加权平均法不需要对图像进行任何变换，也不需要考虑像素之间的关系。假定融合的源图像分别为f1和f2，图像大小为M×N，融合图像为f，则融合过程可以表示为［8］:

式中，m表示图像中像素的行号，m=1，2，3，…，M;n表示图像中像素的列号，n=1，2，3，…，N;w1，w2为加权系数，一般情况下，w1+w2=1。

3 质量评价

对同样的两幅图像，不同的融合方法可以得到不同的融合图像，并且不同的融合方法有不同的优点。因此，对融合图像进行质量评价，有助于我们选择适当的图像融合算法和改进现有的融合算法。

客观评价主要有:熵、平均梯度、标准差、均方根误差、信噪比、峰值信噪比、联合熵、偏差与相对偏差、交互信息量。由于在实际应用中很难得到融合图像的标准图像，因此，对于红外与X光图像融合效果，可以采用图像的熵、平均梯度、标准差等来评价图像融合前后的变化和融合图像质量。

设f和g为M×N的源图像，r为融合图像。L为图像灰度级数，h(i)为图像的归一化直方图，hf，g(i)为f和g的归一化联合直方图。所采用的评价融合图像的几种方法如下:

(1)熵:反映图像携带平均信息量的多少，熵越大，图像携带的信息量越丰富［9－10］。

(2)标准差:图像中像素的灰度与整幅图像平均灰度相比的离散情况，标准差越大，图像的灰度分布越分散，说明图像的对比度就越大［11］。

(3)平均梯度指图像的边界或影线两侧附近灰度有明显差异，即灰度变化率大，这种变化率的大小可用来表示图像清晰度。它反映了图像微小细节反差变化的速率，即图像多维方向上密度变化的速率，表征图像的相对清晰程度［12］。

其中，f(m，n)表示图像中点(m，n)的灰度大小。图像的平均梯度越大，说明图像越清晰。

4 实验结果及分析

电路在工作中，其中的元器件会产生热量，实验以电路板为研究对象，对其进行了X光与红外图像融合，并对实验结果进行了分析。首先，采用红外热像仪和数字X光成像机获取红外与X光图像，如图1所示。

图1 红外与X光图像

由于在一幅图像中，图像的灰度变化大多存在于低频部分，而图像的边缘和线条等细节通常存在于高频部分。因此，为了使图像的轮廓变得更突出，线条变得更清晰，先对X光图像进行高通滤波处理，处理后的图像如图2所示。然后，再以图2为基准图像，对红外图像进行配准，用交互式选择配准点的方法得到配准的红外图像，如图3所示。

采用灰度平均融合法对图2与图3图像进行融合，得到融合后的图像，如图4所示。通过融合实验结果可以清晰地观察到电路板所反映的温度信息和内部结构细节。

图2 高通滤波的X光图像

图3 配准后的红外图像图

图4 融合图像

由于不存在标准的融合图像，因此，采用熵、标准差和联合熵来客观评价获得的融合图像。由于本实验中主要是获得构件内部温度场分布和细节，尤其是芯片的温度场分布，因此，选取芯片附近互相对应的的区域进行融合质量评价，如图5所示，评价结果如表1所示。

图5 相对应的区域图像

由表1可知，融合图像熵值比红外图像大，比X光小，这是因为图像的信息熵表示图像中灰度分布的聚集特征所包含的信息量，即灰度的起伏量。表明X图像最为清晰，而融合后的图像次之。融合图像的标准差和平均梯度都介于红外图像和X光图像之间，表明它在继承了两幅图像的信息基础上进行了折中，既包含构件的温度场分布，同时也反映了构件内部清晰的结构。实验表明融合后的图像尽管没有X光图像清晰，但它能表达温度场信息，而比红外图像对构件的细节描述上更加清晰。

表1 评价结果

5 结论

提出了X光和红外图像的融合，结合了相关的质量评价参数来评价图像。通过实验，得到了红外与X光图像的融合图，可以直观地获得构件表面和内部结构的温度场的分布，为了验证实验的融合效果，还进行了融合图像的质量评价，从主观上来看，融合图像在温度和构建内部细节上的表达很明显，效果较好。同时，通过客观评价实验，表明融合图像所选择的三种客观评价指标都介于两者之间，因此，融合图像在保留了构件内部结构清晰的前提下还包含有图像丰富的温度场信息。

［1］ GUO Tiantai．Application of infrared thermal imaging technique in non－destructive testing［J］．Machine Tool＆Hydraulics，2004(2):110－111．(in Chinese)郭天太．红外热成像技术在无损检测中的应用［J］．机床与液压，2004(2):110－111．

［2］ TAO Shifeng，WANG Yihong．Application research on wavelet fusion technology in image segmentation algorithm［J］．Measurement＆Control Technology，2014，33(2):39－42．(in Chinese)陶士凤，王亦红．小波融合技术在图像分割算法中的应用研究［J］．测控技术，2014，33(2):39－42．

［3］ HU GANG，LIU Zhe，XU Xiaoping，et al．Research and recent development of image fusion at pixel level［J］．Application Research of Computers，2008，25(3):651－652．(in Chinese)胡钢，刘哲，徐小平，等．像素级图像融合技术的研究与进展［J］．计算机应用研究，2008，25(3):651－652．

［4］ Sheng Zheng，Wen Zhongshi，Liu Jian，et al．Multisource image fusion method using support value transform［J］．IEEE Transactions on Image Processing，2007，16(7):1183－1837．

［5］ ZHENG Jinzhou，LU Shaodong．The application of X－ray technology in sectuirty inspection domain［J］．CT Theory and Applications，2012，21(2):357－361．(in Chinese)郑金州，鲁绍栋．X射线技术在安检领域的应用［J］．CT理论与应用研究，2012，21(2):357－361．

［6］ YUAN Jinsha，ZHAO Zhenbing，GAO Qiang，et al．Review and prospect on infrared/visible image registration［J］．Laser＆Infrared，2009，39(7):693－699．(in Chinese)苑津莎，赵振兵，高强，等．红外与可见光图像配准研究现状与展望［J］．激光与红外，2009，39(7):693－699．

［7］ WU Xueling，REN Fu，DU Qingyun．Spatial information augmented representation using affine transformations registration［J］．Computer Engineering and Applications，2010，46(3):16－17．(in Chinese)武雪玲，任福，杜清运．仿射变换虚实配准的空间信息增强表达［J］．计算机工程与应用，2010，46(3):16－17．

［8］ WANG Ke，OU Yangning．Study of image fusion and evaluation methods［J］．Video Engineering，2007，31(1):20－21．(in Chinese)王珂，欧阳宁．图像融合技术及评价方法［J］．电视技术，2007，31(1):20－21．

［9］ ZHENG Yongan，SONG Jianshe，ZHOU Wenming，et al．Objective evaluation method for image fusion based on image quality index［J］．Systems Engineering and Electronics，2006，28(3):463－466．(in Chinese)郑永安，宋建社，周文明，等．基于质量因子的图像融合客观评价方法［J］．系统工程与电子技术，2006，28(3):463－466．

［10］Deepak Kumar Sahu，M P Parsai．Different image fusion techniques－a critical review［J］．International Journal of Modern Engineering Research，2012，2(5):4299－4300．

［11］LI Guangxin．Fusion technology of infrared and visible images［D］．Changchun:Jilin University，2008．(in Chinese)李光鑫．红外和可见光图像融合技术研究［D］．长春:吉林大学，2008．

［12］WANG Haihui，PENG Jiaxiong，WU Wei．Comparison of the methods of evaluating the performance of multi－sensor image fusion［J］．Infrared and Laser Engineering，2004，33(2):189－193．(in Chinese)王海晖，彭嘉雄，吴巍．评价多传感器图像融合效果方法的比较［J］．红外与激光工程，2004，33(2):189－193．