复合材料红外热波检测图像处理及投影标注技术

丁 超，金 珂，王少鑫，穆全全，宣 丽，李大禹*

(1. 中国科学院 长春光学精密机械与物理研究所 应用光学国家重点实验室，吉林 长春130033；2. 中国科学院大学，北京 100049；3. 航天材料及工艺研究所，北京 100071)

1 引 言

碳纤维复合材料是近年来迅速发展的一类新型材料，具有强度大、质量轻、耐高温等优越性能，在航空航天、船舶、汽车等领域应用广泛[1]。碳纤维材料是由碳纤维和高性能树脂基体复合而成的碳纤维增强树脂基复合材料(Carbon Fiber Rein Forced Polymer，CFRP)[2]，在生产、加工及使用过程中，CFRP板内部易产生脱粘、裂纹等缺陷，这些缺陷会严重影响材料质量和性能，降低使用寿命[3]。对于材料内部的缺陷，需要在不破坏其结构完整性的前提下进行探测。

红外成像无损检测技术是基于红外辐射原理，通过记录被检测物体表面的温度场变化，来判断材料内部结构的不连续所引起的热量传递差别，实现对内部缺陷进行判断的无损检测方法[4]。它相比于常规无损检测方法具有非接触、灵敏度高、结果直观可靠的优势，特别适用于复合材料的无损检测。目前许多学者对基于红外成像的材料内部缺陷检测及可视化进行过研究，英国学者D.P.Almond提出了红外热波检测中确定缺陷大小的方法，需要在三维空间中考虑热扩散对缺陷边缘的影响[5]。郭兴旺等采用奇异值分解法对红外图像序列进行处理和增强，消除了加热不均效应，有效提高图像的信噪比[6]。汪子君等提出了基于鲁棒Otsu的缺陷分割算法,提高了红外无损检测缺陷分割的准确性和鲁棒性[7]。

传统的红外热波检测的工作主要集中在红外图像处理方面。在实际的工程应用中，往往需要将缺陷位置在实物上进行标记，而从红外图像中提取出的内部缺陷位置只能显示在屏幕上，很难将结果及时与被测样件的实际缺陷位置进行联系。如果操作人员需要在被检测样件上标记缺陷区域，就必须在屏幕和样件之间反复确认，效率低下且容易出错。因此，实现无损检测数据的自动标记是非常有必要的。方法是在测试数据和测试结构之间建立一个可视化的链接。

本文提出基于热像仪-投影仪系统的脉冲激励红外无损检测及标记方法。利用红外热像仪获得脉冲激励下人工缺陷碳纤维样品的红外图像序列，并利用采样时间优化后的脉冲相位算法对图像序列进行处理，增强缺陷的检测效果。再通过自动阈值对缺陷区域进行提取，并将提取结果经投影仪投射到被测样品上进行标记。由于热像仪投影仪间的视角差异、镜头误差等因素，投影到样品上的图像存在畸变，从而使标记结果产生较大误差。借助辅助相机对热像仪及投影仪进行标定[8]，利用所得的内外参数矩阵对缺陷提取结果进行变换，可以对畸变进行有效修正。经验证，该方法可以实现对缺陷位置较为准确的标注。

2 红外热波图像的缺陷分割

要实现缺陷位置的准确标注，需要进行两项工作：缺陷提取和缺陷投影。首先是对缺陷轮廓的提取，即对红外图像中的缺陷进行分割。

红外热波图像的目标分割由于其特殊性，相比于一般的图像分割存在不少难点，主要包括：红外成像为热源成像，图像目标及边界较为模糊；目标成像面积较小时，红外信号强度较弱，目标分割要在低信噪比条件下进行[9]；碳纤维材料表面的纹理会对缺陷边缘的分割产生影响。红外热波图像处理可分为单帧图像处理和多帧图像处理。单帧红外图像反映的只是样品表面某时刻的温度分布，没有充分反映不同时刻的温度分布情况，因此基于单帧图像的处理效果一般较差。红外图像序列则包含更丰富的缺陷信息，在进行红外热波图像的目标分割前，先对图像序列进行处理，可以获得更全面的缺陷信息，增强微弱缺陷的显示效果。

脉冲相位法(Pulse Phase Thermography, PPT)是一种用于处理脉冲激励红外热波图像序列的算法[10]。脉冲激励热波包含很多不同频率的成分，而脉冲相位法可以通过傅里叶变换，对样品的频谱响应进行分析。其原理是采集脉冲热激励下样品表面温度分布随时间变化的图像序列，将图像序列中每个像素点(x,y)对应的温度-时间信号T(k)(k=1,2,...,N)进行离散傅里叶变换，得到频域信号：

(1)

对实部和虚部进行处理，可获得每个像素点傅里叶变换后的幅值谱和相位谱：

(2)

对红外图像序列中的每个像素点均进行上述计算，得到图像的幅值图谱和相位图谱。由于时域信号为实数值，N个时间数据存在N/2个独立的频率数据。离散频率为:

(3)

其中，Δt为相邻两幅热图像的时间间隔，n=0,1,2...,N/2。图1为红外图像序列表面温度信号的傅里叶变换示意图。

图1 表面温度信号傅里叶变换分析示意图Fig.1 Schematic diagram of Fourier transform analysis of surface temperature signal

实验中，脉冲激励时间为5 ms，脉冲能量为6 000 J。采用FLIR X6530sc热像仪采集红外图像，热像仪焦距为12 mm，像元尺寸15 μm×15 μm，采样频率为100 Hz，采样时间为15 s。为对缺陷提取结果进行准确评价，检测对象为一块矩形碳纤维复合材料，并在平板背面制造6个不同大小盲孔模拟内部缺陷。

同一热扩散系数和缺陷深度的材料，对脉冲热流不同频率的下响应敏感程度不同[11]。不同采样时间的图像序列进行脉冲相位处理后的效果也不同。以信噪比作为处理效果的评价标准，其定义为：

(4)

其中:FD为脉冲相位处理后缺陷区域平均灰度值，FS为非缺陷区域平均灰度值，σSF为无缺陷区域像素值标准差。不同采样时间下图像序列处理后的信噪比分布如图2所示。其中横轴表示所选图像序列的图片数量，纵轴表示处理的第一张图像在整个图像序列中的位置。每个格的色温表示该位置的信噪比。

图2 处理后图像的信噪比分布Fig.2 SNR distribution of the processed images

当参与脉冲相位处理的图像序列初始位置为第150帧，数量为1 300帧，即采样时间为1.5～14.5 s时，处理结果拥有最佳信噪比。如图3所示，采用该图像序列进行脉冲相位处理后的相位图效果好于传统脉冲相位算法，缺陷与非缺陷区域的对比度显著提高，缺陷边界也更加清晰，面积较小的缺陷也能有效显示，有利于对缺陷边界的准确分割。

为对缺陷区域的位置信息进行定量化分析，需要对缺陷进行提取。本文主要提取的缺陷信息

(a)原始红外图像(a)Original infrared image

(b) 传统脉冲相位法相位图(b) Phase diagram of traditional pulse phase method

(c) 优化后脉冲相位法相位图(c) Phase diagram of optimized pulse phase method图3 脉冲相位法处理前后图像对比Fig.3 Image comparison before and after pulse phase method processing

为中心和轮廓。由于缺陷区域与背景主要在灰度上存在差异，故采用Otsu阈值分割法进行缺陷提取。以进行阈值处理后分离的像素类之间的类间方差最大作为阈值选取准则，阈值之上和之下的像素分别作为目标和背景，生成二值图像。如图4(a)所示。在二值图中可以得到缺陷轮廓和质心位置，缺陷的提取结果如图4(b)所示。

(a) 阈值分割后的二值图(a) Binary image after threshold segmentation

(b) 缺陷轮廓与质心(b) Contour and centroid of defects图4 缺陷位置提取结果Fig.4 Defect location extraction

3 缺陷位置标注

图5 红外无损检测及投影装置示意图Fig.5 Schematic diagram of infrared non-destructive testing and projection device

无损检测结果的可视化需要通过投影装置实现。实验装置如图5所示。作为激励源的闪光灯并排放置且正对被测样件，以保证样件表面得到均匀且充分的加热，热像仪位于闪光灯正上方，投影仪位于闪光灯正下方。为保证样件位于热像仪视场中心，热像仪需倾斜一定角度。同时，投影仪也需要倾斜一定角度保证缺陷能够投影到样件表面。

投影仪与热像仪存在视角差异，导致前面提取的缺陷轮廓投影到样品表面时发生形变，使标注存在较大误差。需要利用投影变换对形变进行校正。

3.1 热像仪与投影仪的坐标变换

当检测装置与被测样件距离固定时，热像仪和投影仪的倾斜角度也是固定的。被测样件竖直放置，以中心投影的方式建立成像模型[12]，以被测样件长宽方向为X轴和Y轴，垂直该平面方向为Z轴，建立世界坐标系。XpYpZpOp为热像仪坐标系，XcYcZcOc为投影仪坐标系，XwYwZwOw为被测样件所在平面的世界坐标系。

根据成像模型，物点在世界坐标系下齐次坐标与其对应像点在图像像素坐标系下齐次坐标的变换关系为：

(5)

变换关系由内参数矩阵和外参数矩阵组成。T为3×1的平移矩阵，R为3×3的旋转矩阵，OT为3×1的零矩阵的转置，构成外参数矩阵。fx,fy分别表示沿图像平面X轴和Y轴方向的焦距，单位为mm。(u0,v0)表示图像物理坐标系的原点在像素坐标系中的坐标，单位为像素(px)。du，dv分别是单位像素在x轴和y轴上的尺寸,单位为mm/px。以fu、fv代替fx/du和fy/dv，构成内参数矩阵。Zc为比例系数。

Zc1I1=A1[R1T1]Pw，

(6)

其中:I1为热像仪像素坐标系下某点坐标，Pw为其对应物点在世界坐标系下坐标。A1为热像仪内参数矩阵。R1、T1组成热像仪外参数矩阵。

投影仪将图像投影到世界坐标系下被测样件所在平面，相当于逆向的相机[13]，因此其数学模型与相机模型相同。投影仪的图像像素坐标I2与世界坐标Pw的转换关系可写为：

Zc2I2=K2[R2T2]Pw，

(7)

其中:K2为投影仪内参数矩阵，R2、T2组成投影仪外参数矩阵。为保证缺陷投影的准确，投影仪和热像仪的物点坐标Pw相同，对式(6)、(7)消去Pw，可以得到投影仪图像的像素坐标与热像仪图像的像素坐标间的变换关系：

(8)

H为投影仪像素坐标到热像仪像素坐标的投影变换矩阵。缺陷提取结果经过该变换，再经投影仪投射到被测样件上，理论上可以准确标注缺陷位置。变换过程如图6所示。

图6 投影变换流程Fig.6 Projection transformation process

3.2 可见-红外相机辅助标定法

投影仪图像像素坐标到热像仪图像像素坐标的变换需要投影仪和热像仪的内外参数矩阵，通过标定可以得到内外参数。

镜头在加工、装配过程中往往存在误差，自身也存在几何像差，标定过程中需要考虑畸变影响[14]。常见的畸变包括径向畸变k1,k2和切向畸变p1,p2，若实际成像点在图像物理坐标系下坐标为p′(x′,y′),理想成像点为p(x,y),则畸变修正公式为：

(9)

其中:δx和δy为畸变值，其计算为：

δx=k1x(x2+y2)+k2x(x2+y2)+
p1(3x2+y2)+2p2xy,
δy=k1y(x2+y2)+k2y(x2+y2)+
p2(3x2+y2)+2p1xy.

(10)

标定过程中得到畸变参数k1,k2,p1,p2，u、v方向的尺度因子fu、fv,图像主点坐标(u0,v0),以及热像仪坐标系到投影仪坐标系的旋转矩阵与平移矩阵。对于热像仪，可以利用张正友标定法[12]进行标定。但投影仪作为投影器件,无法通过拍摄图像得到物平面二维图像坐标与对应点三维世界坐标之间的对应关系。利用辅助相机可以建立投影仪与标定板间的坐标对应关系，在热像仪下方固定一工业相机作为辅助标定工具，如图5所示。

以10×7的黑白棋盘图案作为标定板，每个棋盘格边长27.7 mm。将棋盘图案粘贴于白色背景板上，投影仪同样将棋盘格图案投射到该背景板，用于建立像机图像与投影图像间的对应关系，且可以保证投影平面与标定板平面位于同一平面。

以标定板棋盘格左上角的角点为坐标原点，XY平面与标定板平面重合，Z轴与标定板平面垂直，可建立标定板的世界坐标系。不同位姿下的标定板相对于相机同样存在旋转矩阵Ri和平移矩阵Ti，若相机的内参矩阵为A,则标定板世界坐标与相机的图像像素坐标的转换关系为：

(11)

若相机已标定，即内外参数矩阵已知，依据该转换关系，可以实现对投影仪投影图像世界坐标的提取。利用相机对投影仪进行标定的具体过程如下：

(1)按图5所示固定好相机与投影仪。投影仪将黑白棋盘图案投射到标定板所在背景板上，相机拍摄此时的标定板及投影图案的图像。

(2)改变背景板位姿(包括进行红外图像采集时样品的位姿，以得到该位置下投影仪的外参数矩阵)，重复上述步骤，拍摄10组图像。

(3)对相机拍摄图像中标定板和投影图案棋盘格的角点进行精确提取，如图7所示。由标定板的角点坐标，利用张正友标定法[15]对相机进行标定，并根据式(11)结合已标定的相机参数计算投影图案提取的角点像素坐标对应的世界坐标，进而实现对投影仪的标定。

图7 标定板特征点提取Fig.7 Feature point extraction of calibration plate

按图5所示模型搭建该标定系统，投影仪型号为XGIMI NEW Z6X，可投影图像的最大分辨率为1 920×1 080像素。相机型号为DAHENG MER-503_36U3M，焦距7 mm，可拍摄图像最大分辨率为2 448×2 048像素,像元尺寸3.45 μm×3.45 μm。标定所得参数见表1。

其中fu、fv、u0、v0单位均为像素(px)，k1、k2、p1、p2为无量纲。进行红外图像采集时样品位姿下热像仪坐标系到投影仪坐标系的旋转矩阵为：

(12)

平移矩阵为：

(13)

表1 相机、投影仪和热像仪标定参数

图8 投影仪重投影误差Fig.8 Reprojection error of projector

旋转矩阵各元素无量纲，平移矩阵各元素单位为mm。利用标定相机所得内外参数矩阵，将棋盘图案的特征点转换到世界坐标系，再通过投影仪内外参数矩阵转换到投影仪的图像像素坐标系，并与预先设定的棋盘图案特征点坐标相减，以相减值的均值作为投影仪标定精度的评价方法[16]。结果如图8所示，在x方向和y方向误差均小于1个像素，该标定方法精度较高。

3.3 缺陷提取结果的投影

利用标定所得的热像仪和投影仪内外参数矩阵，可以得到投影仪像素坐标与热像仪像素坐标间的投影变换关系。将热像仪采集的图像进行缺陷提取和投影变换,并通过投影仪投射到样品表面。热像仪采集的样品红外图像如图9所示，投影仪投影图像如图10所示。

图9 热像仪采集红外图像Fig.9 Infrared image collected by thermal imaging camera

图10 投影仪投影图像Fig.10 Image projected by the projector

图11 缺陷投影结果Fig.11 Defect projection result

缺陷在样品上的标注结果如图11所示。以样品左上角为原点，水平方向为X轴，竖直方向为Y轴建立坐标系，对投影结果进行定位。投影缺陷位置与实际位置对比见表2。

可以看出本文提出的红外图像处理及投影标注方法对于不同大小的缺陷，中心标注误差在3 mm以内，面积标注误差在10%以内。主要误差来源为：(1) 标定板的制作不够精确，本文的标定板是直接打印出来贴在背景平板上，对角点提取的精度有影响。同时，环境因素如拍摄环境周围光照及外界引起的震动等都会对标定和投影结果产生影响。(2) 热像仪采集的红外图像中，样品表面纹理也会对缺陷边缘的提取产生影响。通过选用精确度更高的标定板、改善拍摄环境以及对缺陷提取算法进一步优化，可以提升缺陷位置标注精确度。

表2 缺陷投影位置与实际位置对比Tab.2 Comparison of defect’s projection position and actual position

4 结 论

本文针对红外热波检测中缺陷提取结果难以及时在被测样件上进行标注的问题，提出了基于热像仪-投影仪系统的脉冲激励红外无损检测及投影标记方法。对脉冲相位法的采样时间进行优化，提高处理后缺陷区域的对比度和边界清晰度。利用自动阈值对处理结果进行分割，提取缺陷边缘和中心位置。针对投影仪与热像仪视角差异等因素引起的畸变问题，提出了可见-红外相机辅助标定方法，利用辅助相机对热像仪-投影仪系统进行标定，并用所得内外参数矩阵对缺陷提取结果进行变换，矫正图像畸变。经测量，缺陷中心标注误差在3 mm以内，面积标注误差在10%以内。经一次标定后，如果热像仪、投影仪与被测样品的相对位置不变，则标定的内外参数仍适用，可直接对其他样品进行缺陷标注，复用性较高。