基于可见光—红外光图像融合的苹果缺陷检测算法

陈乾辉 吴德刚

(商丘工学院，河南 商丘 476000)

目前，常见的苹果缺陷检测以可见光和红外成像无损检测为主[1]，然而，由于可见光对水果的内部和次表面的缺陷检测较差，尤其是对颜色较深的苹果，更是难以获取；而红外成像由于其获取图像的清晰度不够，使得在苹果图像检测中将果梗/花萼误判为缺陷的几率很高[2]。红外图像具有较明显的目标信息，但边缘细节缺乏；而可见光图像有丰富的纹理和颜色信息，但容易受到外部的干扰。将红外光和可见光进行信息融合，充分利用2种信息的互补优势可以获取更为明显的物体特征。目前，红外光和可见光融合技术在目标识别、目标跟踪以及医学图像处理领域都有着广泛的应用价值和拓展空间[3]。因此，本研究拟将采集到的可见光和红外光图像的特征信息进行图像融合，以获得具有各种缺陷特征信息的高质量苹果图像，从而实现苹果的在线实时检测和分级。

1 基于红外热成像的苹果缺陷检测

1.1 红外热成像原理

红外热成像是通过光电技术检测物体表面的热辐射[4]，并将物体不同部位红外辐射的差异转换为肉眼可视的图像，进而对物体表面的温度进行测量和分析的无损检测技术，其获取物体表面温度图像原理见图1。

1.2 缺陷检测方法

采用加拿大加创公司生产的IR970系列红外热像仪(见图2)，其技术参数见表1。

图像采集时，将红外热像仪IR970设为自动采集模式，采样时间为10 s，频率为60 Hz，镜头距苹果样品表面为0.5 m，调整合适的热成像仪位置及焦距，使显示屏上的苹果热图像最适中、最清晰，经过系统自带温度补偿校正处理，获得标准的苹果红外热图像，并通过热像仪自带图像处理软件CMView SE Reporter获取特征信息。

图1 红外热成像原理图Figure 1 The schematic diagram of infrared

图2 红外热像仪IR970Figure 2 The IR970 infrared camera表1 IR970的技术参数Table 1 Technical parameters of IR970

探测器镜头存储环境温度类型:非制冷平面;分辨率:320×240;光谱范围:8～14 μm;热响应时间:4 ms;热灵敏度:0.08 ℃@30 ℃;空间分辨率:1.1 mard视常角:20.4o 水平×15.4o 垂直;聚焦范围:0.5 m～∞存储类型:内置FLASH;外置CF卡;存储容量:512 M工作环境:-10～50 ℃;存放:-20～60 ℃

按照Baranowski等[5]和Vairth等[6]的理论，缺陷苹果的热物性和完好果不同，在外加激励源作用下，其表面的温度将呈现不均匀分布(见图3)，则导温系数α为：

(1)

式中：

ρ——密度，kg/m3；

κ——热传导率，W/(m·℃)；

Cp——热比热容，J/(kg·K)。

由于导温系数是衡量温度变化能力的指标，则随着α的增大，苹果表面能量向内传递的速度越快，而苹果在受到划碰伤时，划碰伤部位因水分流失使得苹果的密度ρ变小，热传导率κ增加，热比热容Cp几乎不变，由式(1)可知，其缺陷部位的导温系数比完好部分大，即划碰伤部位的表面能量将传递的快，从而使得苹果缺陷部位的温度比完好部分低。因此，可通过红外热像仪记录的数据，获取苹果近表或内部的信息，以达到缺陷检测的目的。

2 基于图像融合的缺陷检测

图像融合是将不同信号道采集的同一物体的图像进行预处理、特征提取及信息融合，从而获得包含更多特征信息的新图像。为避免图像融合过程中出现对高、低频图像的偏重不均，获取更多源图像特征信息，文中运用不同方法对高、低频小波系数进行融合，以获取更加突出的特征图像。

图3 苹果的空间温度分布Figure 3 The distribution of tmeperature field of apple

2.1 基于低频小波系数的加权融合

2.1.1 区域能量 在2-j的分辨率下，二维图像f(x,y)以像素点(x,y)为中心的区域能量可表示为；

(2)

式中：

ε——ε=1,2,3，分别表示图像的水平、垂直、对角3个方向；

w(m,n)——小波系数的滤波窗口。

(3)

2.2 基于高频小波系数的加权融合

2.2.1 区域强度 二维图像f(x,y)对比度的强弱和其小波系数的大小息息相关，且小波系数的绝对值愈大，其对应图像的对比度越明显，则图像融合中获得源图像的高频信息越突出。设二维图像f(x,y)，以像素点(x,y)为中心的区域强度可表示为：

(4)

式中：

(5)

(6)

式中：

T——权值选择阈值，取值一般为(0.5,1.0)；

通过二维图像A、B的相似度选择阈值，取T=0.75。

选择合适的高频小波系数的权值，进而对二维图像A、B进行图像融合，即

(7)

通过对2幅二维图像A、B进行高、低频小波系数加权融合，可获得新的高、低频小波系数，并采用新的小波系数进行逆变换，从而获得新的融合图像。

3 结果与分析

3.1 苹果图像的融合

可见光图像采集选用Sony DSC-W530型可见光相机，该相机可4倍变焦，焦距可调范围26～105 mm，成像有效像素数为1 410万，图像存储类型为SD/SDHC/SDXC卡。由于采用的红外热像仪和可见光相机摄像参数不同，不能直接对拍摄的红外和可见光图像进行相关运算，因此，需对拍摄的可见光图像和基准红外图像在Matlab平台进行数据转换，以便实现红外和可见光图像的直接融合。

苹果常见划碰伤缺陷以及果梗/花萼的可见光和红外图像的融合见图4。由图4可知：

(1) 融合图像不仅可消除可见光图像表面色彩对划碰伤苹果检测的影响，还保留了红外图像中的苹果缺陷特征，因此，图像融合对苹果划、碰伤缺陷的识别能力较强。

(2) 红外成像苹果缺陷检测方法对苹果的果梗/花萼的误判率较高，不利于苹果的在线检测和分级。而通过红外和可见光融合的苹果图像，其果梗/花萼区域和缺陷明显不同，因此，误判率较低。

(3) 基于红外和可见光融合的图像在果梗/花萼识别上，误判率远低于可见光图像，且直观性比红外图像强，因此，在苹果果梗/花萼识别时，图像融合的方法不仅能节约劳动力、提高工作效率，更能满足苹果实时在线检测、分级和自动化加工的需要。

(4) 经过红外和可见光融合的苹果图像，在苹果表面、次表面的特征检测上具有很好的效果，且融合图像的色彩分布也符合人们视觉的感受。

3.2 图像融合的评价

基于红外和可见光融合的苹果图像比原红外图像包含了更多的苹果缺陷信息，且能消除可见光图像表面色彩对划、碰伤苹果检测的影响，为衡量图像中平均信息的大小，可采用“信息熵E(Entropy)”作为评价指标，信息熵E越大，其包含的图像平均信息量就愈大。

图像中各像素的灰度值可认为是独立的，若灰度值为i的像素与总像素之比为pi，则可用数组p={p0,p1,……,pi,……,pL-1}(L为总灰度级)表示图像的灰度分布，图像信息熵E为：

(8)

图4 苹果图像的融合结果Figure 4 The fusion results of the apple images

由式(8)分别计算图4中可见光、红外及融合苹果图像的信息熵E，其结果见表2。

表2 苹果图像的信息熵Table 2 Information entropy of apple images

由于信息熵表述的是图像中的灰度级数量，而非灰度值大小，若图像中灰度级具有相同概率，则当L=256时，其最大信息熵为8，由表2可知：

(1) 红外图像具有的信息熵较少，则苹果表面含有的信息量较小。

(2) 可见光图像具有的信息熵较大，但因表面色彩过多，其信息熵亦远小于8。

(3) 融合图像的信息熵在红外和可见光图像之间，即融合的苹果图像不仅能避免可见光检测中的色彩干扰，又含有比红外图像更多的特征信息。

3.3 缺陷检测的分析

选用100个苹果，含划碰伤果、果梗/花萼特征果及完好果各25个，根据上述红外热成像和基于可见光和红外的高、低频小波系数图像融合的苹果缺陷检测方法，对划碰伤果、果梗/花萼特征果及完好果进行检测，以判断苹果果实是否完好，检测结果见表3、4。

由表3、4可知：

(1) 在划碰伤果方面，基于红外热图像的苹果缺陷检测具有较高准确率，碰伤损伤果识别率为92%，划伤损伤果识别率可达96%。然而，由于果梗/花萼的颜色不同于完好果，

表3 基于红外热成像的缺陷检测结果Table 3 The defect detection results based on infrared thermography

表4 基于融合图像的缺陷检测结果Table 4 The defect detection results based on fusion image

灰度图呈现缺陷特征，因此，对于果梗/花萼特征果和完好果识别率较差，分别为64%和84%。

(2) 在划碰伤果方面，基于图像融合的苹果缺陷检测准确率和红外热成像缺陷检测方法近似，识别率都可达92%。然而，由于融合中兼具了可见光和红外图像的优点，使苹果图像的特征更加突出，因此，对果梗/花萼特征果和完好果的检测识别率可达100%。

(3) 基于红外图像和基于图像融合2种检测方法的缺陷平均识别率分别为84%和96%，见图5。

图5 2种方法下苹果缺陷检测准确率对比图Figure 5 The accuracy rate comparison of apple defect detection under two methods

4 结论

针对常用苹果缺陷检测方法存在的识别率不高的缺点，提出了基于图像融合的苹果缺陷检测算法，该算法利用可见光和红外图像的高、低频小波系数采用不同的融合方法，并通过信息熵的评价，更加直观有效地获得了苹果表面、次表面的特征图像。试验发现，该图像融合方法比传统缺陷检测算法的效果更好，能够满足果实的实时在线检测要求。然而，由于红外和可见光相机的参数配置差异，使得获得的红外和可见光图像不能直接进行融合，因此，今后可对图像采集工具进行参数匹配，以便获得可以直接融合的图像，进而提高融合效果。