面向苹果品质检测的图像融合方法

罗晓清， 袁衬衬， 柴鹏飞， 李 凯

（江南大学 物联网工程学院，江苏 无锡 214122）

关键字：品质检测；图像融合；四元数小波

中国作为水果产业大国，水果产业一直占据着重要的经济地位，从1993年开始，无论在种植面积还是总产量，中国的水果产业一直保持在世界第一的水平。但遗憾的是，中国的水果产业与其他国家相比，存在诸多问题，主要有果品质量差、整体价格较低、出口量小以及附加值低等。究其原因，主要是因为水果产后处理技术薄弱，大部分的产品没有进行品质检测和分级，在采摘后直接进入市场，导致水果中质量不一，没有市场竞争力。另一方面，在水果的采摘、运输、存储过程中都容易造成水果损伤，而早期的轻微损伤很难直接检测出来，这些未被检测出损伤的水果会逐渐演变成深程度的病变，被病菌侵入，造成组织腐败，甚至会发生交叉感染，感染未损伤的水果，给果农或者水果厂商带来巨大的损失。无论是对水果进行分级还是防止在水果后期运输保存中出现损伤，都必须采取高效的措施来对水果品质进行检测。

传统的水果品质检测通常是用肉眼直接进行观察，该方法存在有很多缺点，比如辨别率低，速度慢，不能够识别水果内部损伤等问题。可见光图像检测系统被广泛用于农产品品质检测，主要是通过对农产品的亮度，颜色等信息来检测产品品质。相比与用肉眼人工检测，可见光图像检测系统具有速度快，精度高，可以自动化等优点。但是，可见光图像检测系统只能够检测到水果外部损伤，对于表皮轻微的碰蹭损伤以及内部损伤无法检测出来。红外成像系统具备检测水果次表面或内部缺陷的能力，但是红外图像的分辨率比较低，并且检测不出来苹果表皮损伤。通过图像融合技术将可见光图像与红外图像综合，得到的融合图像即包含了红外图像中水果次表面损伤信息，又包含可见光图像中丰富的水果表皮信息，包含的信息更丰富，进行的苹果品质检测结果更加准确。

当前，已有部分学者开展了将图像融合技术用于农产品品质检测的研究。主要成果有：1993年，Celinski等研究了多传感器检测水果和蔬菜的品质[1]；Wen在1998年将苹果作为研究对象，使用可见光与红外相机同时采集苹果的图像用于检测水果缺陷[2]，并在2000年设计了一种近红外与中红外的图像融合系统用于水果表面缺陷检测[3]；Cheng等人也在2003年设计出新的基于波长为700～1 000 nm的近红外和波长为 3.5～5 μm 或 8～12 μm 的中红外水果缺陷检测系统[4]；2005年，黄星奕等以桃子的品质检测为示例，研究了传感器融合技术在水果品质检测的可行性[5]；2009年，王克俊等使用图像融合技术研究了检测苹果缺陷的问题[6]；郭志明将近红外光谱与高光谱图像进行融合用于苹果品质的快速无损检测[7]。2016年，关济雨将近红外和高光谱散射图像进行融合用于水果损伤评估[8]。

近年来，基于多尺度变换的图像融合方法越来越流行，这主要是因为基于多尺度变换的图像融合方法将原始图像分为低频信息和高频信息，更好的表现了图像的本质信息，从而有利于图像融合中对待融合图像进行信息提取。常用的多尺度变换有离散小波变换，平稳小波变换，双数复小波变换，曲波变换，轮廓波变换，非下采样轮廓波变换等。人们基于上述多尺度分解工具提出了许多基于多尺度变换的图像融合方法。例如：J.Lewis等使用双数复小波作为多尺度变换工具，使用基于区域的规则进行融合[9]，F.Nencini等根据图像的曲波变换系数对遥感图像进行融合[10]，Q.Zhang等则是研究了如何将非下采样轮廓波变换用于图像融合[11]。当前，四元数小波变换是一种新颖的有效的多尺度变换工具，由于其可以提供丰富的尺度信息以及幅值相位信息，已经成为非常流行的多尺度变换工具，被广泛应用于图像去噪[12]，图像分类[13]，图像纹理检索[14]等。考虑到四元数小波变换的优点，作者使用四元数小波变换作为多尺度变换工具。同时，由于导向滤波[15]可以根据指导图去除决策图中的噪声干扰，因此在高频融合时，将高频系数作为导向滤波的输入，待融合图像作为导向滤波的指导图，得到的滤波后的高频系数更好的反映了图像中的特征，使得融合结果更加精细。因此，作者提出了一种基于四元数小波变换与导向滤波的水果图像融合方法。该方法首先将待融合图像使用四元数小波变换得到低频子带与高频子带；低频子带使用加权平均的规则进行融合，权值是根据低频系数的局部平均梯度获得；高频子带采用基于选取的规则进行融合，有别于传统的直接高频绝对值取大的方法，作者将高频绝对值作为导向滤波的输入，原始图像作为导向滤波的指导进行滤波，将滤波后的高频系数作为高频融合时的选取准则；最后，将融合后的低频系数与高频系数使用逆四元数小波变换得到融合后图像。

1 图像的四元数小波变换

四元数小波变换是复小波变换的一个扩展，可以提供更加丰富的尺度信息来描述二维信号中的几何结构，相比于离散小波变换和双数复小波变换等，四元数小波变换在分解图像时提供了更多的系数。四元数小波变换满足近似的平移不变性，这样使得在融合图像时，如果红外图像与可见光图像没有精确配准，四元数小波变换可以克服这种问题。与传统的多尺度变换相比，四元数小波变换还可以提供图像的局部幅值-相位分析[16-17]。因此，使用四元数小波变换作为多尺度分解工具，可以更加准确的提取到原始待融合图像中的特征。

以苹果图像为例可说明图像的四元数变换结果。将图1使用四元数小波变换作3层分解，图2展示了变换后的低频子带。其中，图2（a）到图2（d）是四元数小波变换的4个低频子带，图2（e）到图2（h）是将上述低频子带用幅值相位的形式来表示。图2（e）为幅值图，提供了原始图像的概貌信息。图2（f）到图 2（h）是低频部分的 3 个相位图，包含了图像中的边缘和角的信息。图3展示了四元数小波变换后的部分高频子带。由于高频子带共有3层，而每层又包含水平、垂直、对角3个方向，受篇幅所限，这里只展示第一层垂直方向的高频子带系数。图3（a）到图3（d）是第一层垂直方向的4个高频子带。 图 3（e）到 3（h）是将图 3（a）到图 3（d）的高频子带系数使用幅值相位形式表示的结果，其中图3（e）是幅值图，图 3（f）到图 3（h）是 3 个相位图，分别反映了原始图像中细节信息的丰富度和纹理信息的丰富度。

图1 苹果图像Fig.1 Apple image

图2 使用3层四元数小波变换后得到的低频子带Fig.2 QWT low frequency part at the 3th level

图3 使用3层四元数小波变换得到的第一层垂直方向的高频子带系数Fig.3 QWT high frequency part at the first level in the vertical direction

2 导向滤波

在融合过程中，尤其是在高频部分融合时，直接基于高频系数计算得到的决策图会因为噪声的影响出现一些空洞和噪点。传统的解决办法是使用形态学运算来消除这部分干扰，而形态学方法分辨不出决策图中出现的空洞是否是由噪声干扰引起的还是原始图像中的空洞。因此，在本文中引入导向滤波[15]来代替形态学运算。导向滤波是一种边缘抑制平滑滤波器，能够有效的保留原始图像的边缘信息，相比较于传统的双边滤波器和加权最小二乘滤波器，不仅运算速度快，还可以有效抑制图像边缘的振铃现象。根据输入图像的不同，导向滤波既可以作为一种边缘抑制平滑滤波器，另一方面也可以根据指导图来对输入图像进行精细修改，如移除输入图像中的噪声点，填补输入图像中的空洞等。

图4以苹果图像为例展示了导向滤波的两个作用。第一种是将原始苹果图像（图4（a））同时作为导向滤波的输入和指导图，得到滤波后的图像（图4（b））。从这个实验结果中可以看出导向滤波可以平滑非边缘区域，保留边缘特性。接着，将图4（a）作为指导图，包含噪声的苹果目标图4（c）作为输入，滤波后的结果为图4（d）。不难看出在这种方式下，导向滤波能够有效的去除图4（c）中的空洞以及噪声。

图4 导向滤波的两个实例，（a）和（c）是导向滤波的两个输入Fig.4 Two examples of guided filtering

3 融合方法

3.1 所提融合方法框架及步骤

融合方法的算法框架如图5所示。融合过程主要分为3个部分，第一部分是对待融合图像使用四元数小波变换，得到低频系数与高频系数，第二部分是分别对低频系数与高频系数使用对应的融合规则进行融合，第三部分是将融合后的低频系数与高频系数使用逆四元数小波变换得到融合后的图像。具体融合过程为：

1）首先假定待融合苹果图像IA，IB已经配准；

2）对待融合图像使用四元数小波变换得到低频子带和高频子带、其中，表示第n个低频子带，表示第L层d方向的第n个高频子带；

3）低频子带采用加权平均规则得到融合后的低频部分。权值是根据低频系数的局部平均梯度得到，具体的计算过程在文章的3.2节介绍；

4.高频子带采用选择规则得到融合后的高频部分，选择规则是根据导向滤波后的高频系数设计得到，具体过程在文章的3.3节介绍；

5.将融合后的低频系数与高频系数使用逆四元数小波变换得到融合后的图像IF。

3.2 低频子带融合

苹果图像经过四元数变换后得到的低频子带反映了图像的概貌信息，低频子带融合的质量直接关系到最终融合图像的主观效果。考虑到局部平均梯度可以反映苹果图像中表皮纹理信息，因此采用基于加权的融合规则来融合低频部分。计算过程为：首先，计算低频系数的局部平均梯度LMGn*，计算公式为：

其中，和分别为低频系数在x和y方向上的梯度，上式计算以（x，y）为中心，大小为(2×I+1)×(2×J+1)区域梯度的均值，在本文中I与J都为2。根据公式（1），分别计算出待融合图像低频系数的局部平均梯度LM和LM。因此，低频融合中的权重定义为：

最后，根据权值计算低频融合系数：

3.3 高频子带融合

高频子带反映了图像中对应位置的信息丰富程度，通常，在苹果图像中，高频系数的绝对值越大，表示包含的纹理信息越鲜明，特别是在表皮条纹边缘部分，高频系数的绝对值会特别大，而但在条纹内部，高频系数会偏小一些，直接使用高频系数绝对值作为融合时的判断指标时，提取的主要是苹果表皮条纹的边缘信息而不是完整的条纹信息。为了解决这个问题，使用待融合图像作为导向图，将高频系数作为输入进行滤波，使用滤波后的高频系数代替原始的高频系数来判断高频系数的显著性。这一滤波过程表示为：

其中，GF（）表示导向滤波，* 代表 A 或者 B，|·|表示绝对值操作。

根据导向滤波后的高频系数，采用选取规则进行融合，最终融合后的高频系数

图5 基于四元数小波变换和导向滤波的苹果可见光与红外图像融合框架Fig.5 Framework of QWT and guided filtering based apple visible and infrared image fusion method

4 结果与讨论

为了验证本文所提图像融合方法在苹果缺陷检测上的有效性，进行两组实验。同时，选取了5种经典图像融合方法作为对比实验。它们分别是：基于拉普拉斯金字塔的图像融合（LP）[18]，基于双数复小波分解的图像融合（DTCWT）[18]，非下采样轮廓波变换的图像融合（NSCT）[18]，基于对比度的图像融合（DC）[19]，基于脉冲耦合神经网络的图像融合（PCNN）[20]。所有的对比实验中，多尺度分解的层数都为3，其余融合中用到的参数都采用作者文献中所提供的最佳参数值。所有的实验都是在Pentium 3.5 GHz CPU、8 GB RAM的PC机上测试运行。

4.1 主观结果及分析

第一组实验结果如图6所示，图6（a）为待融合的可见光苹果图像，图6（b）为待融合的红外苹果图像。这组实验主要是将红外苹果图像中的4个缺陷点融入到可见光苹果图像中，保持可见光图像中苹果的细节纹理信息。图6（c）和6（d）是分别用LP方法和DTCWT方法得到的融合图像。这两幅图像都保留了红外图像中的4个缺陷点，但缺少可见光图像中的纹理信息。NSCT方法和DC方法得到的融合图像（图 6（e）和 6（f））效果更差，不仅丢失红外图像中的缺陷点信息，可见光图像中的纹理信息也没有很好的保留，甚至出现一些原始图像中没有的黑色区域。PCNN方法得到的结果（图6（g））很好的保留了可见光图像中的信息，但是丢失了红外图像中的一个缺陷点。图6（h）是融合方法得到的实验结果，很明显红外图像中的4个缺陷点都被呈现于融合图像中，同时可见光图像中的纹理信息也得到了保留。因此，相比于其他融合方法，本文设计的融合方法具有有效性，可用于苹果品质检测。

图7是第二组苹果图像融合结果。图7（a）与7（b）分别是待融合的可见光图像和红外图像，图7（c）至7（h）是使用不同融合方法得到的融合图像。这组中，各个融合方法得到的融合图像中出现的问题与第一组实验结果类似。LP方法得到的融合图像丢失了可见光图像中的纹理细节信息。基于NSCT方法和DC方法的融合图像不仅丢失了可见光图像中的信息，而且还出现了大量的块状干扰，使得融合图像的主观效果更差。基于PCNN方法的融合结果以红外图像信息为主，缺少了大量可见光图像中苹果表皮纹理。

图6 第一组苹果图像的融合结果Fig.6 First group of apple images fusion results

图7 第二组苹果图像的融合结果Fig.7 Second group of apple images fusion results

4.2 实验客观指标及分析

为了更客观的检验作者所提融合方法的有效性，分析比较了融合图像的5种客观指标。这5种指标分别是：边缘信息（G）[21]，相位一致信息（P）[22]，Piella 度量（S）[23]，结构相似度量（Y）[24]和 Chen-Blum度量（CB）[25]。其中，边缘信息表示融合图像中包含的边缘信息含量；相位一致信息表示图像的特征丰富度；Piella度量表示在不引入失真的前提下有多少信息从待融合图像中转移到融合图像中；结构相似度量反映了融合图像与待融合图像结构信息的相似性；Chen-Blum度量重点考虑了待融合图像与融合图像的局部特征的相似性。所有的这5个指标都是值越大表示融合效果越好。

表1和表2分别是第一组实验和第二组实验的客观评价结果，加粗表示该指标效果最好。由表1和表2可以看出，作者提出的融合方法的客观指标都好于其他融合方法，主要是因为，本文提出的融合方法采用四元数小波变换作为多尺度变换工具，得到了待融合图像中丰富的尺度信息和相位信息，使得提取待融合图像中的信息更加丰富准确。低频部分根据以系数的局部平均梯度来计算融合权重，该权重较好的度量了待融合低频系数的重要程度。同时在高频融合部分引入导向滤波，使得融合过程中提取信息更加精细准确，并减弱了噪声的干扰。

表1 第一组实验的客观评价指标Table 1 Objective evaluation index of the first group of experiments

表2 第二组实验的客观评价指标Table 2 Objective evaluation index of the second group of experiments

5 结语

通过图像融合技术结合使得融合后的水果图像既包含可见光图像中水果表皮的纹理信息，也包含红外图像中探测到的水果内部损伤信息。作者以苹果为例，研究了基于四元数小波变换与导向滤波的融合技术对改善水果品质检测的作用。融合过程中，使用四元数小波变换作为多尺度变换工具，得到的子带系数中包含的信息更丰富，有利于提取待融合图像中的信息，引入导向滤波，很好的消除了高频融合部分中出现的孤立点，融合结果更加平滑，细腻。实验表明，该方法能够有效的从苹果的可见光图像和红外图像中提取信息，与其他经典的图像融合方法相比，本文提出的基于可见光和红外图像的融合方法得到的融合后的水果图像质量最佳，更有利于水果品质检测。