基于随机Gabor特征的半参考农作物图像质量评价方法

吴世海，鲍义东，陈 果，陈秋实

(贵州航天智慧农业有限公司，贵州 贵阳 550081)

0 引 言

农业现代化、信息化、自动化的发展是以信息技术为核心，同时兼具智能机械、计算机技术以及互联网技术等为一体的智慧农业发展。与此同时，随着人工智能和计算机视觉的快速发展，以它们为基础的新型智慧农业管理系统逐渐成为农业现代化发展中的研究重点和热点，对于提升农作物质量和产量具有重要意义[1-2]。在智慧农业系统中，通过图像采集设备得到的农作物图像可用于分析和了解农作物的整体生产情况，比如，是否存在病虫害，是否存在枯萎，是否接近成熟等。值得注意的是获得这些有价值信息的前提是采集到的农作物图像质量足够清晰，并且无污染。但是在真实的情况中，一方面，由于农作物生长环境的多样性和复杂性导致农作物图像质量差异较大，另一方面，由于易遭受图像采集设备以及传输信道随机噪声的影响，农作物图像质量可能会严重受损。因此，研究合适的农作物图像质量评价模型对识别农作物图像质量具有重要意义，能够显著提高整个智慧农业系统信息管理的有效性和准确性。本文以农作物图像为研究对象，以Gabor特征为技术核心，提出一种半参考质量评价模型。该模型的主要目标是在接收端实现对农作物图像质量的自动识别，并根据具体的应用需求做出相应的筛选。

当前，对数字图像的质量评价整体上可以分为2类：主观质量评价方法和客观质量评价方法[3]。简单来说，主观质量评价方法是由一组观测者在一定的环境和标准[4]下对图像质量做出判断，但是该判断结果易受到主观因素的影响，并且在实现上耗时耗力，不满足农业现代化以及自动化发展的需求。相反，客观质量评价方法是一种能够自动识别图像质量的计算模型，一般来说需要满足2个条件：单调性和高效性。单调性是指客观评价模型对同种质量失真类型的不同失真程度具有良好的识别。高效性是指客观评价模型具有较快的计算速度，较低的存储需求。此外，由于人眼是图像的最终接收端，客观评价模型还应该在设计的过程中充分考虑人眼的视觉特征，以达到较好的主观一致性。目前，图像的质量评价方法主要是基于客观评价方法[5-9]。根据对原图像的依赖程度，可以将客观质量评价方法分为以下3种类型：全参考图像质量评价(Full-reference)、半参考图像质量评价(Reduced-reference)、无参考图像质量评价(No-reference)[10]。

全参考图像质量评价模型是目前为止发展最为成熟的一类评价技术[11-13]，但由于在实际的质量监测系统中完整的原图像信息往往是缺失的，导致其实用性较差。无参考图像质量评价模型是最满足实际需求的一类评价技术，不需要原图像的任何信息，利用图像的自然场景统计特征来评价图像质量。该模型虽然实用性很强但是由于缺失必要的参考信息致使质量评价的准确性并不十分理想[14-16]。与此相反，半参考图像质量评价模型是全参考质量评价模型和无参考质量评价模型的一个良好折中，它仅需要原图像的部分信息作为质量评价的依据，可以实现较好的评价准确度，并且具有传输数据量小、计算复杂度低等优点[17-18]。所以，本文从半参考质量评价的角度出发，并考虑到Gabor滤波[19-20]产生的图像表示集合与人眼视觉系统之间的一致性关系，提出一种基于随机Gabor特征的农作物图像质量评价方法，从而实现智慧农业系统中，农作物图像质量的自动识别和筛选，保证高层次农作物图像语义特征的可信度。

1 理论基础

1.1 Gabor滤波

Gabor滤波所采用的核函数能够较好地描述简单视觉神经元的感受野特性，有助于捕捉和识别图像的内在视觉特征。也就是说，Gabor滤波的图像表示特性与人眼视觉系统感知图像的方式类似，可以被应用于图像视觉特征的提取。本文尝试采用Gabor特征来衡量农作物图像的质量失真以达到最大限度的主观一致性。具体地，二维Gabor滤波[21-22]是通过一个带有高斯核函数的平面波调制实现，详细的计算公式如下：

(1)

xθ=xcosθ-ysinθ

(2)

yθ=xsinθ+ycosθ

(3)

其中，λ、σ、θ分别表示平面波波长、高斯核函数的标准差以及滤波方向。

通过欧拉公式：

eiθ=cosθ+isinθ

(4)

公式(1)的Gabor滤波表示形式可以转换成2个二维滤波的集合，分别对应其实部和虚部，其中ge(x,y,λ,θ,σ)表示实部，go(x,y,λ,θ,σ)表示虚部。

(5)

(6)

图1是一个二维Gabor滤波实部和虚部的展示，其中图1(a)表示实部，图1(b)表示虚部。值得注意的是，go(x,y,λ,θ,σ)是奇对称函数，对于图像的边缘和纹理信息具有非常好的表示。由于人眼视觉系对图像的边缘信息高度敏感，而典型的农作物图像往往包含有丰富的边缘、纹理和轮廓特征，并且这些特征在一定程度上反应了农作物的整体生长情况。例如，通过叶片的轮廓预测农作物成熟时间，通过叶片纹理的粗细判断农作物长势，通过叶片边缘监测农作物是否有病虫害等。所以，基于上述事实，对农作物图像质量进行客观评价时，利用Gabor特征虚部来表征农作物图像的边缘纹理信息变化对整体的评价模型具有重要意义。

图1 二维Gabor滤波示例

显然，在Gabor特征的提取过程中，涉及的参数主要有λ、σ、θ。在本文中，对于参数λ、σ，根据经验分别设置为5和1.5。参数θ是在密钥控制下随机生成的一组参数值，参数θ的值越多，Gabor特征的边缘和纹理表示能力越强，但相对应的计算复杂度也随之增加。因此，综合考虑计算模型的评价性能和效率问题，实验中在密钥控制下随机生成3个参数值，分别表示为θ1、θ2、θ3。

1.2 Gabor特征提取

本文所建立的半参考农作物图像质量评价模型是基于图像的亮度分量进行Gabor特征提取，数字彩色图像一般使用RGB颜色模型空间表示，因此，在进行特征提取前，需要对农作物图像进行颜色空间转换，可以将彩色图像中的亮度信息与色度信息分开[23]。具体来说，将农作物图像从RGB颜色空间转换到CIE Lab颜色空间，提取L分量表示亮度信息，a和b分量表示2个颜色信息，转换公式如下所示：

(7)

(8)

其中x0=0.950456,y0=1.0,z0=1.088754。

(9)

然后，将公式(6)建立的Gabor滤波应用于农作物图像的亮度分量L，得到3个方向的Gabor特征，如下所示：

(10)

(11)

(12)

直觉上，如果一个像素产生了较大的Gabor响应，可以认为人眼视觉系统将会更多地关注该像素或者其周围区域，即这个像素能够引发较强的视觉感知。所以，针对3个随机方向产生的Gabor特征，取相同位置最大的响应值作为最终的Gabor特征F(x,y)。

F(x,y)=max {F1(x,y),F2(x,y),F3(x,y)}

(13)

图2是一个Gabor特征的提取过程示例，其中图2(a)是一幅农作物图像，图2(b)是对应的亮度分量图像，图2(c)是相应的随机最大Gabor特征。显然，农作物图像具有比较丰富的边缘和纹理信息，而本文采用的特征提取方法恰好能反应出这些信息，并且也能够很好地感知农作物图像的质量退化。特别地，对于图像中矩形部分，原图像发生了明显的病虫害，而在Gabor特征中也有很好的体现。

(a)原图

(b)亮度分量

(c)随机最大Gabor特征

2 算法描述

本文针对农作物图像提出了一种基于随机Gabor特征的半参考质量评价模型，目的是服务于新型智慧农业系统，实现农作物图像质量的客观评价和自主筛选，为后续的高层次视觉任务提供更准确和可靠的信息。详细的设计流程如图3所示。

图3 本文算法整体框图

在半参考图像质量评价模型中，发送方和接收方分别扮演着不同的角色。在发送方，需要对原图像(参考图像)按照一定的规则提取出能表示图像本质内容的特征，并将这些特征通过辅助通道传输到接收方作为原图像的部分参考信息用于最终的质量评价。与此同时，原图像也将通过传输信道被传送到接收方，但这个过程会不可避免地引入一定程度的污染导致图像质量下降。在接收方，对接收到的失真图像按照预先定义的特征提取规则进行特征提取，并与接收到的原图像参考特征进行相似度计算，得到最终的客观质量评分。具体来说，本文定义的特征提取规则如下：

步骤1对原图像进行预处理，包含的操作有高斯滤波、直方图均衡化、颜色空间转换，目的是初步校正图像质量，降低失真对图像特征提取的影响。

步骤2利用随机种子发生器，在密钥控制下随机生成3个滤波方向。

步骤3提取CIE Lab颜色空间的亮度分量，并根据3个滤波方向对亮度分量进行Gabor滤波操作，并比较相同位置的最大滤波响应得到最终的Gabor特征。

步骤4池化，对步骤3生成的随机最大Gabor特征进行非重叠分块，对于每一个子图像块，计算其能量值作为该块的表示。

步骤5按照步骤4的操作，遍历所有图像块，得到一个一维的图像特征向量。

在接收方，对于接收到的农作物图像，由于在采集或者传输的过程中不可避免地会发生一定程度的失真，这里将接收到的图像统一称之为失真图像。采用步骤1～步骤5定义的特征提取规则得到失真图像的特征向量，然后计算原参考图像的特征向量与失真图像特征向量之间的相似度。本文采用欧氏距离计算特征向量之间的相似度，欧氏距离越小，说明接收到的图像与原图像差异越小，即接收到的图像质量越好，图像内容是可靠的，可以用于后续的高层次农作物图像语义信息分析。相反，如果欧氏距离较大，说明接收到的图像与原图像差异很大，并不适合于进一步的分析。在实际的农作物质量监测系统中，根据具体的应用需求设计一个合适的阈值来筛选需要的农作物图像。如果2幅图像之间的欧氏距离小于设置的阈值，说明采集到的图像值得信赖，可以用于高层次的语义分析，比如检测生产情况、定位病虫害位置等。如果2幅图像之间的欧氏距离大于设置的阈值，说明该图像失真严重，可以直接放弃，减少了质量检测系统的存储空间需求，并提高了工作效率。

3 实验结果

为了说明本文所提出的基于随机Gabor特征的半参考农作物图像质量评价模型的有效性，首先创建一个农作物图像数据库。在该数据库中，共包含了1075幅农作物图像，其中25幅原图像(均来自于真实的农作物图像采集系统)以及1050幅失真图像。具体来说，对于每一幅原图像，使用Matlab工具分别对其进行6种不同类型的失真攻击，即椒盐噪声、高斯噪声、斑点噪声、白噪声、JPEG压缩与亮度调整。针对每一类型的失真攻击，通过调整相应的参数获得7个不同等级的失真图像。所以，每一幅原图像均对应42幅失真图像，最终得到1050幅失真图像。

然后，利用本文提出的特征提取方法，提取原图像以及对应失真图像的特征向量，分别采用欧氏距离和余弦相似度计算特征向量之间的相似度。值得注意的是，对于每一个特定的失真类型，比如椒盐噪声失真，当使用欧氏距离进行相似度衡量时，原图像与失真图像特征向量之间的欧氏距离理论上应该随着失真等级的增加而单调增加；当使用余弦相似度进行相似度衡量时，原图像与失真图像特征向量之间的余弦相似度应该随着失真等级的增加而减小。也就是说，所提出的客观质量评价模型应该有能力感知图像质量的逐步退化，以方便实际质量监测系统中阈值的设置和图像质量的划分。图4和图5分别展示了每一种失真类型下，原图像与失真图像在不同的失真等级下欧氏距离和余弦相似度的分布特性。其中，x轴表示每一种失真类型下7个逐渐递增的失真等级，y轴表示每一个失真等级下所有失真图像欧氏距离和余弦相似度的平均值。

(a)椒盐噪声 (b)高斯噪声

(c)斑点噪声 (d)白噪声

(e)JPEG压缩 (f)亮度调整

(a)椒盐噪声 (b)高斯噪声

(c)斑点噪声 (d)白噪声

(e)JPEG压缩 (f)亮度调整

显然，通过图4和图5能够发现，在6种常见的失真类型中，图像相似性均表现出了良好的单调性。这说明本文提出的基于随机Gabor特征的半参考农作物图像质量评价模型能够很好地感知图像质量的逐步退化，满足客观质量评价方法的单调性需求。并且，根据不同失真类型的欧氏距离和余弦相似度分布特性，在实际的质量监测系统中，可以灵活地设置合适的阈值以达到不同目的的质量筛选，这对于整个智慧农业系统具有重要的理论和实际意义。

4 结束语

本文提出了一种基于随机Gabor特征的半参考农作物图像质量评价方法。一方面，二维Gabor滤波的核函数能够较好地描述简单视觉神经元的感受野特性，其多频率和方向特征与人眼视觉系统感知图像的方式类似；另一方面，人眼视觉系统对图像的边缘和纹理信息高度敏感，而农作物图像往往具有丰富的边缘和纹理信息。基于这些事实，本文采用Gabor滤波分析农作物图像的纹理和边缘分布特征，建立半参考农作物图像质量评价模型，这在很大程度上实现了客观评价方法与人为主观评价结果的一致性，提高了评价模型的准确性。通过在包含有1075幅农作物图像的数据库上进行实验分析，结果表明，本文提出的客观评价模型能够很好地感知失真图像的质量退化，可以服务于实际的农作物图像质量监测系统。并且，该评价模型可以灵活地设置合适的阈值来满足具体农作物图像的高层次视觉任务，在新型智慧农业系统中发挥着重要作用。特别强调的是，由于真实场景农作物图像发生的失真类型更加复杂，未来工作将会着重于多重失真的农作物图像质量评价，以更好地服务于新型农业信息化需求。