基于多尺度多方向分解的自然场景下麦穗计数

鲍文霞，张婷婷，胡根生，梁 栋

(1.安徽大学 农业生态大数据分析与应用技术国家地方联合工程研究中心，安徽 合肥 230601;2.安徽大学 电子信息工程学院，安徽 合肥 230601)

全球粮食安全取决于3种主要粮食作物(小麦、水稻和玉米)能否实现和保持高产，以及未来产量的提高.小麦作为世界主要农作物之一，小麦产量的稳定在全球粮食安全中起着至关重要的作用[1].随着机械化水平的提升，数字农业被提出和重视，如何快速而准确地得到单位面积麦穗数的统计值对于大田麦穗产量估计至关重要.

随着数字农业的提出和发展，传统的数字图像处理、深度学习方法等技术在农作物识别计数方面的研究也引起重视.传统的方法是基于数字图像处理对获取的小麦麦穗图像的颜色特征和纹理特征实现小麦麦穗计数方法.如文献[2]通过颜色空间转换，对比了不同颜色空间下颜色特征和纹理特征的提取，分析出不同的颜色空间对小麦麦穗计数存在不同的影响；文献[3]提出只基于小麦麦穗图像的颜色特征提取实现小麦麦穗计数；文献[4-5]提出采用颜色特征的红-绿归一化和纹理特征提取相结合来实现散播和条播麦穗识别计数，分析出在无粘连或者粘连较少的情况下，此方法取得较高的小麦麦穗计数精确度.深度学习方法在农业方面的应用研究也迅速发展，在自然场景小麦麦穗计数方面也有学者提出新方法.如文献[6]提出了基于多特征提取和双支持向量机去噪的田间麦穗计数方法；文献[7]提出基于堆叠沙漏网络进行多任务学习，同时获取小麦麦穗值、小麦麦穗小穗粒值和进行有无麦芒识别；文献[8-10]分别提出利用不同的深度学习网络结构实现对自然场景下的小麦麦穗计数的方法.

根据麦穗图像中麦穗信息、叶片信息和土壤背景信息的频段分布不同的特点，可以采用文献[11-12]提出的多尺度多方向图像分解方法获取不同频带信息.论文提出通过NSCT(nonsubsampled contourlet transform)算法[13-17]的多尺度多方向图像分解获取小麦麦穗子带图像，并结合灰度阈值分割和形态学处理得到独立的麦穗信息.利用Find maxima算法[18]思想实现麦穗计数，通过论文方法实现的计数总体精确度在95%左右，略高于其他基于颜色特征和纹理特征的自然场景下麦穗计数方法.

1 麦穗图像获取

小麦麦穗图像数据采集地点为郭河镇和桃溪镇实验基地.郭河镇实验基地位于北纬31°、东经117°的安徽省合肥市庐江县.桃溪镇实验基地位于北纬31°、东经116°的安徽省六安市舒城县.采集时间为2019年5月2～9日9:00—16:00.采集温度范围为18～25 ℃，采集湿度范围为30%～50%.采集设备：相机型号为Canon EOS 600D，分辨率为5 184×3 456.采集方法:①采用40 cm×50 cm的纸箱框架，固定框架位置，利用设备Canon EOS 600D相机垂直角度拍摄；②采用60 cm×60 cm的矩形框架，固定框架位置，利用设备Canon EOS 600D相机垂直角度拍摄.采集12种不同麦穗品种图像，麦穗品种有：安农170号、宁麦24号、黄淮南部小麦、乐麦608号、宁麦9号、扬麦13号、扬麦19号、扬麦22号、扬麦24号、苏麦188号、皖西麦0638号、生选6号.

图1为麦穗图像实验数据采集：(a)为桃溪镇实验基地附有小麦品种标记的实验田图像；(b)为郭河镇实验基地简介图像；(c)为实验基地工作图；(d)为利用40 cm×50 cm的纸箱框架采集的小麦图像，其品种为宁麦24号；(e)为利用60 cm×60 cm的矩形框架采集的小麦图像，其品种为扬麦19号.

2 小麦麦穗计数

自然场景下麦穗计数受场景中自然光照不均、小麦叶片遮挡和土壤背景等因素干扰，光照影响主要通过图像预处理操作减少影响，如何减少小麦叶片遮挡和土壤背景的影响是实现自然场景麦穗准确、高效计数的主要研究问题.在常用的空间域方法中对自然场景下的麦穗图像直接通过颜色特征、纹理特征等方法,分别提取存在的叶片信息和土壤背景信息的干扰.由于自然场景下麦穗图像中的麦穗信息、叶片信息和土壤信息在频率域中的频率子带不同：叶片信息和土壤信息灰度变化相对平坦，集中在低频区中；图像细节和噪声等信息集中在高频区中；麦穗信息集中在某些频段子带中.通过空间域和频率域图像处理方法分析，频率域方法可以更好地实现自然场景下麦穗图像中麦穗信息的提取.

NSCT算法由非下采样金字塔和非下采样方向滤波器组构成.该算法利用滤波器组实现图像多尺度频带分解，利用方向滤波器组实现图像多方向分解.

2.1 麦穗图像的多尺度多方向分解

为了实现平移不变性，提出非下采样金字塔多尺度分解和迭代的非下采样滤波器组多方向分解，公式为

(1)

其中：c(n)为输出结果，x(k)为选定的滤波器，h为波带矩阵，s为样本矩阵.

非下采样方向滤波器组, 采用átrous算法的思想, 通过消除上采样和下采样操作, 而只对滤波器上采样得到, 形成了一个由多个双通道非下采样方向滤波器组成的树形结构，把二维频率平面分割成多个具有方向性的楔形结构.对带通子带图像进行8级非下采样方向滤波器变换，变换方向子带8个扇区依次由坐标轴和22.5，45，67.5，112.5，135，157.5，-157.5，-135，-112.5，-67.5，-45，-22.5°划分，n方向区间公式为

(2)

NSCT分解框架图及方向滤波器如图2所示.非下采样金字塔多尺度分解，利用滤波器组进行非下采样滤波将图像分解为高通子带图像和低通子带图像，其中高通分解滤波器模块H1(Z)与低通分解滤波器模块H0(Z)满足H0(Z)+H1(Z)=1 .通过对前一级分解得到的H0(Z)低通子带图像进行迭代分解，实现多级(k级)金字塔滤波分解，得到k+1个子带图像.k级分解得到各子带公式为

(3)

由于其他区域相对麦穗部分灰度值平坦，可以通过NSCT高低频分解，运用该算法的多尺度多方向分解获取该图像的多个频段信息子带，可以高效提取集中含有麦穗信息频段的带通子带图像，并且获得的麦穗带通子带图像尺寸大小与原图保持一致.实现过程如下：首先对RGB(red, green, blue)图像数据分成RGB 3个通道，然后分别将各个通道的图像作为输入图像，通过非下采样金字塔和方向滤波器组对图像进行k级j个方向子带图像分解，得到多个多方向带通子带图像和一个低通子带图像.然后对每层分解的带通子带信息进行分析，其每个方向子带图像尺寸与RGB图像相同，将2，4，6，8方向子带信息合并，实现目标信息的提取.NSCT多级分解，可以保证在有效去除噪声而且可以不模糊图像边缘信息的情况下获取麦穗的有效信息.

图2 NSCT算法多级分解框架图

图3是通过纸箱框架采集的宁麦24号麦穗图像，其中(b)为(a)采用NSCT处理的实验图.

图3 宁麦24号麦穗图像

图4是通过矩形框架采集的扬麦19号麦穗图像，其中(b)为(a)采用NSCT处理的实验图.

图4 扬麦19号麦穗图像

2.2 子带图像分割及形态学处理

采用经过NSCT多尺度多方向分解获得的带通子带图像进一步处理，通过去除部分含有叶片信息和土壤信息的子带图像，有效降低了叶片、土壤背景和噪音等信息的干扰.进行NSCT操作后获得的麦穗带通子带图像仍然含有少量叶片信息的干扰，因此采用灰度阈值分割方法进一步提取麦穗信息.

设麦穗带通子带图像为f(x,y)，其灰度值范围为[0,L],T为0至L之间的一个合适阈值，满足0≤T≤L，其中阈值T是由图像灰度直方图和实验经验来确定.

(4)

灰度阈值分割仍存在麦穗粘连、噪声干扰、较小麦穗信息保留等问题，而形态学处理能够弥补这部分的缺失，可以在有效去除噪声、粘连的同时又能较好地保护小麦穗的信息.阈值分割对于不同大小麦穗目标信息处理时容易出现小目标麦穗统计计数丢失和大目标麦穗重计数问题，所以论文采取形态学的腐蚀运算、膨胀运算等操作对麦穗图像进行去噪处理.

设f为阈值分割后的麦穗图像，对f进行基于3×3最小滤波器模板B的形态学膨胀和腐蚀操作，其结果分别为

D(f)=f⊕B={x,y|(B)xy∩f≠∅}，

(5)

E(f)=f⊗B={x,y|(B)xy⊆f}.

(6)

论文计数主要依赖于形态学处理后图像中的连通区域数目来实现统计，所以噪声的存在会增加统计计数的误差,此处阈值分割结合形态学处理可以实现对阈值分割结果的进一步优化.

2.3 Find maxima计数及算法评价指标

采用Find maxima方法实现自然场景下麦穗图像的麦穗计数．Find maxima方法是通过寻找局部最大值，确定图像中的局部峰值，然后利用每一个局部极大值的像素值与最近邻像素方差实现二值图像的分割，计算连通局部区域最大值个数实现自然场景下麦穗图像中的麦穗计数．

绝对误差为

(7)

相对误差为

(8)

总体精度为

(9)

精确率为

(10)

漏检率为

(11)

虚检率为

(12)

2.4 算法步骤

论文基于多尺度多方向分解的自然场景下麦穗计数算法的实现步骤如下：

(1) 多个实验基地对不同品种小麦采取不同的方式进行麦穗RGB图像数据采集，其中包括40 cm×50 cm纸箱框采集和60 cm×60 cm框架采集，共采集12个麦穗品种的RGB麦穗图像数据.

(2) 对获取的RGB麦穗图像进行初步的预处理，去除部分噪声干扰和实现图像增强.

(3) 对预处理后的图像进行基于NSCT的多尺度多方向分解，获取含有麦穗信息的带通子带图像，实现去除叶片、土地等背景信息干扰.

(4) 对麦穗带通子带图像进行阈值分割和形态学处理，进一步实现麦穗信息提取和分割.

(5) 最后利用Find maxima算法通过计算局部区域最大值实现连通区域的计数，进而实现麦穗的统计计数.

3 实验结果与分析

3.1 实验结果

实验根据采集的麦穗图像数据的品种不同，在论文方法下分别进行多组实验分析.图5是不同麦穗品种的实验对比，每个品种麦穗选取10个样本.从实验结果可以看出，所有样本平均总体精度达到94.67%,平均精确度达到92.78%.

图5 不同麦穗品种实验结果

3.2 多种图像处理方法与论文方法的实验结果对比

通过上述结果显示，论文方法可以有效实现自然场景下麦穗计数，传统的麦穗计数方法有基于颜色特征提取、颜色特征和纹理特征提取、HSV(hue,saturation,value)颜色空间变换、YIQ(luminance(Y),in-phase quadrature(NTSC color space))颜色空间变换等方法.论文对上述几种方法进行实验对比分析,结果如表1所示，其中品种为扬麦24号，样本量为10个.由分析可知，论文算法可以有效提高自然场景下麦穗计数的麦穗总体精度和精确度.

表1 不同方法下的计数结果

3.3 Find maxima计数和角点检测计数对比实验

论文中采取的是Find maxima方法，该方法是通过计算局部区域最大值来实现计数，而harris角点检测算法较多运用于计数统计方面.角点检测是对形态学处理后的图像进行骨架化操作，然后对麦穗骨架图像进行harris角点检测.角点检测对麦穗图像中有麦穗交叉情况的计数效果较好，但是由于麦穗也可能出现折断或弯曲角度过大等情况，也存在一定的误差.Find maxima计数是根据其连通区域取最大值标点计数方式，适用于麦穗图像中麦穗粘连情况较少的情况.而当粘连情况较多时，可选择较常用的harris角点检测算法.图6是分别对此进行对比实验结果.表2为不同计数方法的结果对比.

图6 实验结果

表2 不同计数方法的结果对比

4 结束语

论文提出基于多尺度多方向分解的自然场景下麦穗计数方法，通过利用NSCT的多尺度多方向分解对采集的自然场景下的RGB小麦麦穗图像进行处理，提取含有麦穗信息的带通子带图像部分，可以有效减少叶片、土壤背景和噪声等信息的干扰.该方法在计数精度方面相较于其他的基于颜色特征、纹理特征的麦穗计数方法有着明显的提升.在深度学习方法迅速发展的环境下，利用深度学习网络进行实验以进一步提高自然场景下麦穗计数精度是论文下一步的研究方向.