复杂背景下茶树害虫图像计数算法研究

黄灿灿，陈亚龙，张 伟，蔡 强

（浙江清华长三角研究院，浙江 嘉兴 314006）

害虫对茶叶品质与产量的影响不可忽视。目前，通常采用捕虫灯诱捕茶园害虫［1］，然后对捕杀后的害虫进行人工计数，以判断茶树虫害情况。但依靠人工计数效率低且不能实现害虫形势的实时反馈［2］，故需研究茶树害虫自动计数方法代替人工计数。

基于图像处理技术的害虫虫情监测是研究热点［3-5］。肖德琴等［6］研究了基于机器视觉的蔬菜害虫计数算法，提出基于结构化随机森林的图像分割算法，并利用去除背景干扰和监测模型计数算子算法完成对蔬菜害虫蓟马、烟粉虱和实蝇的识别计数；陈树越等［7］研究了粮仓害虫图像的计数算法，提出一种改进的凹点检测和精确分割点定位的分割算法，对粘连害虫的图像分割效果较好。但上述研究的样本图像采集环境较理想，未充分考虑田间原位采集图像的复杂情况。

原位采集的样本图像背景复杂，主要表现为在实际田间自然条件下拍摄的害虫图像易受到拍摄角度以及光照等因素的影响［8-11］，采集的样本图像通常清晰度不高、整洁度低、叶片与尘埃干扰物多，这些因素都增加了图像处理的难度。为了解决上述问题，本试验研究了复杂背景下茶树害虫图像的计数方法。

1 样本图像获取与分析

1.1 测试平台

测试使用设备及平台：捕虫设备为某农业物联网公司生产的拍照式捕虫灯；计算机1 台（操作系统为Windows7，64bit）；图像处理软件为Matlab（版本为2015年）。

1.2 样本图像获取

害虫采集于南方地区茶树田间，采集时间为8—9月，依托当地茶田常用的具备拍照功能的捕虫设备，采集茶树害虫图像。捕虫设备外部结构如图1a，内部安装有拍摄模块用于抓拍害虫图像。采集到的样本图像如图1b 所示。

图1 捕虫设备和样本图像

2 害虫区域提取

害虫区域图像的完整性直接影响后续计数的准确性，因此对图像进行预处理时，需要将害虫区域与背景进行分离。常用于分离背景与目标的方法主要有两种：基于灰度阈值和颜色特征。

首先通过基于灰度阈值分离背景图像，采用基于全局阈值处理的分割方法对样本图像进行处理，结果如图2 所示。获取样本图像直方图（图3a），通过颜色分量R、G、B 阈值来分割害虫与背景，分割结果如图3b、图3c、图3d 所示。从分离背景图像的结果可知，①样本图像二值化阶段，阈值难以确定，图像二值化比较困难；②样本图像中的害虫区域颜色特征不明显，难以通过颜色分量阈值对害虫区域进行提取；③图像背景中存在干扰线条，难以去除。为解决上述问题，提出一种网格划分图像的方法，将图像划分成10×10 的图像，然后对划分后的图像进行处理，实现背景分割，提取害虫区域。

图2 基于全局阈值处理结果

图3 基于颜色特征分割结果

2.1 图像灰度化处理

样本图像为彩色图像（RGB 图像），需要转换为灰度图像，灰度化处理结果如图4 所示。

2.2 灰度图像转换为二值图像

2.2.1 图像网格划分处理 将样本灰度图像（图4b）划分成10×10 的网格，如图5a所示。划分后的图像（图5b）的灰度分布相对均匀，通过最大类间方差法获取图像阈值，对图像作二值化处理。

图4 图像灰度化处理

图5 害虫区域提取过程

2.2.2 二值图像转化 在图像处理中，灰度图像转化为二值图像使图像变得简洁，且便于分离害虫与背景区域。获取网格图像的阈值G用于图像二值化处理，以图5b 为例，通过最大类间方差法获取其阈值G=153，将灰度值大于或等于153 的像素值转化为白色（即255），小于153 的转化为黑色（即0），二值化后的图像如图5c所示。

2.2.3 去除背景干扰线条 减少不必要的冗杂信息，凸显感兴趣的目标区域。在样本图像中，背景干扰线条即为多余的信息，影响对害虫区域图像的提取以及计数的准确率，需要在保留害虫区域特征的前提下加以去除。

以图5c 中的干扰线条为例，通过膨胀腐蚀来去除，先后以w1 和w2 对图5c 做膨胀处理，处理结果如图5d 所示。膨胀处理的结构元素记为w1 和w2。

2.2.4 形态学滤波处理及空洞填充 从网格图像处理结果可以看出，经过处理后，图像已去除了背景的干扰线条，且保留了害虫形态轮廓特征。将10×10处理后的网格图像重新拼接成完整图像，处理结果如图6a所示。

形态学滤波可以很好地去除图像中噪声和小颗粒现象以及平滑边界［12］。图6a 中害虫区域信息保留完整，背景干扰线条完全去除，但该图像仍然存在细小颗粒、噪声和空洞等现象，需要进行形态学滤波处理和空洞填充。利用3×3 菱形结构元素对图像进行滤波处理，然后进行空洞填充和平滑边界等操作，结果如图6b 所示。

图6 害虫区域提取结果

3 粘连害虫的分割

虽然害虫区域与背景完全分离，且害虫形态特征信息保留完整，但是图像中存在较多的害虫粘连现象，直接对其做计数处理，计算结果不准确。为了提升害虫计数的准确率，需要将粘连的害虫图像进行分割。

3.1 传统的梯度变换分水岭分割算法

分水岭分割算法是一种基于拓扑理论的数学形态学的分割方法［13］，把图像看作地理学上的拓扑地貌，具有山谷和山脊的地理模型，图像中每一像素点的灰度值表示该点的海拔高度，每一个局部极小值区域表示集水盆地，而集水盆地的边界代表分水岭。将山地模型浸入水中，山谷最低处（局部极小值区域）表面刺穿一个小洞，水进入山谷，随着水位上涨，山谷逐渐被水淹没，为了避免山谷与山谷之间的水汇聚到一起，建立堤坝，形成分水岭。

由于受到噪声、其他局部不规则结构以及区域内纹理的影响，直接运用传统分水岭分割算法分割图像时会产生多个分水岭，进而导致图像过度分割，直接以传统的梯度变换分水岭算法做分割处理，图像结果如图7 所示。

3.2 基于标记控制的分水岭算法

从图7 分割结果可知，由于害虫区域图像中有较多的噪声和纹理特征，传统的梯度分水岭分割算法存在严重的过分割问题。为解决该问题，采用基于标记控制分水岭的图像分割算法，实现对害虫区域分割，去除图像粘连，在分水岭分割前，首先对图像进行标记（标记本身是图像中的连通元素［14］，分为内部标记和外部标记，分别完全包含目标区域和背景区域），确定图像中内部标记和外部标记后，在标记图像的控制下对样本图像进行分水岭变换和分割处理，实现对害虫粘连区域的分割。

图7 传统的基于梯度分水岭算法分割结果

3.2.1 内部标记 内部标记代表图像中的害虫区域，首先对输入图像进行Sobel 滤波处理，然后获取局部极小值区域的图像，极小值像素集合表示为Rmint（f），直接获得的极小值区域Rmint（f）中包含了许多不相关的图像特征，运用h-极小值［15］变换，消除不相关的局部极小值以减少过分割，其中h-极小值处理后的图像中的区域极小值即为扩展极小值，记为Eminh（f），即得到内部标记。

1）梯度图像。梯度图能直观地反映图像像素灰度变化信息，对后续分水岭的分割效果有着至关重要的作用。通过Sobel 算子对图像水平和垂直方向进行滤波处理，得到梯度图像grad（f（i，j）），梯度计算公式为：

其中，grad（f）表示梯度运算，Iv和Ih分别代表So⁃bel算子分别检测图像在垂直和水平方向的梯度。

2）区域极小值Rmint（f）。区域极小值表示图像f在高度t处的区域极小值M是像素值为t，且其外部边缘像素值严格大于t的像素连通成分。

3）h-极小值变换。区域极小值Rmint（f）中标记出部分不相关的图像特征（包括未完全去除的暗噪声和不规则的细节纹理），h-极小值变换是通过抑制局部极小值中深度大于或等于给定阈值h的极小值，减少标记区域中不相关的图像特征，从而减少过分割的现象。该过程主要通过在f+h中对f进行腐蚀重建来实现：

其中，h为根据经验设定的阈值，h∈N，Hminh（f）表示h-极小值表示腐蚀重建变换。

4）扩展极小值标记Emin。Hminh（f）区域极小值即为扩展极小值集合：

5）将扩展极小值标记图像记为fin。fin（i，j）表示图像中的像素点：

3.2.2 外部标记 外部标记包含背景像素的图像区域，而扩展极小值图像中标记区域外的部分即为背景区域。因此，通过对扩展极小值标记图像进行距离变换，获得外部标记。

距离变换是通过对二值图像进行操作的运算，将其转换为灰度图像的操作运算［16］。背景区域图像与扩展极小值标记图像相比，区别在于标记的区域不同，前者标记位于背景区域，后者位于害虫区域，但两图像大小相同。背景区域图像记为fm，fm=［aij］，aij=1 的像素对应目标区域，aij=0 对应背景区域。将距离变换后的图像记为fout，即为外部标记。

3.2.3 深度阈值h的选择 扩展极小值变换中设定的深度阈值h，主要作用是消除深度大于h的极小值，减少分水岭过分割的区域。h值大小直接影响图像分割的效果，太大会滤除部分极小值区域而造成欠分割；太小对局部极小值抑制作用不足，导致过分割。但对于如何确定阈值h，目前还缺少有效的方法［17］，针对该捕虫设备所获取的样本图像，以过分割率ηg、欠分割率ηq和误分割率ηw衡量算法分割优劣的指标。过（欠）分割率指由于过（欠）分割导致害虫数量多于（少于）实际数量，其比值即为过（欠）分割率，过分割和欠分割均属于误分割。因此，推出下式：

无论是过分割还是欠分割，均导致计数准确率下降，只有当过分割率与欠分割率相等时，误分割率才能达到最低，计数准确率相对最高。因此，从样本图像再随机选取10 幅进行阈值h的测试试验，在h<5和h>25 时，会出现严重的欠分割和过分割，因此在进行测试试验阶段，阈值h的取值范围确定为［5，25］，步长为1。在每一个阈值下，计算10 幅图像的过分割率、欠分割率和误分割率，并求其平均值，结果如图8 所示。

图8 阈值h 对分割率的影响曲线

通过上述的阈值h测试试验结果可知，当h为14 时，误分割率达到最小为4.86%，不同阈值分割效果如图9 所示。

图9 深度阈值h 对分割结果影响

3.2.4 分水岭分割结果 距离变换的结果图像中，较暗的区域对应害虫区域，较亮的区域（即外部标记）对应背景。首先，对结果图像作分水岭变换得到分水岭线，即为粘连害虫的分割线，如图10e 所示。结合图10e 对图10b 做分割处理，最终得到分割结果，如图10f所示。

图10 标记控制分水岭算法分割流程

3.2.5 鲁棒性测试 为了验证图像预处理和分割算法的稳定性，对图像添加椒盐噪声、高斯噪声和斑点噪声进行试验，为了保证图像中害虫特征不被破坏，在对应方差范围下，添加的噪声的方差分别为0.05、0.01 和0.01。然后对添加噪声后的图片分别进行害虫区域提取和分水岭分割（阈值h仍取14），结果如图11 所示。

图11 不同噪声环境测试

样本图像添加了不同噪声，但是图像预处理过程中进行了形态学处理，因此噪声对算法整体影响相对较小，且从表1 结果可知，对比添加噪声后的处理结果，算法平均耗时和误分割率差距较小，进一步确定算法在不同噪声影响下具有一定的鲁棒性。

表1 不同噪声条件下测试结果

4 害虫计数

在图像预处理阶段，采用网格划分图像的处理方法去除干扰线条，实现图像中背景害虫区域的分离，然后通过控制标记分水岭分割算法，分离图像中粘连的害虫区域，最后完成图像的分割，算法的流程如图12 所示。

图12 算法流程

从采集的样本图像随机选取10 幅采用上述算法进行图像处理，统计图像中连通区域数目作为害虫的数目，计数结果如表2 所示。由表2 可知，以人工计数为基准，直接对样本图像中害虫进行计数时，由于图像中存在害虫粘连的问题，计数准确率相对较低，平均准确率为77.9%；经过标记控制的分水岭分割算法，分离了图像的粘连害虫区域，平均准确率为91.8%，比直接计数的准确率提升了13.9个百分点。

表2 害虫计数结果

5 结论

以南方地区茶树田中常用的某型号害虫捕捉设备采集的样本图像为研究对象，通过分离背景对样本图像进行分割处理，分析了难以提取害虫区域的原因，提出了将图像按网格划分，结合形态学处理方法，在保留害虫形态特征信息的前提下，提取害虫区域；针对图像中害虫区域粘连的问题，采用扩展极小值标记分水岭分割算法，建立图像的内外部标记，经过多次阈值测试试验确定深度阈值为14 时，图像分割效果最佳，以此完成对粘连图像的分割；对分割后图像连通区域进行计数，得到害虫数目。该算法计数的平均准确率为91.8%，相较于直接计数，准确率提升了13.9 个百分点，能够满足害虫虫情监测需求，为茶园害虫快速自动计数提供了技术支撑。