基于时序图像跟踪的葡萄叶片病害动态监测

乔 虹，冯 全，张 芮，刘阗宇



基于时序图像跟踪的葡萄叶片病害动态监测

乔 虹1，冯 全1※，张 芮2，刘阗宇1

（1. 甘肃农业大学机电工程学院，兰州 730070； 2. 甘肃农业大学水利水电工程学院，兰州 730070）

为提高自然成像条件下的酿酒葡萄图像中病害识别的可靠性，对时序叶片图像作连续病害检测并监测病斑变化情况。首先，在每一天利用Faster R-CNN算法对摄像机视场中葡萄叶片进行检测，对检测到的叶片采用改进卡尔曼滤波法进行跟踪，以获得叶片正面图像。为了实现多叶片跟踪和解决由遮挡而造成的跟踪失败问题，该文在卡尔曼滤波和匈牙利算法基础上，结合运动测度和深度外观信息对跟踪目标进行匹配，运动匹配时采用马氏距离，外观匹配方面采用最小余弦距离。其次，将不同日期的叶片正面图像做SIFT（scale-invariant feature transform）匹配，找到同一叶片按日期排列的一组序列图像，并在序列图像中通过深度学习技术进行病害识别。最后，通过监测叶片序列图像上病斑相对面积变化或病斑数量是否增加来确认病害的存在。该文对提出的跟踪算法、叶片匹配算法和序列图像上病害识别的精度进行了测试，试验表明：跟踪算法平均多目标跟踪准确度为73.6%，多目标跟踪精度为74.6%，基于判别模型颜色特征的传统跟踪算法两指标分别为14.3%和61.3%；基于SIFT特征的叶片匹配在识别同一叶片时的精度达到了90.9%；病害监测方面，虚警综合排除率（马修斯相关系数）达到了84.3%。该文的方法可以排除一些虚假病害，病害监测的可靠性有所提高，可适用于自然条件下葡萄病害的连续在线监测。

图像处理；病害；监测；Faster R-CNN；动态监测；叶片匹配；跟踪

0 引 言

近年来，中国葡萄酒酿酒产业稳步发展，葡萄种植产业规模逐渐增大。在葡萄生长过程中，病害成为制约其高产、优质、高效益的重要因素之一。采用现代信息技术实现对作物病害的快速准确识别，对于病害的有效防治具有十分重要的意义。目前大多数基于计算机视觉的作物病害识别是在静态图像上进行[1-6]，其处理步骤基本如下：样本采集→叶片分割→对叶片病害进行分割→病害特征提取→病害识别。但是在大田条件下所获取的作物图像中，目标叶片经常存在一些泥土污渍、农药残留、阳光灼伤或鸟屎等斑块，其形状、颜色与病斑颇为相似，在静态图像上进行一次性识别时，很容易被误判为病斑，会造成病害监测识别系统的虚警率过高。与病斑不同的是，这类斑块并不会生长。在线监测条件下，对同一叶片的序列图像进行检测和跟踪，可以对比不同时段叶片上斑块的变化，能排除虚警，提高病害识别的鲁棒性。

为了对同一叶片不同时期的图像进行比较，本文首先通过检测和跟踪找到姿态较正的叶片。目前，常用叶片检测识别方法[7-12]是在特定背景和条件下，对叶片图像进行采集，再将叶片目标特征从背景中分割出来，最后对所提取的叶片特征（形状、纹理）利用匹配技术进行检测与识别。马媛等[11]利用方向梯度直方图（histogram of oriented gradient，HOG）特征和支持向量机检测葡萄叶片，对自然光照下的葡萄叶片图像有一定鲁棒性，但HOG特征并不具备旋转不变性，因此不能正确检测姿态不正或有重叠遮挡的叶片。杨森等[12]采用改进可变形模型（deformable part model，DPM）方法检测叶片，该方法流程复杂，速度慢，训练困难；在检测遮挡或由风吹引起的叶片翻转时效果不佳。近年来，诸多学者提出了多种跟踪算法[13-17]，主要用于对行人和车辆监控方面[18-22]。文献[12]采用了基于判别模型和颜色特征的跟踪方法，它对外观相似、目标重叠遮挡、叶片短暂性离开视线等情况的处理效果不理想，且跟踪速度较慢。对于生长在大田环境中的葡萄叶片，存在风和光照变化等不可控因素影响，造成叶片难以被连续跟踪，给在线监测带来了很大困难。

本文采用Faster R-CNN框架[23]作为葡萄叶片的检测方法，结合运动信息和外观信息度量的实时跟踪框架，实现对葡萄叶片运动的准确跟踪，从而能在监测视频中找到该叶片姿态最正的图像，对每天采集姿态较正的叶片进行匹配，最后对匹配的叶片作病害检测，通过比较叶片上病斑的相对面积的变化，最终可以排除虚警，以提高葡萄病害监测的可靠性。

1 数据集采集

本文测试数据集由3部分组成：叶片视频数据集（供叶片跟踪用），静态叶片数据集（供叶片匹配用），叶片序列图像数据集（供排除虚假病害用）。

试验所用到的视频和图像数据集的样本采集于2016年5月至2017年9月期间，从甘肃多地葡萄种植区（甘肃农业大学葡萄园，甘肃天水、永登等地葡萄园）拍摄得到，相机型号为Cannon 1200D，自然条件下拍摄,未使用人工照明。测试视频分辨率为1 920×1 088像素，格式为MOV。叶片视频数据集包含10段视频，每段时长约为15 min，在自然风条件下拍摄，风力3～5级。静态叶片数据集是对视频中的叶片进行跟踪，截取姿态端正的叶片图像组成的数据库。

叶片序列图像数据集构造过程如下：在各视频监测点，当计算机判断葡萄叶片上有疑似病斑出现时，每天对拍摄视频经过检测、跟踪，截取姿态最佳叶片图像，经过多日拍摄后，将同一叶片不同日期的一组图像视为一组序列图像。叶片序列图像数据集由65组序列图像组成，序列图像覆盖的日期从7至20 d不等。经过植保专家鉴定，其中的54组确系病害，11组为误判。

2 叶片病害动态监测方法

图1为本文方法的处理流程图。首先，在第1天监控摄像头视野内拍摄的葡萄叶片视频中截取姿态端正的（正面）叶片，对其逐个编号并存入镜头叶片数据库。以后每天将数据库中的叶片与当天的摄像头视野内的姿态端正的叶片进行匹配，匹配时的特征采用SIFT[24]特征。若叶片能够匹配则编号不变，对于没有匹配的叶片，则在数据库中增加该叶片及编号。为防止数据库容量过大，数据库中连续3 d未被匹配的叶片，则将其从库中删除。对数据库中同一编号的叶片进行病害检测，如果检测到其中某张图像有病害，则在后续的图像中连续测量病斑的面积，同时检测该叶片病斑数量有无增加。若存在上述2种情况中的一种，则该叶片被认定有病害发生，否则，则认为是虚警。

图1 葡萄叶片病害动态检测总流程图

为了获得姿态端正的叶片，本文首先采用基于卷积神经网络的目标检测算法对视频中第一帧图像中的叶片进行检测，确定其在图像中边界框，对于视频的后续帧，则采用跟踪的方法确定其边界框。在对叶片动态轨迹跟踪方面，本文提出一种在线实时跟踪框架，在图像空间和逐帧数据关联中使用匈牙利算法[25]和卡尔曼滤波[26]，结合运动和外观信息准确的度量来解决由于叶片重叠遮挡而无法被跟踪的情况，以实现对葡萄叶片运动轨迹的准确跟踪。通过对跟踪到的多帧图像中同一叶片边界框进行比较，就可以找到姿态最正叶片图像。由于从监控摄像机视场中检测的叶片数量较多，对于姿态不正的叶片则不做处理，因为这类叶片上存在病斑时，视角变化会导致测量面积变化剧烈，无法准确测量。

为了确定姿态最正的葡萄叶片，首先在训练集的图像中找出姿态大体端正的叶片，对该类叶片边界框的尺寸进行人工标定，并对边界框的长宽比进行均值聚类，以聚类中心作为葡萄叶片的最优长宽。通过试验发现聚类中心为1:0.86，故最终确定当检测到的叶片边界框长宽比等于或接近1:0.86均为正面叶片。

2.1 叶片检测

为了在图像中检测到姿态不同的叶片，本文采用基于Faster R-CNN框架对葡萄叶片进行检测。但由于是面向通用对象，其检测边界框的长宽比对于葡萄叶片来说不够紧致，在判定一张叶片是否端正方面效果不好。文献[27]针对葡萄叶片形状特点，对锚点的长宽比进行了优化，得到了更紧致的叶片检测边界框，本文亦采用这种方法。具体流程为：首先向卷积神经网络输入任意尺寸的葡萄叶片图像，通过VGG-16提取该图像的原始特征，在最后一层卷积层上得到特征图，该特征图送入RPN网络（region proposal network）得到叶片的候选区域(region proposal)，将生成的候选区域输入ROI池化层，提取对应候选区域的特征，最后通过2个全连接层，输出该区域的叶片识别分类及叶片的边框回归（回归后的bounding-box）。检测算法流程图如图2所示。

图2 叶片检测流程图

RPN网络位于ROI层和卷积层之间，目的在于利用共享卷积特征的方式提取候选区域，并使得所有的检测流程集中在一个网络之中。在卷积特征图上，采用一个3×3的卷积核（滑动窗口）与特征图进行卷积，步长为1，则卷积后可以得到一个512维的特征向量（由于在3×3区域上，每1个特征图上得到一个1维向量，512个特征即可得到512维特征向量）。最后再将这个向量输入边框回归层以及分类层，边框回归层输出各候选区的坐标，分类层输出候选区是否为目标的概率。

2.2 叶片跟踪

在自然环境下由于叶片的摆向、遮挡状态和叶片姿态等会受到风或生长等因素的影响而发生变化，在监测视频中，第一帧检测到的叶片不一定是正面的，本文对这些叶片的运动进行跟踪，在姿态最佳的时候截取其边界框内的图像。此外，跟踪若干分钟后（本文设定为3 min）重新用检测算法检测视频中的叶片，作为新跟踪的初始位置，可有效解决风、遮挡等对跟踪的影响。本文算法是在卡尔曼滤波跟踪框架的基础上进行了扩展[28-29]，并整合外观信息，从而实现对葡萄叶片的长期、准确跟踪。图3为本文叶片视频跟踪的流程图。

图3 叶片跟踪流程图

2.2.1 状态估计

2.2.2 轨迹处理

对于每一个跟踪目标，都有一个阈值记录从上次匹配成功之后到目标再次出现的帧数。当卡尔曼滤波器预测时，该计数器递增，当目标的检测结果与跟踪结果正确关联后，计数器就重置为0。当超过预定义的最大阈值时，则认为跟踪离开场景，并从轨迹集中删除，轨迹终止。在获取匹配的过程中，对于不能与现有轨道相关联的每个目标都可能产生新轨迹，启动新的跟踪假设。在本文中，设最大阈值是3，如果连续3帧中心的跟踪器对目标位置的预测结果与检测结果正确关联，则认为是产生新的轨迹；如果不能正确关联，则该轨迹将被删除。

2.2.3 跟踪过程的匹配

解决预测卡尔曼状态和当前轨迹之间的关联所用的常规的方法就是构建可以使用匈牙利算法来解决的匹配问题，在这个问题中，本文通过组合2个适当的指标来整合运动和外观信息。

运动信息匹配时，采用马哈拉诺比斯距离，即卡尔曼预测结果和检测结果之间的距离：

式中d表示第个检测框的位置，y表示第个跟踪器对目标的预测位置，q表示检测位置与平均跟踪位置之间的协方差矩阵。马氏距离通过测量从平均轨迹的位置到检测框之间的标准偏差来考虑估计状态的不确定性。此外，考虑到运动的连续性，本文通过马氏距离对检测结果进行了筛选，定义卡方分布0.95分位点作为阈值(1)，如果马氏距离小于阈值(1)，则认为运动信息匹配成功，使用如下函数表示

式中1[·]表示若满足条件，则取1，若不满足，则取0。

同样引入一个变量b(2)，确定这2个度量是否存在关联，用如下指标表示：

马哈拉诺比斯距离提供了可能的目标位置的信息，是对短期预测效果较好，而余弦距离考虑的是轨迹长时间丢失的情况。为了构建关联问题，使用两种度量方式的线性加权c作为最终的度量

同样引入可容许关联矩阵b

由式（5）看出，可以通过超参，控制这2个度量对组合关联成本的影响。

2.2.4 引入级联匹配

当目标被遮挡较长时间后，卡尔曼滤波器预测结果不准确性增加。当2个跟踪器同时匹配一个检测结果时，目标遮挡时间较长的轨迹往往得到的马哈拉诺比斯距离更小，即倾向于将检测结果分配给丢失时间较长的轨迹，而直观上，该检测结果应该与目标遮挡时间较短的轨迹相匹配。因此引入级联匹配，这样每次分配的时候考虑的都是遮挡时间相同的轨迹。

将一组预测轨迹和检测坐标以及最大时间max作为输入，首先利用式（5）计算关联成本矩阵c和式（6）计算可容许关联矩阵b。然后迭代以增加时间的轨迹，选择没有与最后帧中的检测结果相关联的轨迹T的子集，对匹配结果进行筛选，删除余弦距离较大的匹配，最后更新匹配和不匹配检测结果。这种级联匹配优先考虑时间最近的轨迹。在最后的匹配阶段对未确认的和=1的未匹配轨迹进行了基于交叉联合距离（intersection over union association, IOU）[28]的匹配，解决由于表观突变或者部分遮挡导致的较大变化。

2.2.5 外观特征的获取

在跟踪环节的匹配中用到了叶片外观特征，在进行外观度匹配时，本文采用深度神经网络提取表观特征。VGG-16、ResNet（残差网络）等通过增加网络的深度，得到好的特征提取效果。WRN（宽残差网络）[30]则通过增加网络的宽度提升模型的性能。文献[30]的试验表明，WRN可以用较少的网络层数获得比深层网络更好的性能，在相同参数时，宽网络比深网络更容易训练。WRN-28-10结构的计算速度要比ResNet-1001快1.6倍，非常适合于跟踪这种对时间要求高的场合。本文采用WRN来提取边界框中葡萄叶片的单位范数的特征向量γ，以在MARS[31]数据集上训练的网络CNN作为基础网络，构建宽残差网络，CNN网络结构如图4所示。

该宽残差网络有2个卷积层，接着6个残差块，在密集层10中计算维度128的全局特征图。最终批量的L2范数归一化将特征投影到单位超球上从而使得与余弦距离度量d2)(,)相一致。

注：32×128×64表示卷积后得到的特征图的尺寸。

2.3 数据库叶片匹配

本文将跟踪过程中获得的姿态最佳的叶片与数据库中叶片进行匹配，找到其在前一天的对应叶片，从而确定其在数据库中的编号。由同一编号叶片的多日图像就可以构成一组时序图像。匹配时采用SIFT特征，基本匹配过程如下：

1）将当前截取的叶片图像和数据库中前一天已分配编号的叶片图像转换为灰度图像；

2）分别计算这些图像上的SIFT特征点；

3）对当天的每一幅叶片图像，在前一天的叶片图像集中寻找最佳匹配图像，判断匹配的准则是2张叶片SIFT特征匹配率在所有叶片对的匹配得分中是最高的。匹配时计算前一天叶片特征点（1）、当前叶片特征点（2）和匹配的特征点数（），匹配率为匹配点数()与总特征点数（=1+2）之比，即：

匹配率=′/（7）

若2幅图像中叶片匹配，就给当前叶片图像的分配匹配图像的编号。如果没有匹配上，则继续取数据库中前二天的叶片图像进行匹配，以此类推。如果与第一天的叶片仍然没有匹配，则分配新编号。

此外，还可以利用两者间的旋转和尺度参数可以将2幅图做大致的对齐，方便对病斑区域面积进行对比。

2.4 叶片病害检测

对数据库中保存的同一编号叶片在若干天的变化进行对比分析，能够掌握葡萄叶片的生长信息。随着叶片的生长，叶片上病害也在生长，而非病害通常不变或者减小。由于数据库中保存的图像均为截取的单张叶片，而非原视场的图像，在叶片区域进行病害检测，可排除背景区域干扰，缩小待检测病害区域，故能提高病害检测的准确率。本文的病害检测器也采用Faster R-CNN框架，将相同编号的叶片图像分别输入到病害检测器，网络检测到病害候选区后，在VGG-16卷积网络最后一层特征图上生成512维特征向量，将其输入到全连接层进行识别，采用Softmax分类器对病害区域分类[32]。由于在大田的高噪声环境下葡萄病害检测的精度有限，容易造成误识别，本文对叶片序列图像连续测量病斑相对面积，随着叶片的生长，病斑相对面积逐渐增大，或者病斑的数量出现上升趋势，则认为该叶片有病害发生。

对于病斑面积测量，首先采用基于检测的分割算法对一组序列图像上病斑进行自动分割[33]，连续测量每张图像上病斑相对面积。关于相对面积测量，前人已经提出了许多方法[34-35]，在本文中，规定病斑的相对面积等于病斑面积(S) 与基准病斑面积()之比，可按照分割病斑的像素(P)与基准病斑的像素()之比计算，即

S/S= P/（8）

式中代表日期（天），基准病斑是指叶片病害检测时第一次检测到的疑似病斑。

本文通过Daniel检验法[36]对一组序列图像上病斑面积是否具有上升趋势进行判断（置信水平取0.05）。对于病斑面积有上升趋势的一组序列图像，则确认病害存在，反之则排除。对于序列图像中检测病斑数量的上升趋势判断也采用这种方法。

3 试验与结果分析

3.1 试验设计

本文试验分为以下3部分：

1）视频跟踪：分别用对基于判别模型颜色特征的传统DPM跟踪算法[12]与本文跟踪算法在叶片视频数据集进行跟踪，测试跟踪精度。

2）数据库叶片匹配：在静态叶片数据集上对连续2d采集叶片进行匹配，将前一天入库的每个编号的叶片与当天截取的姿态端正叶片分别进行匹配。匹配试验中，当天和前一天的叶片数量均选取1 000张。

3）用序列图像排除虚假病害：在叶片序列图像数据集上对65组序列图像进行病害检测，对每组图像，计算每张病害叶片病斑面积或病斑数量，若该组序列图像中病斑面积或病斑数量不存在上升趋势，则判断该叶片没有病害发生。由于本数据集的各叶片都被病害检测器判为存在病害，本试验的目的是检验用序列图像信息能排除多少虚假病害。

3.2 试验评价指标

3.2.1 视频跟踪试验

为了验证本文算法的性能，利用Bernardin等所提出的评价指标对本文的跟踪算法进行评价[37]，主要评价指标如下。

1）多目标跟踪准确度（multiple object tracking accuracy，MOTA）：结合了误报，虚警率，标号转换的整体追踪准确性，定义为

MOTA=1−/（9）

式中表示误跟踪到的目标个数，表示跟踪到目标个数。

2）多目标跟踪精度（multiple object tracking precision, MOTP)：总体跟踪精度，所有跟踪目标的平均边界框重叠率，定义为

MOTP=/（10）

式中表示跟踪匹配错误的个数，表示跟踪匹配个数。

3）大多数跟踪（mostly tracked，MT）：成功跟踪率高于80%的未丢失轨迹的比例。

MT=/（11）

式中表示所有的目标数，表示跟踪率高于80%的轨迹个数。

4）大部分丢失（mostly lost，ML）：成功跟踪率低于20%的严重丢失轨迹的比例。

ML=/（12）

式中表示跟踪率低于20%的轨迹个数。

3.2.2叶片匹配试验

用匹配正确率评价试验结果，定义为算法给出的正确匹配数量与真实匹配数之比。

3.2.3 基于序列图像的病害检测

用病斑面积或数量不具上升趋势来判断叶片没有病害，一方面可能减少虚警，但另一面也可能将发展很慢的病害判为非病害，从而带来新的错误。为了综合评价本文方法的虚警排除率，以马修斯相关系数（matthews correlationcoefficients，MCC）作为评价指标。

式中TP为真阳性，表示植保专家和Daniel检验法均判为无病害叶片数量；TN为真阴性，表示专家和Daniel检验法均判为有病害的叶片数量；FP为假阳性，表示专家判为发生病害，但Daniel检验法判为无病害的数量；FN为假阴性，表示专家鉴定无病害，但Daniel检验法认为有发生病害的数量。

3.3 试验结果与分析

3.3.1 视频跟踪试验结果

图5是叶片分别在2种算法对叶片视频序列跟踪结果的示例，可以看出，短时间跟踪时，2种算法都可以有效跟踪叶片（10到131帧）。随时间流逝，由于风导致葡萄叶片发生翻转或遮挡时，基于判别模型颜色特征的跟踪算法跟丢了目标，而本文算法基本没有出现这类问题。

注：同一颜色框代表同一叶片。 Note: The same color box represents the same blade.

图6给出了2种算法对同一幅图像的检测结果，可以看出，基于Faster R-CNN框架[27]的算法比基于改进DPM算法的检测效果好，能检测出部分被遮挡的叶片，而后者的目标检测原理主要基于多个模板匹配，对被遮挡叶片进行模型匹配存在困难，所以DPM算法很难检测出被遮挡叶片。表1给了2种跟踪算法在测试视频上的统计结果，文献[12]跟踪算法的平均MOTA 为14.3%，MOTP为61.3%，本文跟踪算法的平均MOTA 为73.6%，MOTP为74.6%，明显高于文献[12]的结果，故本文跟踪算法有更高的精准度和更大的重叠率。

图6 葡萄叶片检测例子

表1 不同跟踪算法评价指标比较

3.3.2 数据库叶片匹配

在静态叶片数据集上试验表明，本文基于SIFT特征匹配方法的匹配正确率为90.9%。作为对比，本文还测试了另一种常见的特征描述子加速稳健特征(speeded up robust features，SURF)[38]的匹配，其匹配正确率为88.4%，略低于SIFT特征匹配。

图7给出了一个叶片匹配例图，将当前叶片和前一天叶片编号，前一天的2个叶片分别与当前数据库的叶片进行匹配，计算前一天号叶片分别与当前1、2、3、4号叶片匹配的匹配率（表2），结果分别为0.043、0.021、0.023、0.025，由匹配率确定1号为与前一天号叶片最匹配的叶片，故将1号叶片编号记为，并存入数据库。

图7 数据库叶片匹配示例

表2 图7叶片a与1、2、3、4匹配结果

3.3.3 用序列图像排除虚假病害

对一张叶片疑似病斑连续检测一段时间后，若病斑相对面积或病斑数量整体呈现稳定上升趋势则可确定有病害发生；若未出现增大趋势则认为出现了误判。叶片序列图像数据集包括了65张疑似病害叶片，经专家鉴定，其中的54张确系病害，11张为误判。经Daniel检验法判断65张叶片中无病害的叶片为12张，其中TP=10，FN=1，FP=2，TN=52，则马修斯相关系数MCC为0.843，故本方法可以提高病害检测的鲁棒性。

图8为叶片2种病斑相对面积示例，图9为随时间变化叶片病斑数量增加的示例图。

图8 叶片病斑相对面积随时间变化示例

图9 疑似白粉病病斑数量随时间增加的示例

可直观地看出疑似灰霉病病斑在不同天病斑面积是增长的，而疑似白粉病病斑面积则基本保持不变。连续测量了病斑相对面积，绘制出如图8c和图8d的病斑相对面积变化曲线，可以看出，疑似灰霉病叶片病斑相对面积随时间增加有上升趋势。从第1天到第3天保持在1附近，第4天开始增长，第4天到第8天由1.5增长到4，呈现剧增状态。本文认为可能原因有：1）病害生长较快；2）此类病害具有传染性，当某一处有病害发生时，它会向四周扩散蔓延。疑似白粉病叶片病斑相对面积整体处于平稳状态，第1天到第10天大都是在1～1.5之间，但在第3天时相对面积近似为3，这可能是由于当天是阴雨天，本文自动分割算法不够鲁棒，对疑似病害区分割时产生过分割而造成的。根据病斑相对面积增长趋势分析，可以判断疑似灰霉病叶片确定有病害发生，疑似白粉病叶片在病害检测时出现了虚警。

在同一场景中，叶片病斑数量也同样可以确认是否有病害发生，这种方法通过对检测出的病斑的边框数量是否增加来判断是否存在真正的病害。

4 结 论

本文利用序列图像对葡萄叶片病害进行动态监测。通过对视频图像中的叶片检测和跟踪，找到姿态端正的叶片图像存入数据库并编号（方便前后对比）；采用SIFT特征对前后日期的叶片进行匹配，最终得到同一张叶片的生长序列图，并对该叶片做病害检测。试验表明，本文检测和跟踪算法对环境和光照变化具有较强的鲁棒性，本文跟踪算法的平均跟踪准确度为73.6%，平均跟踪精度为74.6%，均高于基于判别模型颜色特征的传统跟踪算法，叶片匹配方法也具有较高精度，达到90.9%。对于有疑似病害的叶片，在序列图像上监测叶片的病斑面积和数量变化情况，如果没有明显的上升趋势，则判断该叶片无病害。试验表明，在降低误识别方面得到了较好的效果。本文的方法可以排除虚假病害警报，提高病害监测的鲁棒性，适合自然环境下对葡萄叶片进行可靠的在线监测。目前本方法只能对姿态端正的正面叶片病斑面积进行估计，今后研究中要解决视角无关的病斑面积估计问题。

[1] 胡秋霞. 基于图像分析的植物叶部病害与识别方法研究[D].杨凌：西北农林科技大学，2013. Hu Qiuxia. Plant Leaf Disease Identification Method and Research Based on Image Analysis[D]. Yangling: Northwest A&F University, 2013. (in Chinese with English abstract)

[2] 王志彬，王开义，王书锋，等. 基于动态集成的黄瓜叶部病害识别方法[J]. 农业机械学报，2017，48(9)：46－52. Wang Zhibin, Wang Kaiyi, Wang Shufeng, et al. Recognition method of cucumber leaf diseases with dynamic ensemble learning[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(9): 46－52.(in Chinese with English abstract)

[3] 田有文，张长水，李成华. 基于支持向量机和色度矩的植物病害识别研究[J]. 农业机械学报，2004，35(3)：95－98 Tian Youwen, Zhang Changshui, Li Chenghua. Study on plant recognition using support vector machine and chromaticity moments[J]. Transactions of the Chinese Society for Agricultural Machinery, 2004, 35(3): 95－98.(in Chinese with English abstract)

[4] 田有文，李天来，李成华，等. 基于支持向量机的葡萄病害图像识别方法[J]. 农业工程学报，2007，23(6)：175－180. Tian Youwen, Li Tianlai, Li Chenghua, et al. Method for recognition of grape based on support vector machine[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2007, 23(6): 175－180.(in Chinese with English abstract)

[5] 王树文，张长利. 基于图像处理技术的黄瓜叶片病害识别诊断系统研究[J]. 东北农业大学学报，2012，43(5)：69－73. Wang Shuwen, Zhang Changli. Study on identification of cucumber leaf disease based on image processing[J]. Journal of Northeast Agricultural University, 2012, 43(5): 69－73.(in Chinese with English abstract)

[6] 贾建楠，吉海彦. 基于病斑形状和神经网络的黄瓜病害识别[J]. 农业工程学报，2013，29(增刊1)：115－121. Jia Jiannan, Ji Haiyan. Recognition for cucumber disease based on leaf spot shape and neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(Supp.1): 115－121.(in Chinese with English abstract)

[7] 贺鹏，黄林. 植物叶片特征提取及识别[J]. 农机化研究，2008(6)：168－170. He Peng, Huang Lin. Plant leaf feature extraction and identification[J]. Agricultural Mechanization Research, 2008(6): 168－170. (in Chinese with English abstract)

[8] 张宁，刘文萍. 基于图像分析的植物叶片识别技术综述[J]. 计算机应用研究，2011，28(11)：4001－4007. Zhang Ning, Liu Wenping. Plant leaf recognition technology based on image analysis[J]. Application Research of Computers, 2011, 28(11): 4001－4007. (in Chinese with English abstract)

[9] 吴露露，马旭，齐龙，等. 基于叶片形态的田间植物检测方法[J]. 农业机械学报，2013，44(11)：241－246. Wu Lulu, Ma Xu, Qi Long, et al. Field plants detection based on leaf morphology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(11): 241－246. (in Chinese with English abstract)

[10] 王丽君，淮永建，彭月橙. 基于叶片图像多特征融合的观叶植物种类识别[J]. 北京林业大学学报，2015，37(1)：55－61. Wang Lijun, Huai Yongjian, Peng Yuecheng. Method of identification of foliage from plants based on extraction of multiple features of leaf images[J]. Journal of Beijing Forestry University, 2015, 37(1): 55－61. (in Chinese with English abstract)

[11] 马媛，冯全，杨梅，等. 基于HOG的酿酒葡萄叶片检测[J]. 计算机工程与应用，2016，52(15)：158－161. Ma Yuan, Feng Quan, Yang Mei, et al. Detection of wine grape leaves based on HOG[J]. Computer Engineering and Applications, 2016, 52(15): 158－161. (in Chinese with English abstract)

[12] 杨森，冯全，王书志，等. 基于改进可变性部件模型与判别模型的葡萄叶片检测与跟踪[J]. 农业工程学报，2017，33(6)：140－147. Yang Sen, Feng Quan, Wang Shuzhi, et al. Grape leaves detection and tracking based on improved deformable part model and discriminative model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(6): 140－147. (in Chinese with English abstract)

[13] Tang S, Andriluka M, Schiele B. Detection and tracking of occluded people[J]. International Journal of Computer Vision, 2014, 110(1): 58－69.

[14] Kalal Z, Mikolajczyk K, Matas J. Tracking-learning- detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7): 1409－1422.

[15] Ristani E, Solera F, Zou R, et al. Performance Measures and a Data Set for Multi-target, Multi-camera Tracking[M]// Computer Vision–ECCV 2016 Workshops. Springer International Publishing, 2016: 17－35.

[16] Wu Y, Lim J, Yang M H. Online object tracking: A benchmark[J]. IEEE Conference on Computer Vision & Pattern Recognition, 2013, 9(4): 2411－2418.

[17] Khan G H, Khan S, Asad M, et al. Real time benefits of fixed lag smoothing for multi-target tracking and interception system[C]//International Bhurban Conference on Applied Sciences and Technology, 2018: 304－309.

[18] 方义，嵇智源，胜浩. 基于道路环境上下文的行人跟踪方法[J]. 计算机应用，2015，35(8)：2311－2315. Fang Yi, Ji Zhiyuan, Sheng Hao. Pedestrian tracking method based on road environment context[J]. Journal of Computer Applications, 2015, 35(8): 2311－2315. (in Chinese with English abstract)

[19] 董文会，常发亮，李天平. 融合颜色直方图及SIFT特征的自适应分块目标跟踪方法[J]. 电子信息学报，2013，35(4)：770－776. Dong Wenhui, Chang Faliang, Li Tianping. Adaptive fragments-based target tracking method fusing color histogram SIFT features[J]. Journal of Electronics & Information Technology, 2013, 35(4): 770－776. (in Chinese with English abstract)

[20] 尹宏鹏，柴毅，匡金骏，等. 一种基于多特征自适应融合的运动目标跟踪算法[J]. 光电子·激光，2010，21(6)：917－923. Yin Hongpeng, Chai Yi, Kuang Jinjun, et al. A moving target tracking algorithm based on adaptive multiple cues fusion[J]. Journal of Optoelectronics·Laser, 2010, 21(6): 917－923. (in Chinese with English abstract)

[21] 姜文涛，刘万军，袁姮. 基于软特征理论的目标跟踪研究[J]. 计算机学报，2016，39(7)：1334－1355. Jiang Wentao, Liu Wanjun, Yuan Heng. Research of object tracking based on soft feature theory[J]. Chinese Journal of Computers, 2016, 39(7): 1334－1355. (in Chinese with English abstract)

[22] 付毅，吴泽民，田畅，等. 场景自适应的跟踪特征选择机制研究[J]. 光学技术，2014，40(6)：551－559. Fu Yi, Wu Zemin, Tian Chang, et al. Research on scene adaptive tracking feature selection[J]. Optical Technique, 2014, 40(6): 551－559. (in Chinese with English abstract)

[23] Ren S, He K, Girshick R, et al. Faster R-CNN:Towards real-time object detection with region proposal networks[C]//International Conference on Neural Information Processing Systems. MIT Press, 2015: 91－99.

[24] Lowe D G. Distinctive image features from scale-invariant key points[J]. International Journal of Computer Vision, 2004, 60(2): 91－110.

[25] Filtering K. Kalman filtering[J]. Control Systems Magazine IEEE, 2001, 6(1): 46－47.

[26] Kuhn H W. The hungarian method for assignment problem[J]. Naval Research Logistics(NRL), 2010, 52(1): 7－21.

[27] 刘阗宇，冯全，杨森. 基于卷积神经网络的葡萄叶片病害检测方法[J]. 东北农业大学学报，2018，49(3)：73－83. Liu Tianyu, Feng Quan, Yang Sen. Detecting grape disease based on convolution neural network [J]. Journal of Northeast Agricultural University, 2018, 49(3): 73－83. (in Chinese with English abstract)

[28] Bewley A, Ge Z, Ott L, et al. Simple online and realtime tracking[C]//IEEE International Conference on Image Processing. IEEE, 2016: 3464－3468.

[29] Wojke N, Bewley A, Paulus D. Simple online and realtime tracking with a deep association metric[C]//IEEE International Conference on Image Processing. IEEE, 2017: 645－649.

[30] Zagoruyko S, Komodakis N. Wide residual networks[C]// British Machine Vision Conference, 2016: 1－12.

[31] Zheng L, Bie Z, Sun Y, et al. MARS: A Video Benchmark for Large-scale Person Re-identification[M]//Computer Vision–ECCV 2016. Spring International Publishing, 2016: 868－884.

[32] 刘媛. 基于深度学习的葡萄叶片病害识别方法研究[D]. 兰州：甘肃农业大学，2018. Liu Yuan. Research on Methods on Grape Leaf Disease Recognition Based on Deep Learning[D].Lanzhou: Gansu Agricultural University, 2018. (in Chinese with English abstract)

[33] 侯兆静，冯全，张涛. 基于混合高斯模型的叶片检测分割算法[J]. 计算机应用与软件，2018，35(1)：253－260. Hou Zhaojing, Feng Quan, Zhang Tao. Leaf detection segmentation algorithm based on gaussian mixture model [J].Computer Application and Software, 2018, 35(1): 253－260.(in Chinese with English abstract)

[34] 陈涛涛，迟道才，梁茜，等.基于矩形框几何校正的多叶面积测量方法[J].农业工程学报，2012,28(8)：206－213. Chen Taotao, Chi Daocai, Liang Qian, et al. Multi-leaf area measurement method based on geometric correction with rectangular box[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2012, 28(8): 206－213. (in Chinese with English abstract)

[35] 聂鹏程，杨燕，刘飞，等. 植物叶面积无损测量方法及仪器开发[J]. 农业工程学报，2010，26(9)：198－202. Nie Pengcheng, Yang Yan, Liu Fei, et al. Method of non-destructive measurement for plant leaf area and its instrument development[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(9): 198－202. (in Chinese with English abstract)

[36] 刘娟，陈涛涛，迟道才. 基于Daniel及Mann-kendall检测的辽西北地区降雨量趋势分析[J]. 沈阳农业大学学报，2014，45(5)：599－603. Liu Juan, Chen Taotao, Chi Daocai. Rainfall trend analysis of the northwest liaoning Province based on Daniel and Mann-Kendall test[J]. Journal of Shenyang Agricultural University, 2014, 45(5): 599－603. (in Chinese with English abstract)

[37] Bernardin K, Stiefelhagen R. Evaluating multiple object tracking performance: The clear mot metric[J]. Eurasip Journal on Image and Video Processing,2008(1):1－10.

[38] Bay H, Ess A, Tuytelaars T, et al. Speeded-up robust features (SURF)[J]. Computer vision and image understanding, 2008, 110(3): 346－359.

Dynamic monitoring of grape leaf disease based on sequential images tracking

Qiao Hong1, FengQuan1※, Zhang Rui2, Liu Tianyu1

(1.,,730070,; 2,,730070)

In recent years, disease becomes one of the important factors that restrict the production and quality of wine grape. At present, most of disease recognition of plant is actually carried out with static image. Some blobs, arising from soil spots, bird shits, pesticide stains, and so on, are often similar in color or shape with scab caused by diseases, and may be misclassified as disease. To accurately judge the illness of a leaf for online surveillance, it is important to consider the time factor. The strategy of continuously monitoring the variation of blobs on a leaf over time helps to improve accuracy of disease recognition under natural conditions. In this paper, we presented a dynamic disease monitoring method for wine grape, which inferred whether the disease had existed not only by the disease classifier but also by the status changing observed over time from sequential images. We firstly detected the grape leaves in the first frame of the video by Faster R-CNN (region-based convolution neural network) every day, and then tracked them in the following frames to find out the frontal snaps of leaves. These snaps were intercepted from the bounding boxes in the frame, which were stored in a database as leaf images. In terms of tracking, an algorithm was proposed, which combined cosine distance metric of movement with appearance information, to solve the problem that a leaf could not be tracked due to occlusion. We built a wide residual network which was used to extract the apparent characteristics when performing surface matching in this paper. Since the blades detected in the first frame of the monitoring video were not correct, we tracked these leaves over a period of time, and then intercepted the image with bounding box when the posture was the best. To recognize the same leaf from sequential images over days, SIFT (scale-invariant feature transform) based matching was performed. If the matching rate of the 2 blades exceeded a predetermined threshold and is the highest among all the blade pairs, the 2 images are considered as the same leaf. For the image sequence of a leaf, a process of disease detection is then carried out to detect whether diseases exist. The detector of disease also adopts Faster R-CNN framework. Interception of frontal leaf was good, which removed most background, and the accuracy of detection was improved remarkably. When the detector outputted a bounding box which indicated a disease scab, a process of automatic segmentation based on graph cut was implemented to segment the scab from the image. The goal of the process was estimate the area of scab on an image. We further compared the area of scabs and the number of scabs from the same leaf on the images if the detector asserted that there had existed disease. Once the area or the number was increased over time, we could confirm the assertion. If not, we believed that misrecognition occurred. We conducted experiments to evaluate the performance of our method. For leaf tracking, the experimental results showed that the average multiple-object tracking accuracy (MOTA) of the proposed tracking algorithm is 73.6% and the multiple-object tracking precision (MOTP) is 74.6%, surpassing the algorithm for comparison. For leaf matching, the accuracy of our SIFT-based method achieved 90.9%, which could meet the requirement in practice. In short, besides scabs detected from a static image, our method introduced time factor to judge the developing trend of the scabs from sequential images, which eliminated false alarm and improved the accuracy and robustness of grape disease diagnosis. With the proposed method, we can realize the online monitoring of grape leaf in natural environment. At present, the method can only estimate the scab area of the leaf with positive posture. In the future study, we should solve the problem of scab area estimation which is irrelevant to the angle of view.

image processing;disease; monitoring; Faster R-CNN; dynamic monitoring; leaf match; tracking

2018-04-02

2018-06-20

国家自然基金（61461005）；甘肃省科技重大专项计划（1502NKDF023）

乔 虹，主要从事图像处理，模式识别。Email：785388991@qq.com

冯 全，甘肃兰州人，教授，博士，主要从事图像处理、信息安全。Email：fquan@sina.com

10.11975/j.issn.1002-6819.2018.17.022

S43; TP391.41

A

1002-6819(2018)-17-0167-09

乔 虹，冯 全，张 芮，刘阗宇. 基于时序图像跟踪的葡萄叶片病害动态监测[J]. 农业工程学报，2018，34(17)：167－175. doi：10.11975/j.issn.1002-6819.2018.17.022 http://www.tcsae.org

Qiao Hong, Feng Quan, Zhang Rui, Liu Tianyu. Dynamic monitoring of grape leaf disease based on sequential images tracking[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(17): 167－175. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.17.022 http://www.tcsae.org