利用无人机航拍视频结合YOLOv3模型和SORT算法统计云杉数量

陈锋军，朱学岩，周文静，郑一力，顾梦梦，赵燕东,4

利用无人机航拍视频结合YOLOv3模型和SORT算法统计云杉数量

陈锋军1,2，朱学岩1,2，周文静1,2，郑一力1，顾梦梦3，赵燕东1,4※

（1. 北京林业大学工学院，北京 100083；2. 城乡生态环境北京实验室，北京 100083；3. 德州农工大学园艺系，大学城 77843；4. 林业装备与自动化国家林业局重点实验室，北京 100083）

准确、快速地统计苗木数量对苗圃的运营和管理具有重要意义，是提高苗圃运营和管理水平的有效方式。为快速准确统计完整地块内苗木数量，该研究选取云杉为研究对象，以无人机航拍完整地块云杉视频为数据源，提出一种基于YOLOv3（You Only Look Once v3，YOLOv3）和SORT（Simple Online and Realtime Tracking，SORT）的云杉数量统计方法。主要内容包括数据采集、YOLOv3检测模型构建、SORT跟踪算法和越线计数算法设计。以平均计数准确率（Mean Counting Accuracy，MCA）、平均绝对误差（Mean Absolute Error，MAE）、均方根误差（Root Mean Square Error，RMSE）和帧率（Frame Rate，FR）为评价指标，该方法对测试集中对应6个不同试验地块的视频内云杉进行数量统计的平均计数准确率MCA为92.30%，平均绝对误差MAE为72，均方根误差RMSE为98.85，帧率FR 11.5 帧/s。试验结果表明该方法能够快速准确统计完整地块的云杉数量。相比SSD+SORT算法，该方法在4项评价指标中优势显著，平均计数准确率MCA高12.36个百分点，帧率FR高7.8 帧/s，平均绝对误差MAE和均方根误差RMSE分别降低125.83和173.78。对比Faster R-CNN+SORT算法，该方法在保证准确率的基础上更加快速，平均计数准确率MCA仅降低1.33个百分点，但帧率FR提高了10.1 帧/s。该研究从无人机航拍视频的角度为解决完整地块的苗木数量统计问题做出了有效探索。

无人机；模型；算法；云杉；数量统计；YOLOv3；SORT

0 引 言

苗木数量是总结种苗生产与供需情况、分析和预测种苗供需关系的关键数据[1]。研究苗木数量自动统计有利于苗圃的库存管理和生产成本核算，提高苗圃行业的智能化水平。目前，苗木数量的统计工作主要依靠人工目视，成本高、效率低、数据更新缓慢且无法保证统计的精度[2]。准确、快速地统计完整地块内的苗木数量已成为当前迫切需要解决的问题之一。近年来，无人机和深度学习等新技术的发展为真正解决完整地块内的苗木数量统计问题提供了可能。

国内外学者已在无人机航拍苗圃图像的基础上，采用传统图像处理[3-4]、机器学习[5]或深度学习[6]技术研究苗木的自动数量统计问题。传统图像处理方法一般在RGB[7]、HSV[8]、Lab[9]和YCbCr[10]等颜色空间分割苗木后采用连通区域统计[11]、平均像素面积[12]和霍夫圆检测[13-14]等方法统计数量，并有效应用在苹果[15]、菊花[16]和菌落[17]等的数量统计中。但是传统图像处理方法受光照、噪声和杂草背景等因素干扰，导致苗木数量统计的准确率普遍偏低。

机器学习方法一般提取苗木的颜色[18]、形状[19]和纹理[20]等浅层特征，通过支持向量机[21]、K均值聚类[22-23]、极限学习机[24]和反向传播神经网络[25]等方法统计苗木数量。目前，机器学习方法已被应用于麦穗[26]、棕榈树[27]和叶片气孔[28]等的数量统计。Xie等[29]提出在Lab颜色空间分割烟草后采用支持向量机识别并统计烟草数量，准确率达到96.1%。但是机器学习方法中提取的颜色、形状和纹理等浅层特征的表达能力有限，支持向量机和反向传播神经网络等机器学习方法不能解决苗木粘连和遮挡等问题，无法准确、快速地实现苗木数量统计。

深度学习方法一般通过大量带标注的苗木图像训练Faster R-CNN[30]（Faster Region-based Convolutional Neural Network）和YOLOv3[31]等模型实现数量统计。目前，深度学习方法已应用于柑橘树[32]、烟草[33]和棕榈树[34]等[35]的统计。Wang等[36]提出结合全卷积网络分割和Harris角点检测的麦穗数量统计方法，能够统计遮挡、光照不均匀等复杂条件下的麦穗，准确率达到97.4%。Li等[37]搭建了一种可以统计棕榈树数量的卷积神经网络模型，准确率达到96%。已有研究表明，深度学习方法对光照、遮挡等复杂环境条件具有很强的鲁棒性，是统计苗木数量的一种理想方法。然而，以上数量统计方法大多只能统计图像内的麦穗和棕榈树数量，并未实现对完整地块内麦穗和棕榈树的数量统计。为此，陈锋军等[38]提出在Sift算法拼接获得云杉试验地块的全景图像后，利用改进YOLOv3模型统计试验地块云杉，准确率达到96.81%。但是，这种先拼接获取完整图像后进行数量统计的方式速度较慢。

为克服现有基于拼接图像的完整地块苗木数量统计速度较慢的问题，尝试通过无人机航拍视频的角度研究完整地块的苗木数量统计。以无人机航拍云杉完整试验地块视频为实验数据，以YOLOv3模型和SORT算法为基础，研究完整地块内云杉数量的快速准确统计问题，以期实现完整地块内云杉数量的快速准确统计。

1 研究区域和数据采集

1.1 研究区域

本文试验场地位于内蒙古自治区呼和浩特市南部（111°49′47′′E，40°31′47′′N，海拔约1 134 m），总面积约2 136 hm2，如图1所示。主要培育云杉、樟子松和油松等20余种苗木，储量达到4 000余万株，研究基地位置如图1a所示。挑选地形相对平坦且相对规整的18.6 hm2的云杉种植区域作为训练和测试区域，如图1b和图1c所示。研究区域内云杉株龄在8～30 a不等，行间距1.5 m，株距1 m，典型云杉植株如图1d所示。

1.2 数据采集

本文选用大疆精灵4无人机采集云杉图像和视频数据，无人机镜头成像角度范围-90°～30°，最大静态图像尺寸4 000像素Í3 000像素，最大视频分辨率4 096像素Í2 160像素，帧率60帧/s。选择天气晴朗无风的环境采集图像和视频，具体时间为2018年11月和2019年9月，设置镜头成像角度-90°。采集图像数据选择区域M1～M6，无人机飞行速度4 m/s，如图2a所示S型航线，飞行高度12～36 m，手动拍摄确保图像之间重叠面积小于10%。视频数据选择T1～T6区域采集，T1和T2区域如图1c所示，无人机飞行速度2 m/s，飞行高度和航线与图像采集一致，如图2b所示直线型航线。以采集的云杉图像558幅建立训练集，视频6段建立测试集。

2 研究方法

深度学习中目标检测模型YOLOv3检测速度快，目标跟踪算法SORT速度快、算力消耗小且跟踪稳定，已被应用于车辆[39]和行人[40]等的跟踪和数量统计中。Khazukov等[41]使用YOLOv3模型和SORT算法跟踪街道车辆实现车流量统计和车速估计，对车辆统计的准确率超过92%，车速估计误差不超过1.5 km/h。研究表明，YOLOv3和SORT可以快速准确统计视频内的目标。为此本文提出基于YOLOv3和SORT的云杉数量统计方法，其基本流程如图3所示，包括：1）基于YOLOv3的云杉检测模型设计；2）基于SORT的云杉跟踪算法设计；3）基于越线计数的云杉数量统计。

2.1 基于YOLOv3模型的云杉检测

YOLOv3模型在保障精度的前提下运行速度快，故选作云杉检测的基础模型，并根据云杉的特点将矩形边界框改进为椭圆形边界框。本文改进的椭圆形边界框具有以下两个优点：1）椭圆形边界框可以更好的拟合无人机航拍图像和视频中云杉树冠的椭圆形状；2）椭圆形边界框可以从视觉上提升云杉数量统计的清晰程度。为此，将YOLOv3模型的矩形边界框改进为拟合云杉树冠的椭圆边界框，具体如图4所示。

YOLOv3云杉检测模型包括Darknet-53特征提取模块和多尺度预测模块两部分。Darknet-53模块借鉴ResNet的残差结构，使用1Í1和3Í3卷积核替代最大池化层，对输入的云杉图像或视频提取和计算获得云杉特征图，有效的提取特征信息并减少参数量，具体如表1所示。

表1 Darknet-53特征提取模块

注：Í1，Í2和Í8表示该模块重复1次，2次和8次。

Note: Í1, Í2 and Í8 indicate that the module is repeated 1, 2 and 8 times.

多尺度预测模块在13Í13、26Í26和52Í52三个尺度上预测云杉。尺度感受野的大小随13Í13、26Í26和52Í52依次减小，分别适合预测大、中和小冠幅尺寸的云杉。

多尺度预测模块输出的矩形边界框在当前特征图上的坐标为（t,t,t,t），其中t和t为矩形边界框在当前特征图上的中心点坐标，t和t为矩形边界框在当前特征图上的宽度和高度。根据式（1）计算得到矩形边界框在原始图像上的坐标为（b,b,b,b），其中b和b为矩形边界框在原始图像上的中心点坐标，b和b为矩形边界框在原始图像上的宽度和高度，具体如图5a所示。实线矩形框为多尺度预测模块输出的矩形边界框；虚线矩形框为矩形边界框的先验框，由K均值聚类处理训练集的标注文件得到。

椭圆边界框的坐标参数（e,e,e,e）根据矩形边界框的坐标参数（b,b,b,b）计算得到，计算过程如式（2）所示，转化过程示意如图5a所示。

式中（e,e）为椭圆边界框的中心坐标，e和e分别为椭圆边界框的半长轴和半短轴。由图5b和图5c可见，椭圆边界框相比矩形边界框更清晰的展示云杉检测效果，有效减少矩形边界框之间的重叠。

2.2 基于SORT算法的云杉跟踪

基于SORT算法的云杉跟踪分为云杉状态估计、数据关联匹配和跟踪器更新3个步骤。

2.2.1 云杉状态估计

为跟踪YOLOv3模型检测到的每一株云杉，定义8维状态向量表征云杉的状态，如式（3）。

云杉的状态估计通过卡尔曼滤波器实现，包括预测和更新两个阶段。预测阶段根据前一帧被跟踪云杉的位置完成当前帧云杉位置的预测；更新阶段根据当前帧检测到的云杉位置更新预测阶段的云杉位置。云杉的状态预测如式（4）。

云杉的状态更新如式（5）。

2.2.2 数据关联匹配

2.2.3 跟踪器更新

云杉数据关联匹配后，跟踪器需要更新以便进行下一帧的云杉跟踪。跟踪器更新主要包括以下3种情况：

1）对于匹配成功的跟踪器，被检测的云杉将继承与其匹配成功的跟踪器编码，并利用该椭圆边界框的状态信息预测下一帧中云杉的位置；

4.2.2 基于基准、粗放和集约利用等三种情景的各类用地面积SD模型仿真结果中城市土地利用预测总面积年均增长率分别为0.305%、0.761%和0.163%，且其中年均用地面积占比最大的两类建设用地是粗放利用方案中的住宅用地和交通运输用地面积，其值分别达到12.416%和10.090%；基于三种情景的SD-MOP模型的仿真结果中预测用地总面积年均增长率分别为0.743%、2.551%和2.210%，且其中年均面积占比最大两类建设用地则为粗放利用情景下的工矿仓储用地和集约利用情景下的商服用地，其值分别达到16.924%和13.811%。

2）对于匹配失败的跟踪器，暂时保留该跟踪器但不更新其状态，并将该跟踪器与下一帧的数据关联匹配。当该跟踪器与之后连续5帧未能匹配检测结果时，删除该跟踪器；

3）对于匹配失败的被检测云杉，为其创建新的跟踪器，分配新的编码并利用当前被检测云杉的信息进行下一帧的预测。

2.3 基于越线计数的云杉数量统计

无人机的飞行方向会影响视频中云杉的运动方向，本文根据云杉运动方向设计两种数量统计模式，如图6所示。模式1的数量统计流程：1）统计视频第一帧位于顶部区域的云杉数量，记为N；2）实时统计由底部区域运动到顶部区域的云杉数量，并在N上累加，直到第-1帧；3）统计第帧底部区域内的云杉，记为N。模式2的数量统计流程：1）统计视频第一帧位于底部区域的云杉数量，记为N；2）实时统计由顶部区域运动到底部区域的云杉数量，并在N上累加，直到第-1帧；3）统计第帧顶部区域内的云杉，记为N。假设前-1帧统计结果为N，则模式1数量统计结果为N和N的和，模式2数量统计结果为N和N的和。

图6中，计数线AB根据经验划定，两种模式中顶部区域和底部区域的比例分别为1∶3和3∶1。并且，计数线AB的位置对计数结果影响很小。以模式1为例，统计误差主要出现在统计第1帧位于顶部区域的云杉和统计最后1帧位于底部区域的云杉时。因为，这两部分只依赖检测，并直接将检测到的云杉数量作为该部分的统计结果，这不可避免的存在误检和漏检的情况。并且，该部分的误差基本不受计数线位置变化的影响。

2.4 试验设置

本文算法试验的硬件环境为：Intel(R) Core i7-8700K CPU 3.70GHz，GeForce GTX 1080 Ti GPU；试验操作系统为：Ubuntu 16.04；软件试验环境为：Python编程语言，Tensorflow框架。云杉检测模型训练过程设置批处理量为64，初始学习率为0.001，权值衰减为0.000 5，动量为0.9，丢弃比为0.5，迭代至10 000、40 000和50 000步时学习率分别衰减10倍。

椭圆边界框的初始大小由先验框确定，先验框采用K均值聚类算法处理训练集的标注文件获得。本文获得的对应416像素Í416像素下的9个先验框分别为[6, 7]，[11, 14]，[17, 20]，[21, 24]，[26, 25]，[30, 33]，[34, 35]，[42, 45]和[68, 90]。

3 结果与分析

3.1 试验结果

本文算法在测试集中对应6个不同试验地块的视频上进行测试，平均计数准确率MCA为92.30%，平均绝对误差MAE为72，均方根误差为98.85，帧率FR为11.5 帧/s。结果表明，本文基于YOLOv3和SORT的云杉数量统计方法能够准确统计试验地块内的云杉数量。以试验地块T3为例，无人机采集试验地块T3获得视频共有1 141帧，数量统计结果如图7所示。其中，第1帧的数量统计结果为10，前571帧的数量统计结果为49，整个试验地块的数量统计结果为135。云杉的跟踪匹配过程部分云杉编码发生跳变，但越线计数法有效解决编码跳变对计数结果的影响，在地面杂草背景与云杉颜色十分接近的干扰下，实现云杉数量的准确统计。

注：矩形和椭圆边界框均为云杉检测框，边界框上的数字为被跟踪云杉的编号，实心点为被跟踪云杉的中心。下同。测试视频共包含1 141帧，图中1、571和1 141是采用固定步长570帧获得的典型帧。

3.2 对比试验

为充分验证YOLOv3+SORT算法的性能，以测试集中对应6个不同试验地块的视频内云杉为实验数据，以目标检测领域表现良好的SSD和Faster R-CNN模型为检测器，结合SORT算法进行数量统计。以试验地块T1为例，无人机采集试验地块T1获得视频共有441帧，3种不同方法的云杉数量统计结果对比如图8所示。在图 8中，SSD+SORT算法对第1帧的数量统计结果为25，对前221帧的数量统计结果为231，对整个试验地块的数量统计结果为526；Faster R-CNN+SORT算法对第1帧的数量统计结果为30，对前221帧的数量统计结果为352，对整个试验地块的数量统计结果为736；YOLOv3+SORT算法对第1帧的数量统计结果为30，对前221帧的数量统计结果为360，对整个试验地块的数量统计结果为744。在图8a中，SSD模型在检测云杉时出现了较为严重的漏检，这也是导致SSD+SORT算法数量统计结果准确率低且误差较大的主要原因。在图8b和8c中，Faster R-CNN和YOLOv3模型能够准确检测视频中的云杉，基本没有漏检和误检。同时通过对比可见，本文改进的椭圆边界框能够更加清晰的展示云杉检测效果，尤其在云杉稠密的情况下极大的减少检测结果重叠的情况。

对于3种不同方法数量统计的线性回归分析如图9所示。可以发现，本文基于YOLOv3和SORT的云杉数量统计方法的决定系数为0.999 8，比SSD+SORT算法的决定系数高0.001 1，与Faster R-CNN+SORT算法相同。

以平均计数准确率MCA、平均绝对误差MAE、均方根误差RMSE和帧率FR为评价指标，定量比较3种方法的性能，对测试集6个不同试验地块的视频试验结果如表2所示。

表2 不同云杉数量统计方法的定量评价

在3种方法中，本文基于YOLOv3和SORT的云杉数量统计方法准确率高并且检测速度最快，对比Faster R-CNN+SORT算法，该方法在保证准确率的基础上更加快速，平均计数准确率MCA仅降低1.33个百分点，但帧率FR提高10.1 帧/s，是完成视频中云杉数量统计任务的最优方法。SSD+SORT算法在各项指标中表现欠佳，无法满足视频中云杉数量统计快速准确的需求。Faster R-CNN+SORT算法虽然在准确率方面表现好，但是在速度指标方面的表现还有很大的优化空间，不适用于视频中云杉数量统计快速的需求。

4 结 论

本文以无人机航拍的云杉视频为研究对象，针对统计完整地块苗木数量的问题，提出一种基于YOLOv3和SORT的云杉数量统计方法。主要工作包括采集数据、构建YOLOv3检测模型、设计SORT跟踪算法和越线计数方法。试验结果得到如下结论：

1）基于YOLOv3和SORT的云杉数量统计方法快速准确统计完整地块内云杉的数量。测试结果显示本文方法的平均计数准确率为92.30%、平均绝对误差为72、均方根误差为98.85、帧率为11.5 帧/s，线性回归分析的决定系数为0.999 8。基于YOLOv3和SORT的云杉数量统计方法有效解决了完整地块云杉数量难以快速准确统计的问题。

2）基于YOLOv3和SORT的云杉数量统计方法与SSD+SORT算法以及Faster R-CNN+SORT算法进行对比。测试结果显示：在平均计数准确率、平均绝对误差和均方根误差这3个指标上，基于YOLOv3和SORT的数量统计方法显著优于SSD+SORT算法，与Faster R-CNN+SORT算法相近，但帧率比其高出10.1 帧/s。是实现云杉数量快速准确统计的有效方法。

[1] Hao Z, Lin L, Liu J, et al. Automated tree-crown and height detection in a young forest plantation using mask region-based convolutional neural network (Mask R-CNN)[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2021, 178: 112-123.

[2] Xiong H, Cao Z, Lu H, et al. TasselNetv2: In-field counting of wheat spikes with context-augmented local regression networks[J]. Plant Methods, 2019, 15: 150.

[3] 肖德琴，张玉康，范梅红，等. 基于视觉感知的蔬菜害虫诱捕计数算法[J]. 农业机械学报，2018，49(3)：51-58.

Xiao Deqin, Zhang Yukang, Fan Meihong, et al. Vegetable pest counting algorithm based on visual perception[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(3): 51-58. (in Chinese with English abstract)

[4] 梁习卉子，陈兵旗，李民赞，等. 质心跟踪视频棉花行数动态计数方法[J]. 农业工程学报，2019，35(2)：175-182.

Liang Xihuizi, Chen Bingqi, Li Minzan, et al. Dynamic counting method of cotton rows in video based on centroid tracking[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(2): 175-182. (in Chinese with English abstract)

[5] Li D, Guo H, Wang C, et al. Individual tree delineation in windbreaks using airborne-laser-scanning data and unmanned aerial vehicle stereo images[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(9): 1330-1334.

[6] Wang J, Chen X, Cao L, et al. Individual rubber tree segmentation based on ground-based LiDAR data and Faster R-CNN of deep learning[J]. Forests, 2019, 10(9): 793.

[7] 赵静，潘方江，兰玉彬，等. 无人机可见光遥感和特征融合的小麦倒伏面积提取[J]. 农业工程学报，2021，37(3)：73-80.

Zhao Jing, Pan Fangjiang, Lan Yubin, et al. Wheat lodging area extraction using UAV visible light remote sensing and feature fusion[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(3): 73-80. (in Chinese with English abstract)

[8] Mekhalfi M, Nicolo C, Lanniello L. Vision system for automatic on-tree kiwifruit counting and yield estimation[J]. Sensors, 2020, 20(15): 4214.

[9] Payne A, Walsh K, Subedi P. Estimation of mango crop yield using image analysis - Segmentation method[J]. Computers and Electronics in Agriculture, 2013, 91: 57-64.

[10] Jiang H, Chen S, Li D, et al. Papaya tree detection with UAV images using a GPU-accelerated scale-space filtering method[J]. Remote Sensing, 2017, 9(7): 721.

[11] Dorj U, Lee M, Han S. A comparative study on tangerine detection counting and yield estimation algorithm[J]. Journal of Information Security and Applications, 2013, 7(3): 405-412.

[12] Waleed M, Um T, Khan A. Automatic detection system of olive trees using improved k-means algorithm[J]. Remote Sensing, 2020, 12(5): 760.

[13] Hassler S, Baysal-Gurel F. Unmanned aircraft system(UAS) technology and applications in agriculture[J]. Agronomy-Basel, 2019, 9(10): 618.

[14] Dilek K, Serdar S, Nathan A, et al. Automatic citrus tree extraction from UAV images and digital surface models using circular Hough transform[J]. Computers and Electronics in Agriculture, 2018, 150: 289-301.

[15] Linker R, Cohen O, Naor A. Determination of the number of green apples in RGB images recorded in orchards[J]. Computers and Electronics in Agriculture, 2012, 81(1): 45-57.

[16] Scott J, Gent D, Hay F, et al. Estimation of pyrethrum flower number using digital imagery[J]. Horttechnology, 2015, 25(5): 617-624.

[17] 李艳肖，胡雪桃，张芳，等. 基于高光谱技术的菌落图像分割与计数[J]. 农业工程学报，2020，36(20)：326-332.

Li Yanxiao, Hu Xuetao, Zhang Fang, et al. Colony image segmentation and counting based on hyperspectral technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(20): 326-332. (in Chinese with English abstract)

[18] Bargoti S, Underwood J. Image segmentation for fruit detection and yield estimation in apple orchards[J]. Journal of Field Robotics, 2017, 34(6): 1039-1060.

[19] Wu B, Yu B, Wu Q, et al. Individual tree crown delineation using localized contour tree method and airborne LiDAR data in coniferous forests[J]. International Journal of Applied Earth Observation and Geoinformation, 2016, 52: 82-94.

[20] 杭艳红，苏欢，于滋洋，等. 结合无人机光谱与纹理特征和覆盖度的水稻叶面积指数估算[J]. 农业工程学报，2021，37(9)：64-71.

Hang Yanhong, Su Huan, Yu Ziyang, et al. Estimation of rice leaf area index combining UAV spectrum, texture features and vegetation coverage[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(9): 64-71. (in Chinese with English abstract)

[21] 梁习卉子，陈兵旗，李民赞，等. 基于HOG特征和SVM的棉花行数动态计数方法[J]. 农业工程学报，2020，36(15)：173-181.

Liang Xihuizi, Chen Bingqi, Li Minzan, et al. Method for dynamic counting of cotton rows based on HOG feature and SVM[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(15): 173-181. (in Chinese with English abstract)

[22] 刘哲，黄文准，王利平. 基于改进K-means聚类算法的大田麦穗自动计数[J]. 农业工程学报，2019，35(3)：174-181.

Liu Zhe, Huang Wenzhun, Wang Liping. Field wheat ear counting automatically based on improved K-means clustering algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 174-181. (in Chinese with English abstract)

[23] 李莉，王宏康，吴勇，等. 基于K-means聚类算法的草莓灌溉策略研究[J]. 农业机械学报，2020，51(1)：295-302.

Li Li, Wang Hongkang, Wu Yong, et al. Investigation of strawberry irrigation strategy based on K-means clustering algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(1): 295-302. (in Chinese with English abstract)

[24] Shang L, Guo W, Nelson S. Apple variety identification based on dielectric spectra and chemometric methods[J]. Food Analytical Methods, 2015, 8(4): 1042-1052.

[25] 徐洋，陈燚，黄磊，等. 基于多层BP神经网络和无参数微调的人群计数方法[J]. 计算机科学，2018，45(10)：235-239.

Xu Yang, Chen Yan, Huang Lei, et al. Crowd counting method based on multilayer BP neural networks and Non-parameter tuning[J]. Computer Science, 2018, 45(10): 235-239. (in Chinese with English abstract)

[26] 李毅念，杜世伟，姚敏，等. 基于小麦群体图像的田间麦穗计数及产量预测方法[J]. 农业工程学报，2018，34(21)：185-194.

Li Yinian, Du Shiwei, Yao Min, et al. Method for wheatear counting and yield predicting based on image of wheatear population in field[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(21): 185-194. (in Chinese with English abstract)

[27] Djerriri K, Ghabi M, Karoui M, et al. Palm trees counting in remote sensing imagery using regression convolutional neural network[C]//IGARSS 2018 - 2018 IEEE International Geoscience and Remote Sensing Symposium, Valencia, Spain: IEEE, 2018.

[28] 孙壮壮，姜东，蔡剑，等. 单子叶作物叶片气孔自动识别与计数技术[J]. 农业工程学报，2019，35(23)：170-176.

Sun Zhuangzhuang, Jiang Dong, Cai Jian, et al. Automatic identification and counting of leaf stomata of monocotyledonous crops[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 170-176. (in Chinese with English abstract)

[29] Xie H, Fan Z, Li W, et al. Tobacco plant recognizing and counting based on SVM[C]// 2016 International Conference on Industrial Informatics - Computing Technology, Intelligent Technology, Wuhan, China: IEEE, 2016.

[30] 姜海燕，徐灿，陈尧，等. 基于田间图像的局部遮挡小尺寸稻穗检测和计数方法[J]. 农业机械学报，2020，51(9)：152-162.

Jiang Haiyan, Xu Can, Chen Yao, et al. Detecting and counting method for small-sized and occluded rice panicles based on in-field images[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(9): 152-162. (in Chinese with English abstract)

[31] 易诗，沈练，周思尧，等. 基于增强型Tiny-YOLOV3模型的野鸡识别方法[J]. 农业工程学报，2020，36(13)：141-147.

Yi Shi, Shen Lian, Zhou Siyao, et al. Recognition method of pheasant using enhanced Tiny-YOLOV3 model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 141-147. (in Chinese with English abstract)

[32] Osco L, Arruda M, Junior J, et al. A convolutional neural network approach for counting and geolocating citrus-trees in UAV multispectral imagery[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 160: 97-106.

[33] Fan Z, Lu J, Gong M, et al. Automatic tobacco plant detection in UAV images via deep neural networks[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(3): 876-887.

[34] Raul M, Lodewijk V, Joris I. DiSCount: computer vision for automated quantification of striga seed germination[J]. Plant Methods, 2020, 16(1): 60.

[35] Zhou W, Zhu X, Chen F. Spruce counting based on Lightweight Mask R-CNN with UAV Images[J]. International Journal of Circuits, Systems and Signal Processing, 2021, 15: 634-642.

[36] Wang D, Fu Y, Yang X, et al. Combined use of FCN and harris corner detection for counting wheat ears in field conditions[J]. IEEE Access, 2019, 7: 178930-178941.

[37] Li W, Fu H, Yu L, et al. Deep learning based oil palm tree detection and counting for high-resolution remote sensing images[J]. Remote Sensing, 2017, 9(1): 22.

[38] 陈锋军，朱学岩，周文静，等. 基于无人机航拍与改进YOLOv3模型的云杉计数[J]. 农业工程学报，2020，36(22)：22-30.

Chen Fengjun, Zhu Xueyan, Zhou Wenjing, et al. Spruce counting method based on improved YOLOv3 model in UAV images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(22): 22-30. (in Chinese with English abstract)

[39] Ibryaeva O, Shepelev V, Kuzmicheva O, et al. A study of the impact of the transport queue structure on the traffic capacity of a signalized intersection using neural networks[J]. Transportation Research Procedia, 2020, 52: 589-596.

[40] Alver Y, Onelcin P, Cicekli A, et al. Evaluation of pedstrian critical gap and crossing speed at midblock crossing using image proccessing[J]. Accident Analysis and Prevention, 2021, 156(4): 106127.

[41] Khazukov K, Shepelev V, Karpeta T, et al. Real-time monitoring of traffic parameters[J]. Journal of Big Data, 2020, 7: 84.

[42] Bewley A, Ge Z, Ott L, et al. Simple online and realtime tracking[C]// 2016 IEEE International Conference on Image Processing (ICIP), Phoenix, AZ, USA: IEEE, 2016: 3464-3468.

Quantity statistics of spruce under UAV aerial videos using YOLOv3 and SORT

Chen Fengjun1,2, Zhu Xueyan1,2, Zhou Wenjing1,2, Zheng Yili1, Gu Mengmeng3, Zhao Yandong1,4※

(1.,,100083,;2.,100083,;3.,,77843,;4.,100083,)

A seedling quantity is a key indicator to predict the actual production, supply, and demand for the operation and management of a nursery. The manual visualization has still dominated the statistics for the number of seedlings in complete plots. However, the application needs cannot be fully met in recent years, such as high cost, low efficiency, and slow data update. Therefore, it is necessary to fast and accurately estimate the number of seedlings in the whole plots. Taking the spruce as the research object, this study aims to propose a quantity statistics approach under Unmanned Aerial Vehicle (UAV) aerial videos using YOLOv3 and SORT. The specific procedure included the data acquisition, YOLOv3 detection model, SORT tracking, and cross-line counting. Two areas were divided for the image and video acquisition, each with 6 complete test plots. In the stage of data acquisition, 558 images and 6 videos were captured by a DJI Phantom 4 (UAV). The quantity statistics dataset was then constructed with the acquired images and videos, where the training dataset contained 558 images, and the test dataset contained 6 videos. Subsequently, a YOLOv3 model was selected to detect the spruce, while a SORT model was to track the spruce, and the cross-line counting to count the number of spruce. The performance of the combined YOLOv3+SORT was also quantitatively evaluated using Mean Count Accuracy (MCA), Mean Absolute Error (MAE), Root Mean Square Error (RMSE), and Frame Rate (FR). It was found that the MCA of 92.30%, MAE of 72, RMSE of 98.85, and FR of 11.5 frames/s for the test dataset in the quantity statistics. The experimental results showed that quick and accurate counting was achieved for the number of spruce in the complete plots. The YOLOv3+SORT was also compared with the SSD+SORT and Faster R-CNN+SORT, in order to further verify the performance of the model. The results showed that the YOLOv3+SORT performed over the SSD+SORT in all four evaluation indexes. Particularly, the YOLOv3+SORT was much faster with higher guaranteed accuracy, with 1.33 percentage points lower MCA, and 10.1 frames/s higher FR, compared with the Faster R-CNN+SORT. In summary, the quantity statistics using YOLOv3 and SORT can be widely expected to serve as an effective way to rapidly and accurately count the number of seedlings in the whole plots. This study can also offer promising potential support to the seedling quantity statistics from the perspective of UAV aerial videos.

unmanned aerial vehicle; model; algorithm; spruce; quantity statistics; YOLOv3; SORT

陈锋军，朱学岩，周文静，等. 利用无人机航拍视频结合YOLOv3模型和SORT算法统计云杉数量[J]. 农业工程学报，2021，37(20)：81-89.doi：10.11975/j.issn.1002-6819.2021.20.009 http://www.tcsae.org

Chen Fengjun, Zhu Xueyan, Zhou Wenjing, et al. Quantity statistics of spruce under UAV aerial videos using YOLOv3 and SORT[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(20): 81-89. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.20.009 http://www.tcsae.org

2021-06-27

2021-10-06

国家重点研发计划（2019YFD1002401）、中央高校基本科研业务费专项资金资助（2015ZCQ-GX-04）和北京市共建项目联合资助

陈锋军，博士，副教授，研究方向为林业信息检测。Email：chenfj227@bjfu.edu.cn

赵燕东，博士，教授，博士生导师，研究方向为生态智能检测与控制。Email：yandongzh@bjfu.edu.cn

10.11975/j.issn.1002-6819.2021.20.009

TP391.4

A

1002-6819(2021)-20-0081-09