基于计算机视觉的夜间交通流量统计算法研究

王洪昌　王鹏　焦博文　于奕轩　王玉林

文章编号：10069798（2022）02005506;DOI：10.13306/j.10069798.2022.02.009

摘要：針对夜晚环境中传统交通流量统计出现的实时性、鲁棒性及准确性不高的问题，提出了一种基于改进的YOLOv5s交通流量统计算法。采用残差网络的连接结构对YOLOv5s算法中的Focus层进行改进。将改进后的YOLOv5s算法与DeepSORT跟踪算法、统计模块搭建高效的交通流量统计框架。采集实际路况的夜间场景视频来对该框架的准确性进行验证。实验结果表明，该算法平均准确率达到92.9%，较改进前提升3.0%，平均检测速度可以达到33.4Hz，准确率及实时性都能满足交通流量统计要求。该算法框架可有效地提供夜间交通流量数据，为智能交通发展提供一定的技术支持。

关键词：计算机视觉;交通流量统计;YOLOv5s;DeepSORT;智能交通

中图分类号：TP391.41;TP393.021文献标识码：A

智能交通技术是融合多学科内容的前沿学科[1]，交通流量统计[2]是智能交通技术的重要环节和数据来源，开展这方面的研究具有重要意义。目前，交通流量统计算法分为目标检测、目标跟踪和目标统计三个模块。目标检测[3]是获取交通流信息的第一步，准确的目标检测算法可以大大提高跟踪模块的性能。传统的目标检测方法易受到天气和光线等外界因素的影响，进而对目标跟踪的准确性造成影响。采用基于深度学习[4]的目标检测方法，可以对道路中的车辆进行精准识别，利用获取的车辆种类和位置信息进一步跟踪和计数。J.REDMON等人[5]提出以卷积神经网络为基础的YOLO目标检测算法，实现了对图像目标的检测和分类，目前已经由YOLOv1发展到YOLOv5[69];张文龙等人[10]在JDE跟踪算法的基础上添加AFN模块，使用EfficientNetv2替换YOLOv5的特征提取网络，提高了算法实时跟踪速度和检测能力;赖见辉等人[11]采用基于深度学习的YOLOv3方法，建立卡尔曼滤波、匈牙利分配和透视投影变换的交通流量计数模式，车流量计数精度在95%左右;刘磊等人[12]采用YOLO网络与MeanShift跟踪算法结合的车流量统计方法，此方法具有较强的鲁棒性。虽然科研工作者对交通流量统计方法做了一定研究，但缺少在夜晚交通环境下的算法和性能测试，夜间场景中目标识别准确率低一直是交通流量统计的一个难点。针对夜晚交通工况，本文提出了一种新的交通流量统计算法框架（res-YOLOv5strafficflowstatisticalframework，RY-TFSF）。该算法借鉴残差网络[13]的思想，改进了YOLOv5s[14]中的Focus模块，将改进后的YOLOv5s检测算法与DeepSORT跟踪算法、统计模块融合，搭建成新的交通流量统计算法框架。与传统的交通流量统计框架相比，该框架在保证实时性的同时，提高了准确率。该研究在交通流量统计领域应用前景广阔。

1目标检测

1.1YOLOv5s网络结构

深度学习中以YOLO为代表的基于回归检测方法表现出了更好的性能。其中，最新的YOLOv5算法较前几代YOLO算法在灵活性和速度上得到了极大的改进，可满足交通流量统计领域对实时性的要求。YOLOv5目标检测网络结构共有四种，按照网络结构规模排序小到大依次为YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x，四种网络结构的残差组件和卷积核的个数依次增加[15]。YOLOv5s网络是YOLOv5系列中深度和特征图宽度最小的网络结构，YOLOv5s网络架构如图1所示。

该网络包括Input、Backbone、Neck和Prediction四个部分，其中，Input为图片输入模块，要求输入图像大小为640×640，对于不满足该尺寸的输入图片，可将图片自适应的缩放到640×640像素大小。Backbone的作用是对图像进行降采样，减小图片的宽和高，而通道数增加，可提取不同层次的语义信息。YOLOv5s中使用CSPDarknet53结构，使用Focus结构作为基准网。Neck位于主干网络和网络头部的中间位置，它可以对特征提取的多样性及鲁棒性进行优化。Prediction包含分类和回归两个分支，用来完成目标检测结果的输出。

1.2Res-YOLOv5sFocus层的改进

在主干网络的卷积层前有一个Focus层[16]用来丰富输入图像信息，YOLOv5s中的Focus层如图2所示。

在YOLOv5s的Focus层中，将输入图像在行与列上分别取奇数像素与偶数像素，在3个通道上产生4个图像块，并将所有图像块沿通道方向进行拼接，使原本3通道的图像变为12通道，并且图像尺寸变为原来的一半。这种Focus结构在下采样的过程中，将宽与高上的信息变换到了通道方向，为后续的特征提取保存了较完整的图片下采样信息。-

为更好提取目标的图像特征，增强目标检测算法对目标的识别能力，本文对YOLOv5s模型中的Focus层做出了结构上的改进，改进后的Focus层如图3所示。基于Focus结构上增加了一条通路，该通路直接输入图像进行卷积，再将两条通路进行拼接后，经过一次32通道3×3的卷积，即可得到改进Focus模块的输出。此结构能在YOLOv5s/Focus层优势的基础上，更多的保留原始图像信息，并且将两条通路结合，丰富输入图像信息，使后续卷积层可以获得更好的特征提取效果。-

1.3激活函数

本文采用LeakyReLU激活函数对卷积层得到的运算结果进行非线性激活[1718]，传统的ReLU激活函数虽然具有较快的计算速度与收敛速度。但当输入值为负时，会因为其0输出导致神经元无法更新参数。

而相较于传统的ReLU函数，LeakyReLU函数在输入的负半区间引入了Leaky值，避免了输入为负值时，0的导数引发神经元无法更新参数的问题。ReLU和LeakyReLU激活函数如图4所示。

图4中，LeakyReLU激活函数负半轴是一个较小斜率的函数，可以初始化神經元，避免神经元死亡并可增加负值特征信息的提取。当LeakyReLU激活函数中a=5.5时，LeakyReLU激活函数的分类能力高于ReLU激活函数。

2目标跟踪

目标跟踪的主要任务是关联两帧之间的检测目标，对目标进行编号，获得目标运动轨迹，为流量统计框架提供数据基础。DeepSORT算法是跟踪检测算法中的一个经典代表，其具有鲁棒性和实时性较高的优点，DeepSORT算法流程如图5所示。

图5中IOU匹配为检测目标框交并比，是衡量真实目标框与检测目标框差异的一种参数。该算法在SORT算法的基础上加入了深度特征，通过目标的外观特征匹配来增加在遮挡等特殊情况下目标跟踪的准确率，并减少了ID跳变的次数。

对所有初始帧进行检测和ID编号初始化，使用卡尔曼滤波预测下一帧的状态参数，根据预测框和下一帧检测框的CNN和IOU进行匈牙利匹配[19]。预先设置合适的阈值，判断特征距离与所设阈值的大小关系，要求三者中有一处匹配成功，则会进入卡尔曼滤波更新阶段。若经过T次匹配仍未成功，目标跟踪Tracks会被认为已经离开视频，其将被删除，未匹配成功的目标检测框Detections将给予新的ID编号，所有Detections和Tracks处理完成后，则进入下一帧的匹配更新环节。-

3流量统计框架

本文针对夜间交通场景，搭建了交通流量统计框架RY-TFSF，RY-TFSF交通流量统计框架如图6所示。由于交通场景的复杂性以及智能交通系统对信息实时性的要求，统计流量时，剔除冗余的信息，避免其对智能交通系统各性能的影响[20]。-当一个车辆ID首次在视频区域出现时，记录框中心点位置（x，y）first，当该ID通过检测线时会再次记录框中心点（x，y）end，根据两次记录的中心点，可计算得到一个矢量方向，进而判断该ID的运动方向。

判读该ID是否被记录于ID集中，如选项为否，则根据跟踪检测框的类别和行驶方向进行计数，如已经计数则不进行操作。当某车辆驶出视频区域时，将此ID从Recorded_ID中删除，以此缩小RY-TFSF框架的规模，减少对算力的需求，保证流量统计的速度和实时性。

4实验结果及分析

软件配置为编程语言采用python3.7，深度学习框架及相应库分别采用pytorch1.7.0，Cuda10.1和Cudnn7.4.1，操作系统为Ubuntu18.04。硬件配置为i710700kCPU@3.00GHz，NVIDIAGeForceRTX2080Ti，12G显存，CUDA核心数为4352和运行内存为32G。实验参数为置信度设为0.4，IOU匹配阈值设为0.5，HOG特征匹配阈值设为0.5。

本文测试过程分为两个步骤：一是对改进的YOLOv5s神经元网络进行训练，得到适用于夜间环境的车辆识别器;二是将训练好的识别器与跟踪模块和统计模块结合，得到适用于夜间环境的交通流量统计集成系统，并应用该系统对标注数据集进行检测。-

4.1深度神经元网络训练

YOLOv5s网络的训练阶段使用了Mosaic数据增强操作和自适应锚框计算，Mosaic数据增强操作可以提升模型的训练速度和整个网络的精度[21]。在YOLOv5s模型训练过程中，损失函数随迭代次数变化曲线如图7所示。

YOLOv5s模型训练过程图横坐标为迭代次数，纵坐标为损失函数值Loss。由图7可以看出，在迭代800次左右，3种Loss的值均趋向于稳定，此时得到相对较优的权重。

4.2交通流量统计测试及结果分析

流量统计框架的车辆类别分为轿车、公交车和卡车3种车型，使用这3种类型对测试视频进行流量统计检测，利用opencv在视频的左上角搭建虚拟计数器。流量统计框架部分效果图如图8所示。

通过采集实际道路的夜间交通视频，对本文所搭框架的准确率进行验证分析，计算框架平均准确率和平均速率分别为

Fave=FtotalTtotal-式中，Ni，j为框架测试得到的第i个视频中的第j种类的目标数量;Ri，j为真实的第i个视频中的第j种类的目标数量;Ftotal为测试视频的总帧数;Ttotal为框架测试完视频所用的总时间。经过计算，得到改进前后夜间交通视频流量统计测试结果，夜间交通视频流量统计测试结果如表1所示。

由表1统计测试结果分析可知，该框架对夜间场景视频的交通目标具有良好的计数准确率和检测速度，在单张显卡的设备上，可满足智能交通对实时性的要求。

5结束语

本文搭建了一个适用于夜间场景的交通流量统计框架，该框架分为检测、跟踪和统计模块。分析研究目标检测算法的网络结构，选用YOLOv5s算法，针对夜间场景交通问题的特点，改进Focus模块来提高算法的特征提取能力。改进后的YOLOv5s算法与DeepSORT跟踪算法构建了跟踪框架，在此跟踪框架的基础上搭建流量统计框架，并拍摄了夜间交通视频。对夜间交通视频测试，其结果说明该框架具有不错的鲁棒性、实时性和较强的开放性，并且可较容易地集成其它功能。本实验的不足之处是统计算法检测速度较慢，后期研究中将增加对夜间极端天气视频的测试，继续修改统计算法框架，提高对极端工况的实验统计速度和准确率，这也是本实验今后深入研究的主要方向。-参考文献：

[1]张毅，姚丹亚，李力，等.智能车路协同系统关键技术与应用[J].交通运输系统工程与信息，2021，21（5）：4051.

[2]范雪梅.基于卷积神经网络图像识别的交通流量信息采集终端的设计与实现[D].南京：东南大学，2018.

[3]张婷婷，章坚武，郭春生，等.基于深度学习的图像目标检测算法综述[J].电信科学，2020（7）：92106.

[4]BHATTJ，HASHMIKA，AFZALMZ，etal.Asurveyofgraphicalpageobjectdetectionwithdeepneuralnetworks[J].AppliedSciences，2021，11（12）：53445365.

[5]YET，ZHAOZY，ZHANGJ，etal.Low-altitudesmall-sizedobjectdetectionusinglightweightfeature-enhancedconvolutionalneuralnetwork[J].JournalofSystemsEngineeringandElectronics，2021，32（4）：841853.

[6]KRIZHEVSKYA，SUTSKEVERI，HINTONG.ImageNetclassificationwithdeepconvolutionalneuralnetworks[J].AdvancesinNeuralInformationProcessingSystems，2012，25（2）：10971105.

[7]LIUR，LENGXF，LIUY.AfastimagematchingalgorithmbasedonYolov3[J].TransactionsofNanjingUniversityofAeronauticsandAstronautics，2021，38（5）：807815.

[8]卢迪，马文强.基于改进YOLOv4tiny算法的手势识别[J].电子与信息学报，2021，43（11）：32573265.

[9]张仲楠，霍炜，廉明，等.基于Yolov5的快速双目立体视觉测距研究[J].青岛大学学报（工程技术版），2021，36（2）：2027.

[10]林森，刘美怡，陶志勇.采用注意力机制与改进YOLOv5的水下珍品检测[J].农业工程学报，2021，37（18）：307314.

[11]赖见辉，王扬，罗甜甜，等.基于YOLO_v3的侧视视频交通流量统计方法与验证[J].公路交通科技，2021，38（1）：135142.

[12]刘磊，赵栓峰，郭卫.一种YOLO识别与Meanshift跟踪的车流量统计方法[J].制造业自动化，2020，42（2）：1620.

[13]郝旭政，柴争义.一种改进的深度残差网络行人检测方法[J].计算机应用研究，2019，36（5）：15691572，1584.

[14]ZHOUJ，JIANGP，ZOUAR，etal.ShiptargetdetectionalgorithmbasedonimprovedYOLOv5[J].JournalofMarineScienceandEngineering，2021，9（8）：162166.

[15]許宏吉，王珏，李梦荷，等.基于多卷积核残差网络的行为识别系统、方法、介质及设备[P].CN111027487A，20200417.

[16]ALDAHOULN，KARIMHA，ABDULLAHM，etal.TransferdetectionofYOLOtofocusCNN'sattentiononnuderegionsforadultcontentdetection[J].Symmetry，2020，13（1）：2651.

[17]LIUYS，WANGXJ，WANGL，etal.AmodifiedleakyReLUscheme（MLRS）fortopologyoptimizationwithmultiplematerials[J].AppliedMathematicsandComputation，2019，352：188204.

[18]蒋昂波，王维维.ReLU激活函数优化研究[J].传感器与微系统，2018，37（2）：5052.

[19]魏恩伟，李伟华，张之涵，等.基于改进匈牙利算法的非侵入式负荷匹配方法[J].电测与仪表，2019（22）：5664.

[20]郭欢，朱莉，郭晓刚.基于图像处理技术的交通流量统计算法的实现[J].自动化技术与应用，2013（2）：4952.

[21]李阿娟.YOLOv5算法改进及其现实应用[D].太原：中北大学，2021.-ResearchonNighttimeTrafficFlowStatisticsAlgorithmBasedonComputerVision

WANGHongchang，WANGPeng，JIAOBowen，YUYixuan，WANGYulin

（CollegeofMechanicalandElectricalEngineering，QingdaoUniversity，Qingdao266071，China）-Abstract：

AnimprovedYOLOv5strafficflowstatisticsalgorithmisproposedtoaddressthelowreal-time，robustness，andaccuracyproblemsoftraditionaltrafficcountinginthenighttimeenvironment.ThisarticleimprovestheFocuslayerintheYOLOv5salgorithmbyusingtheresidualnetwork'sconnectionstructure.TheimprovedYOLOv5salgorithmiscombinedwiththeDeepSORTmonitoringalgorithmandstatisticsmoduletoconstructanefficienttrafficflowstatisticsframework.Ultimately，theframework'saccuracyisverifiedbycollectingvideosofnighttimescenesofactualroadconditions.Theexperimentalresultsdemonstratethatthealgorithmachievedanaverageaccuracyof92.9%，implying3.0%improvementoverthepre-improvementperiod.Simultaneously，theaveragedetectionspeedcanreach33.4Hz，whichcanmeettherequirementsoftrafficflowstatisticsinbothaccuracyandreal-time.Thealgorithmframeworkcaneffectivelyprovidenighttimetrafficflowdataandprovidesometechnicalsupportforthedevelopmentofintelligenttransportation.Keywords：

computervision;trafficflowstatistics;YOLOv5stargetdetectionalgorithm;DeepSORTtrackingalgorithm;intelligenttraffic

收稿日期：20211104;修回日期：20220113

作者简介：王洪昌（1994），男，硕士研究生，主要研究方向为自动驾驶技术。

通信作者：王玉林（1964），男，博士，教授，主要研究方向为电子控制技术。Email：wangyuln@163.com