无人机端路面车辆违停检测及取证系统

田爱军， 蔡旭阳， 陈 玮， 罗 伟， 尹彦卿

(航空工业金城集团有限公司，江苏 南京 210001)

随着城市化建设逐步完善，住宅尤其是高层住宅密度越来越大，市内私家车数量越来越多，直接导致路边违章停车现象严重，路边违章停车现象极为普遍，极易引发机动车互相碰擦、机动车非机动车碰擦、机动车人员碰擦等轻微事故，也可能导致一些较为严重交通事故发生。因此需要一种有效的监督方法，防止路边违章停车的现象出现，进而降低交通事故的发生，保障居民的交通便利及交通安全[1]。

目前路面违停巡检主要还依赖于交警巡查和固定相机抓拍。虽然大多数路口、红绿灯处、交通要道等都安装了交通监控相机，但依然有不少监控盲区，经常出现违章停车现象。除此之外，部分非主干道较为复杂，细小支路较多，也给交警的巡检造成一定困难。除上述道路不利因素外，交通巡查的工作量大也是一个难题。目前，依靠交警现场巡查已经不是一个高效的解决方法。

近年来随着图像处理技术和计算机视觉技术的发展和应用推广，利用基于计算机视觉技术的智能视频分析系统[2]已经应用到图像、视频检测中，但目前还没有有效针对违章停车检测与取证的手段。

自从2020年YOLOv4发表以来，YOLOv4一直被广泛用于目标检测领域。本文也选取YOLOv4作为车辆检测算法。首先，通过YOLOv4得到输出的目标框；其次，重新构建了局部回归模块，从而得到更加贴合车辆轮廓的检测框；再次，针对检测框进行红外测温，通过对车头车尾测温点温度差的计算，判定车辆是否长时间静止，以此来降低车辆违停的误检率；然后，自主构建了一个基于神经网络的分类模块，并通过多种数据增强手段训练分类网络，以判定静止车辆是否属于违停；接着，对判定属于违停的车辆，调用取证算法，进行车牌检测、车牌识别，作为处罚依据；最后，选取了两个停车场，一条主干道和两个交通路口，并针对不同场景设计了不同实验方案，分5 d时间进行实验，以验证本系统的可行性。

本文提出了一种基于深度学习技术的无人机端路面车辆违停检测及取证系统，能够弥补交警巡逻和固定相机等在违停检测方面的不足。本系统在进行巡检的同时，判定车辆是否违停，对违停车辆进行取证，并实时将采集的信息发送给地面指挥中心或直接发给交管部门，作为检测和处罚的依据。本系统对车辆违停现象检测成功率较高，可以有效提高交管部门巡检的工作效率，有效降低违章停车现象的出现，进而减少交通事故发生的概率。但本系统依然还有不完善之处，未来将会针对系统准确率和人机交互性能进一步优化完善。

1 系统结构分析

1.1 系统总述

提出了一种基于深度学习技术的无人机端[3]路面车辆违停检测及取证系统，如图1所示，它包含无人机的两种模式和13个功能模块。

图1 系统模块示意图

利用无人机搭载的可见光摄像头，在设定的巡检点采集实时图像，将图像输入到专门针对不同车辆训练的深度神经网络模型，通过前向运算检测图像中的内容，若检测到图像中有车辆出现，则结合红外测温技术，根据因拥堵、红灯停车等现象与违章停车现象存在发动机温度差异这一特征，进一步排除非违章停车情况。针对检测出的静止车辆的目标框，截取出以目标框中心，长、宽为目标框膨胀一定范围的区域内容，并将截取出的新图像送入分类模型中进行分类，得出分类结果为正确停车、未停在停车位内、压停车位线或占多个停车位。若出现违章停车现象(即未停在停车位内、压停车位线或占多个停车位现象，下同)，则计算出取证点坐标，降低无人机高度，对车牌拍摄，并与违章图像相关联，保存留作处罚依据。

1.2 无人机巡检模式分析

第1个无人机模式为无人机巡检模式，该模式下无人机根据已经预设的巡检点位信息，进行无人操控的定线巡航。无人机巡检模式具体流程如图2所示。

图2 无人机巡检模式流程图

无人机巡检模式的第1个功能模块为第一图像采集模块，如图2中的①。无人机飞行到预设的悬停点时，调用无人机搭载的可见光摄像头进行抓拍，获取监测区域的实时图像[4]。

无人机巡检模式的第2个功能模块为车辆检测模块[5]，如图2中的②。车辆检测模块使用深度学习目标检测[6]的算法检测图像中车辆，并获取所有检测出的车辆目标框信息。并在之后增加了局部回归模块，用以准确定位车辆4个角点，拟合出更加贴合的车辆外接框。具体方案将在2.1节、2.2节中进行详细说明。

无人机巡检模式的第3个功能模块为温度采集模块，如图2中的③。当车辆处于行驶中，或临时停下时，由于车辆发动机温度较高，会造成车辆发动机所在区域表面温度较高，而非发动机区域温度较低现象，通过分析大量车辆数据[7]，选取车头车尾2个位置为测温点。以两点采集的温度差作为判定车辆是否静止的依据，对车辆状态进行判定，以找出真正违章停车的车辆(将在2.3节中进行详细说明)。

无人机巡检模式的第4个功能模块为违章判定模块，如图2中的④。当检测出静止车辆之后，从原始图片中提取车辆目标框膨胀一定范围的区域，送入训练好的分类网络进行分类[8]，得出分类结果为正确停车、未停在停车位内、压停车位线或占多个停车位(将在2.4节中进行详细说明)。

无人机巡检模式的第5个功能模块为第一飞行控制模块，使无人机根据已经预设的巡检点位信息，进行无人操控的定线巡航，如图2中的⑤。所述的巡检点即为无人机的悬停点。

1.3 无人机取证模式分析

第2个无人机模式为无人机取证模式，该模式下无人机定点自动飞行。当无人机巡检模式下检测到车辆有违停现象时，无人机自动进入取证模式，针对违章停车的车辆，拍摄照片和进行车牌识别，并将识别的车牌信息和照片发送给后台控制中心，作为后续处罚依据。若一张图像中有多个车辆违停，无人机进入取证模式时，会以自身为中心点，计算每个目标中心点与无人机的直线距离，选取距离最近目标作为取证目标，取证完成后重新计算剩余目标与无人机当前位置的直线距离，并选取直线距离最近目标作为下一个取证目标。依此循环直到图片中所有目标都取证完成。采用这样的取证方法，保证取证速度更快、取证更充分全面。无人机取证模式具体流程如图3所示。

无人机取证模式的第1个功能模块为第二图像采集模块，如图3中的①。当无人机成功切换为取证模式时，会在第一图像采集模块所采集的实时图像中将存在违停现象的车辆目标框标出并保存。此外，无人机飞行到取证点时，调用无人机搭载的可见光摄像头进行拍照，得到取证照片。

无人机取证模式的第2个功能模块为相机云台控制模块，如图3中的②。该模块读取预设的配置文件中的经过测试并预设完成的云台拍摄焦距，调整相机云台的焦距。拉近相机的拍摄画面，使得取证图片更加清晰。当取证完成时，该模块会调整云台焦距为预设的巡检焦距，以更大视野范围进行违章巡检。

图3 无人机取证模式流程图

无人机取证模式的第3个功能模块为取证点定位模块，如图3中的③。该模块会提取目标车辆目标框的中心点为A，取目标车辆目标框长宽边中较短边中心点，分别为B、C。从A分别向B、C连接形成有向线段AB、AC，并延长目标车辆目标框长宽边中较长边/2，分别为D、E。D、E点即无人机取证点的坐标。这里的坐标均为二维坐标。定位D、E点后，直接可得出D、E点在图像中的坐标。选用这两个取证点，目的就是为了在正视角度下(完全朝下俯视角度)，相机的视野角可以捕捉到车牌区域。

无人机取证模式的第4个功能模块为第二飞行控制模块，如图3中的④。第二飞行控制模块得到已经定位出的D、E点坐标，并控制无人机飞往D、E点进行取证。在无人机每次坐标移动之前，需要返回预设的巡检飞行高度，再进行飞行动作，等到达预定坐标点后，再降低到取证高度。防止在低空飞行时出现一些不安全隐患。

无人机取证模式的第5个功能模块为车牌检测模块，如图3中的⑤。无人机在到达点D或点E时，进行取证拍照，再调用车牌检测模块对取证照片进行车牌检测。车牌检测模块用于检测取证图像中是否有车牌区域。

无人机取证模式的第6个功能模块为车牌检测失败判定模块，如图3中的⑥。调用车牌检测之后，若检测到车牌，且车牌的中心点x、y坐标与图像中心点x、y坐标相差在一定范围内，则判定成功取到车牌，否则车牌检测失败计数加1。车牌检测失败时该模块读取预设的配置文件中经过测试并预设完成的焦距调整步长，调用相机云台控制模块调整焦距，并进行下一次取证拍照，然后进行车牌检测，并再次对是否取到车牌进行判定；以此循环，当车牌检测失败计数大于或等于3次，则放弃车牌检测，不提取车牌，只采集取证照片。

无人机取证模式的第7个功能模块为车牌识别模块[9]，如图3中的⑦。若成功提取到车牌区域，则调用车牌识别模块进行车牌识别，获取到车牌信息(车牌识别是指提取出车牌的文字信息，比如“苏A12345”)，并保存。

无人机取证模式的第8个功能模块为信息封装发送模块，如图3中的⑧。该模块会将无人机的GPS信息、进入取证模式时第二图像采集模块保存的初始化图像、在D点和E点分别拍摄的取证图像、提取到的车牌信息(若未提取到车牌信息，则该项为空)等信息都传输到地面控制中心，作为交管部门处罚依据，同时设置无人机返回巡检模式，继续进行违章巡检。

2 取证算法应用与优化

2.1 目标检测算法数据增广

本文利用YOLOv4算法[10]进行车辆检测。训练时本文基于公开的预训练模型，加入自己的数据进行微调。训练模型的数据来源于网络爬虫、客户提供、自己主动采集等方式收集到的高空正摄的车辆图像，图像数量不低于每个类别1000张，并对原始图像进行数据增强和数据扰动，以增加泛化性和防止过拟合问题，接着放入深度学习训练算法和网络中进行目标检测模型的训练。网络输入为608×608的三通道图像数据，其他相关超级参数都采取默认设置值。

2.2 增加局部回归模块

若直接从目标矩形框上下边中点处进行红外测温，由于车辆姿态等问题，常常会会出现偏差。由于停在路边的车辆大多数不会是沿着道路方向标准停放，经常出现倾斜、错位甚至任意角度停放现象，影响目标检测目标框的回归拟合，进而影响红外测温模块对测温点的定位。因此获得目标位置信息后，本文设计了一个局部回归模块，以适应目标处于不同方向、不同姿态下的四边形框，如图4所示。

图4 回归目标示意图

局部回归模块用深度神经网络来实现，类似YOLO检测算法[11]，通过卷积运算后，直接回归出目标外接四边形框的4个顶点坐标。回归实现流程如图5所示。

图5 回归流程示意图

基础网络部分，本文利用MobileNetV2进行裁剪，获得了一个小型的特征提取网络，其细节如表1所示。其中Bottleneck和MobileNetV2中表述的完全相同，如图6结构所示。Dwise[12]为深度可分离卷积操作，可减少计算量；t为Bottleneck部分通道扩展系数；c为当前层特征输出通道数；n为当前层重复次数；s为卷积核移动步长。每次卷积运算后接Batchnorm[13]模块，不同于MobileNetV2，本文激活函数用ReLU取代ReLU6。

表1 局部回归模型特征提取部分

图6 MobileNet V2 Bottleneck示意图

基础特征提取网络的参数在公开数据集COCO上进行预训练，训练数据有两个来源，一部分是在公开的实例分割数据中有关车辆的，本文对分割数据进行预处理，获取目标mask的最贴合外接四边形；另外一部分为自我采集，利用无人机对相关道路停车位进行拍摄，采集数据后自行标注。两部分数据的融合训练扩增了数据量，保证模型很好地收敛，也加强了模型的泛化性。网络输入为检测模块的结果目标框放大1.2倍后截取的局部区域，统一压缩为128像素×128像素尺寸。回归的坐标值也都进行了归一化处理，加快模型的收敛速度，增强鲁棒性。本文重新设计了回归的损失函数，采用L2损失函数，如式(1)所示：

(1)

式中，n的值设置为4，表示四边形顶点数；i为四边形顶点编号；xi为预测出的顶点i的x轴坐标；Xi为顶点i实际标注的x轴坐标；yi为预测出的顶点i的y轴坐标；Yi为顶点i实际标注的y轴坐标。

2.3 红外测温停车判断

无人机载荷包含红外热像仪，通过目标检测模块和局部回归模块，在红外图中对齐车辆的位置信息，当车辆检测模块检测出图像中有车辆时[14]，温度采集模块会通过检测得到的车辆目标框信息，计算出车头车尾的大致区域(即测温点1和测温点2，计算在这两个中心点测得的温度的差值的绝对值，由于是计算温度差的绝对值，因此不关注温点1和测温点2具体是车头点还是车尾点，只关注两点的具体坐标),并调用红外测温仪，采集两个测温点的温度信息。将两个测温点测得的温度数值相减并取绝对值，若所得绝对值大于或等于10 ℃，即认定该车为行驶中或因其他因素临时停下的车辆，不属于静止车辆；若所得绝对值小于10 ℃，则认为车辆已经停下较长时间，属于静止车辆。此方法可以排除临时停车、堵车停车、红灯停车等情况的干扰，增加违章停车检测的准确度。车辆红外测温图如图7所示。

图7 车辆红外测温图

2.4 车辆违章分类模块优化

确认车辆停车状态后，本文利用深度学习分类网络来确定车辆是否属于违章停车。根据目标检测结果和回归模块结果，截取图片中感兴趣区域包含车辆整理和一小部分背景内容。直接输入训练好的分类模型，输出目标的类别和置信度，此处分类包含正确停车、未停放在停车位内、压停车位线、占用多个停车位，共计4类，其中后3类都检测为违章停车。

训练数据来源于采集的路边停车的视频和图片，为了提升模型训练效果，本文对采集的图片数据进行数据增强，包括旋转、裁剪、镜像等操作。同时为了丰富负样本类型，本文采用贴图的形式，将车辆前景贴在停车位背景的不同位置上。

训练细节、网络结构如表2所示。与局部回归的特征提取类似，调整了输入大小和部分结构，最后一层全连接通道输出改为4。分类部分的损失函数本文利用Softmax Loss来监督模型学习，分类结果的阈值设定为0.5。

表2 违章车辆分类网络

车辆违章分类训练结构如图8所示。其中网络部分如表2所示，图中未完全画出，只做示意。

图8 违章停车分类训练结构图

3 实验结果及分析

3.1 实验环境

本系统主要通过无人机巡检的方式，对违章停车进行检测与取证，应用领域为城市监控和城市治理，主要步骤为使用无人机在道路上空巡检，通过目标检测算法实时检测静止状态车辆，将静止状态车辆送入分类器，判别是否属于违章停车。若检测出存在违章停车现象，则定位车辆取证点，并指引无人机飞往取证点拍摄车牌信息，留作交管部门处罚依据。

本系统选取三轴三光目标定位吊舱，集成了最远测程达1.6 km、精度小于2 m的半导体激光测距机， 640像素×512像素高分辨率红外相机，1920像素×1080像素高分辨率30倍光学变倍可见光相机和高稳定精度平台框架，白天和夜间都能正常工作。该吊舱体积为155 mm×133 mm×208 mm，质量1.08 kg，需提供直流20～36 V或12 V供电，功耗小于等于20 W。

本系统环境主要参数如表3所示。

表3 系统环境参数

3.2 系统测试结果

3.2.1 无人机巡检结果

无人机巡检结果如图9所示，图中红色框为系统检测出违章停车目标，绿色框为正常停车目标，有车辆但是未画框为漏检目标。选取了两个停车场，一条主干道，及两个交通路口作为实验区域。

图9 无人机巡检结果示例

3.2.2 无人机取证结果

如图10、图11所示，针对检测出的违停车辆，对其车头车尾分别进行拍照取证，并进行车牌检测和车牌识别。若检测车牌失败，则调整相机焦距，再次拍照取证，并进行车牌检测和车牌识别。图10为未调整焦距直接取证结果。图11为调整焦距后取证结果。示例图中为了进行隐私保护，将车牌信息隐藏，实际系统使用时，并不会隐藏车牌信息。

图10 无人机取证结果示例一

图11 无人机取证结果示例二

3.3 实验结果统计

本文把待检测车辆数据分为三大类，分别是小型车、中型车和大型车。其中，小型车包含轿车、SUV、MPV和面包车；中型车包含中巴、小货车；大型车包含大货车、拖挂车和机械工程车。共采集并筛选10000张样本，并基于YOLOv4提供的预训练模型进行微调。同时通过数据增强等方式，生成了8000张车辆违停分类图像，用于车辆违章分类模型训练。样本数量及模型准确率如表4所示。

表4 样本数量及模型准确率

为保证实验场景的丰富性、多样性，本文选取了两个停车场，一条主干道和两个交通路口，分5 d时间进行实验。

停车场的实验方式为：无人机悬停于停车场上空拍摄一张照片进行违停检测。共检测278辆车，其中实际存在违停现象车辆有50辆。本系统车辆检测模块实际检测出车辆246辆，判定存在违停现象车辆43辆，成功取证38辆，成功告警38辆。其中漏检的主要原因是车辆位于拍摄图像的边缘区域，和部分区域有树叶或阴影遮挡。下一步将针对系统漏检、误检的具体情况进一步优化并完善该系统。

主干道的实验方式为：无人机在交通隔离带正上方50 m，与右侧车道同向飞行，定点每50 m抓拍一张图片，并进行违停检测。每天巡检长度1000 m，5 d共拍摄巡检图片100张，共检测1536辆车，其中实际存在违停现象车辆有12辆。本系统车辆检测模块实际检测出车辆1460辆，判定存在违停现象车辆11辆，成功取证11辆，成功告警11辆。其中漏检的主要原因是车辆位于拍摄图像的边缘区域，车流量比较密集，和部分区域被大型车辆或路牌等障碍遮挡。下一步将针对系统漏检、误检的具体情况进一步优化并完善该系统。

路口的实验方式为：无人机每30 min飞到路口上方50 m处悬停，抓拍一张图片，并进行违停检测。每天巡检2.5 h，5 d共拍摄巡检图片25张，共检测63辆车，其中实际存在违停现象车辆有24辆。本系统车辆检测模块实际检测出车辆63辆，判定存在违停现象车辆23辆，成功取证23辆，成功告警23辆。每次实验由于路口位置车流量较小，目标车辆较为清晰可辨，因此检测成功率较高。但由于未作去重处理，其中大部分违停告警为同一车辆。此外漏检的主要原因是车辆位于停车位之间，系统误判为正确停车。下一步将在系统中添加去重功能，并丰富训练样本，针对具体情况进一步优化并完善该系统。

实验结果见表5。其中，P1为停车场一；P2为停车场二；R为主干道；C1为路口一；C2为路口二。

表5 实验结果统计

整体系统性能指标如表6所示，其中场景项与上表一致。巡检模块准确率是由判定违停车辆数量与实际违停车辆数量比值得出，巡检模块平均耗时是5 d各场景的实验数据累加后再除以5取平均得出；取证模块准确率是由成功取证与检测出违停车辆数量比值得出，巡检模块的平均耗时依赖于无人机对每辆违停车辆进行拍照取证，因此车辆位置对模块耗时影响较大，未作统计；总体性能准确率是由巡检模块准确率和取证模块准确率累加后取平均得出，总体性能耗时应由巡检模块加取证模块耗时得出，因此也未作统计。

表6 系统性能指标

4 结束语

提出了一种基于深度学习技术的无人机端路面车辆违停检测及取证系统，弥补了固定相机在监控方面的不足，利用无人机挂载的可见光摄像头，采集实时图像，将图像输入到针对不同车辆训练的深度神经网络模型，通过前向运算检测图像中的内容，若检测到图像中有车辆出现，则结合红外测温技术，根据因拥堵、红灯停车等现象与违章停车现象存在发动机温度差异这一特征，进一步排除非违章停车情况。针对筛选出的疑似违章车辆的目标框，以目标框为中心截取出一定区域内容，并将截取出的新图像送入分类模型中进行分类，得出分类结果为正确停车、未停在停车位内、压停车位线和占多个停车位。若出现违章停车现象(未停在停车位内、压停车位线和占多个停车位现象)，则计算出违章车辆的取证点坐标，降低无人机高度，对车牌拍摄，并与违章图像相关联，保存留作处罚依据。

通过实验证明，本系统准确率高、时效性强，违章停车检测与判定结果确实有效，可以减轻交管部门的工作压力，减少路边违停现象的发生。但依然有不完善之处：首先，在基于YOLOv4的车辆检测模块中，依然有车辆漏检误检现象，未来将针对性收集车辆数据，同时调整YOLOv4的网络和参数，优化检测模型；其次，目前该系统主要针对小型车辆，而面包车、巴士、卡车等车辆其发动机位置与小车不同，测温模块无法测出真实温度差，未来将针对其他类型车辆，进行数据分析与实验，找出相应解决办法；然后，本系统人机交互界面需要进一步优化，提供良好的操作体验；最后，本系统在非主干道区域、城区飞行时，存在一定的安全隐患，目前仍需人工排除隐患，未来将增加无人机自动避障等模块，提高无人机的安全性能。