基于无人机的自主式巡检违章罚停系统

梁定康，贾月恬，钱 瑞，陈义豪，肖 建

（南京邮电大学 江苏 南京 210000）

1 技术概述

本发明实例提供了一种基于无人机的自主巡检违章罚停系统的方法，用于解决现有智能交通领域查处车辆违章罚停需要人工操作，实时性不高、查处范围小、工作量大，进而导致工作效率低的问题。本发明旨在给出一种快速、准确、自主式的基于无人机的巡检违章罚停方法，且在低像素，不同天气条件下均有较高的实用性，在禁停路段，利用机载摄像头对无人机当前视野图像进行采集，进行快速的车牌定位和车牌字符识别，之后连接车牌数据库进行匹配，得到车主相关信息，同时联网进行违章信息的注册，最后发送短信告知车主当前车辆处于违停违章状态，尽快处理，进而实现远程提醒车主的作用。本发明主要用于智能交通领域，给无人机下达巡检任务后，无人机能进行自主巡检，自动进行违停取证。

本发明包含四大子系统，分别为：无人机飞行控制子系统、车牌定位识别子系统、车牌数据子系统、地面控制中心子系统。

2 无人机飞行控制子系统

无人机飞行控制子系统，包括无人机飞行控制板和飞行主控板、超声波测距模块、GPS定位模块、气压计模块、GSM模块。超声波模块，用于检测无人机与周围环境障碍物是否处于安全距离内、GPS定位模块，能帮助无人机按照预先规定好的路径进行飞行；气压计模块，用于无人机定高飞行，保证无人机处于一定的高度，确保行人及无人机安全；加速度计，能通过数据融合得到无人机沿各个方向的加速度，帮助飞行控制板控制无人机的沿X，Y，Z三轴的速度变化。GSM模块，用于给违停车辆车主发送提醒短信。

3 车牌识别子系统

车牌识别子系统，包括机载摄像头，图像处理开发板，车牌识别包含车牌定位、字符分割、字符识别三个部分。其具体实施方式为：

（1）车牌定位。使用Sobel定位和颜色定位相结合，降低候选车牌矩形框数量。

（2）字符分割。将候选矩形框传入SVM判断模型即可得出车牌照片，下一步对车牌照片进行字符分割，首先先将车牌照片进行尺寸归一化处理，统一转化为长140，宽40的矩形框，进行高斯模糊处理，模糊车牌杂点，然后进行二值化操作，最后进行轮廓绘制，即可得到包含各个字符的矩形框，再传入OpenCV神经网络CvANN_MLP进行字符识别。

（3）字符识别。本步骤使用的是OpenCV自带的人工神经网络类——CvANN_MLP进行字符识别，传入的字符矩形框数据，其中30%作为测试数据，70%作为训练数据，进行字符识别调用的就是此前由训练数据训练好的.XML文件，将字符矩形框图像一个一个输入ANN网络中即可获取到判断出的字符。

4 车牌数据子系统

由车牌识别子系统得到车牌字符串，发送到模拟的交通部门数据库，进行数据匹配即可得到当前车辆的车主情况，其中包含车主的联系方式、所有车辆信息等，然后进行违章注册，将该车主的违章记录记录到交通部门，最后短信通知该车主。同时，车牌数据库亦可作为车牌定位SVM训练和车牌字符识别ANN训练的训练文件，实现资源的重复利用。

5 地面控制中心子系统

地面控制中心系统主要用于发送巡检任务和及时查看当前无人机所处位置、巡检结果、无人机飞行状态及当无人机处于故障模式下能切换为手动模式，确保无人机安全。进一步的，无人机所处位置包括无人机当前所处路段，无人机GPS模块获取到的GPS信息及搜星情况；巡检结果包含已处理几处违章停车行为、违停车辆的信息、以及违章车辆照片、是否提醒车主等；无人机飞行状态包括无人机所属编号、无人机剩余电量、无人机飞行高度等状态信息。

6 系统工作流程

首先根据交通部门的路段划分，无人机将道路的GPS数据转化为其可识别接收的数据，并根据设定好的路径及路径数据，由GPS导航模块获取当前无人机所处位置的实际GPS数据信息，和预先设定的GPS数据进行对比，无人机的飞行控制板和飞行主控板根据误差及时调整飞行方向和飞行姿态。

当地面控制中心下达巡检命令时，无人机自主起飞，进行悬停定高3秒，无人机在悬停期间进行快速自检，检测超声波模块与无人机控制板的通信连接情况、GPS模块是否能获取到正确坐标、GPS的搜索速度是否适合本次巡检工作以及由机载GPS模块得到的位置和需求巡检起始点的位置坐标差。

无人机执行完一系列的自检程序后，正式进入巡检工作，以固定的速度向当前道路进行飞行，读取当前加速度计的值，即可得到无人机沿X，Y，Z三个轴的加速度。当进行偏航或俯仰动作时，融合加速度计的实际值，无人机主控制板能快速响应需求，并下达指令给无人机的飞行控制板，飞行控制板操控电机完成姿态转换。

在无人机飞行过程中，若经过违停路段区域，图像处理板启用摄像头进行图像捕获，检测当前无人机视野中是否存在车辆车牌，若存在，则机载的图像处理板则进行车牌定位和识别，在车牌定位和识别过程中，无人机始终处于静止悬停状态，直至将违停车辆的车牌信息提取完毕，并注册好违章记录，再进行转向检测此路段其他方向是否存在违停车辆，若无，则向下一巡检路段飞行，若有，重复上述车牌定位和识别过程。

上述车牌定位将颜色定位算法和Sobel定位算法相结合，能极大的加快车牌定位效率，考虑到相邻帧时间较短，为解决因无人机物理抖动造成图像模糊的问题，故车牌定位将会连续定位五帧图像，取矩形框重合最大面积视为车牌定位结果，车牌定位的结果将由OpenCV自带的SVM判断模型得到最接近训练数据的车牌矩形框，此矩形框也将作为最终定位的唯一结果传入车牌字符识别模型。

在车牌字符识别阶段，采用OpenCV自带的CvANN_MLP进行字符识别，首先完成字符分割，即对每个字符的矩形框轮廓进行绘制，随后传入训练好的模型中进行识别，依次输入单个字符矩形框即可得到最接近的字符匹配结果。在本处识别过程中，若识别到非常相似的字符，如“o”与“0”，为了确保准确性，此时图像处理开发板将向无人机发出请求，无人机的主控板响应后向地面控制系统发送人工鉴别车牌的请求，此时可进行人工鉴别车牌，以提高本系统的准确性。

在进行车牌定位和识别后，图像处理板返回当前车牌的字符串，无人机的主控板将会把字符串进行联网匹配交通数据库，得到本车的车主信息，可知当前车主姓名，手机号等信息，同时进行违章信息的注册，此时，由机载的GSM模块将发送短信通知车主，以完成远程提醒，警示的作用。

在完成车牌识别，违章注册，短信通知的任务后，无人机当前的一套工作执行完成，若未收到地面控制系统的返回或停止命令，则将继续按照预先设定好的路径飞行，结合实际GPS坐标数据和预输入好的GPS坐标进行自主飞行巡检。

[1]刘同焰.车牌识别系统的相关算法研究与实现[D].广东：华南理工大学，2012：1-81.

[2]耿庆田.基于图像识别理论的智能交通系统关键技术研究[D].吉林：吉林大学，2016：1-169.

[3]靳鹏飞.一种改进的sobel图像边缘检测算法[J].2008(04)：625-628.