杜嘉豪,黄孝慈,邢孟阳
(上海工程技术大学 机械与汽车工程学院,上海 201620)
近些年来,国民生活质量日益改善和提高,与此同时机动车辆数也在迅速地增长,但随即却也出现了“停车难”以及“找车难”等一系列问题。如今,在购物商场等大型停车场内,停车困难与找车困扰成为了汽车业务的两大主要问题。究其原因有2个方面,首先是在热门区域地段,公共停车站泊位紧张;其次,由于复杂停车场占用空间大和方向不易辨别等原因,导致车主们寻车时容易会陷入迷路,从而浪费大量时间。所以智能寻车系统成为学术界的热点研究课题,并已经对此进行大量的探索和尝试,提出了多种解决方案。但提出的解决方案均存在着不同的技术缺陷,例如寻车精度和效率较低或者执行成本过高等,都无法完美地解决上述问题。
在此背景下,提出一种基于机器视觉的停车场智能寻车系统,有效解决了在复杂大型地下停车场内,车主难停车、寻车时易迷失方向,且找车困难的问题。停车场电子地图可以在移动终端显示屏诱导,通过车牌识别模块和路径规划模块相结合,帮助车主找到自己车辆停放的位置。该系统使车主停车和找车更加方便,大幅提升停车场的运营管理效率。在车牌识别模块方面,系统改进YOLOv3检测模型和CRNN字符识别模型,提高了车牌检测及车牌号识别速率。在路径规划模块方面,系统改进A算法,提高路径寻找的准确率和效率。
本文系统技术路线如图1所示。图1中给出了智能寻车系统的整体构架,以及信息的处理模式。整个系统依托Matlab软件平台开发界面,由前端与后端组成,系统中至关重要的构成是图像信息采集和算法决断部分。其中,信息采集负责提取车牌图像信息。算法决断系统是智能寻车系统的最核心的组成部分,根据车牌识别到的车牌文本信息与人工输入的车牌信息匹配,结合摄像头位置信息,定位到车辆位置,最终规划出一条移动终端到所寻车辆的最短路线,并在终端进行显示。
图1 系统技术路线框架图Fig.1 Technical route diagram of the system
本文旨在研究智能寻车系统,,将以机器视觉为基础,以复杂多变的地下停车场为研究目标,通过车牌识别模块和路径规划模块在中央服务器融合,在移动终端触控操作并显示寻车路径,设计并实现了地下停车场寻车导航系统。本文系统的各个环节及总流程如图2所示,是一个机器视觉与人工智能交叉的学科系统,主要由车牌识别模块、路径规划模块、移动终端模块等部分组成。
图2 系统总体流程图Fig.2 Overall flowchart of the system
车牌识别模块分为车牌检测与字符识别两个步骤,本文选取YOLO模型作为车牌检测框架,在YOLOv3网络的基础上进行优化,设计了YOLO_D网络。在字符识别部分,本文借鉴OCR在处理网络和数据技术任务中已经广泛应用的CRNN网络模型,对其中的相关网络信号输入和数据框架结构等设计方法进行了一些设计改进,构建了一种直接从网络数据库图像识别到网络信号处理字符串的网络端到端和终点字符识别网络模型,即CRNN_D。
车牌检测是在包含6 500张图片的SVM2数据集上进行的,由于系统车牌识别模块的检测对象只有车牌,而国内机动车车牌具有更高的辨认性和较强的颜色与形态学特征,并且由于车辆在摄像头拍照时的位置和距离是相对固定的,因此检测到的车牌位置和像素变化较小。所以本文通过简化YOLOv3的网络框架,从而提升检测的准确性与效率。主要的改进是用单层卷积神经网络来替换YOLOv3原文中DarkNet53的主干框架,并且仅保存了YOLO的单尺度输出,同时还在网络输出前加入2个注意力模块,组成CBAM网络。修改后的网络架构,如图3所示。
图3 YOLO_D网络结构图Fig.3 YOLO_D network structure
传统的字符识别方法通常识别精度较低,本文在CRNN模型的基础上,通过改进网络输入和结构,直接从图像到字符串构建了端到端的字符识别模型CRNN_D。通过实验证明,改进模型在少量计算的情况下达到了96.83%的准确率,符合场景应用的标准,CRNN_D网络主体结构如图4所示,主要由4部分构成。
图4 CRNN_D网络结构图Fig.4 CRNN_D network structure
由图4可知,因为每一个车牌都具有特定的颜色,因此本文将原网络中灰度图像输入部分改进成为3×32×88的彩色图像输入,并且将卷积特征提取网络的输入通道修改成3。通过对网络模型中输入的选择和调整,可以让识别车牌文本的准确性获得大致约3%的提高。另外当字符倾斜较大时会严重影响辨识的精度,所以在空间矫正部分,本文在特征提取前,加入STN网络,对其中所输入的图像进行了预校正,对输入的数据进行空间变化,提高识别的精度。通过测试实验证明,改进后的网络架构使得模型的辨识精度和准确性获得了约6%的提高。
本文路径规划算法是基于A算法来进行改进,A算法是一种启发式搜索算法。A算法的基本原理是先评估每个搜索位置,找到最佳位置,再从这个位置搜索到目标。这样一来就省略了不必要的搜索路径,直接提高了路径规划的效率。传统的A算法的总代价计算公式为:
本文将2个方格间的距离设为相同的值:由于停车场环境的独特性,可以将2个没有障碍物的方格间的距离设为相同数值。进而将传统的A算法,优化为动态衡量启发式A算法—Q-Star算法。与A算法不同的是,本文算法中()变成了()*(),其中的()会影响估计值。在路径规划过程中,可以通过改变()来进行调整,就如公式(1)中的()对A算法的影响。分析可知,()越大,越趋近于BFS算法,而()相对越小,则相对于趋近于Dijkstra算法,这就是本文提出的Q-Star算法优化的重点所在。
(1)增加值,如上文所述在初始参数中增加了()的权重系数,通过这个系数的大小就可以控制路径规划的行为,本文利用循环进行迭代来寻找终止点,寻找到最优点的方案。
(2)进行拐角优化,分析发现无论是原本的A算法、还是传统的动态衡量启发式的算法,由其找出来的路径只是数学上的最优路径,一些转弯是完全可以省去的,而Q-Star算法在保证不增加路程的基础上尽量减少了转弯次数,从而提高路径规划的效率。算法优化后的示意图如图5所示。
图5 算法优化示意图Fig.5 Algorithm optimization diagram
(1)系统操作界面。研发得到的系统移动终端操作界面见图6。
图6 系统移动终端操作界面Fig.6 Mobile terminal operation page of the system
(2)车辆定位界面。研发得到的车辆定位界面见图7。
图7 车辆定位界面Fig.7 Location page of the vehicle
(3)最短路径规划界面。研发得到的系统最短路径规划界面见图8。
图8 系统最短路径规划界面Fig.8 Shortest path planning page of the system
(4)车牌识别界面。研发得到的车牌识别界面及结果详见图9、图10。
图9 车牌识别界面Fig.9 License plate recognition page
图10 车牌识别结果Fig.10 License plate recognition results
(1)车牌识别效果验证。车牌识别模块结合YOLO_D和CRNN_D车牌识别网络模型,在测试集上与传统算法进行测试,对比实验结果见表1。结果表明,本文改进的车牌识别算法的识别准确率达到了96.86%,较传统算法的准确率提高 了29.7%,并且检测图片时长大幅缩短,仅用时15.66 ms,满足实时检测的时间要求。
表1 车牌识别实验结果Tab.1 Experimental results of license plate recognition
(2)路径规划算法效果验证。基于Matlab软件,对传统的A算法和Q-Star算法进行搜索测试对比,将传统的A算法文件命名为A_ROAD_book02.m,Q-Star算法文件命名为A_ROAD_book03.m,运行并计时的结果对比如图11、图12所示。
图11 传统A*算法火焰图Fig.11 Flame diagram of the traditional A*algorithm
图12 Q-Star算法火焰图Fig.12 Flame diagram of the Q-star algorithm
如上述进行的A算法与Q-Star算法的实验对比,通过对比结果可知,在相同的条件下,对同一目标进行搜索与路径规划,A算法平均需要用时31.87 s,相比之下,Q-Star算法则只需7.53 s,其搜索目标和规划的效率是传统A算法的4.23倍。研究中又对2种算法的路径规划准确度进行了同等条件下的实验,路径规划算法实验结果见表2。结果表明,Q-Star算法所规划路径的成功率远高于传统A算法,其成功率对比为95.4%∶54.6%。
表2 路径规划算法实验结果Tab.2 Experimental results of the path planning algorithms
本文基于机器学习,设计了一款人机交互型便民服务的复杂地下停车场智能寻车系统,系统车牌检测模块算法通过在前人基础上改进并提出了YOLO_D和CRNN_D模型,这2种模型的提出有效提高了车牌识别的速度和准确性,其鲁棒性也得到了极大的提升,确保了系统的快速稳定运行。而在路径规划模块中,本文基于多种路径规划算法改进成Q-Star算法,使得路径搜索效率远高于传统的A算法,并且改进后的算法,路径规划的准确率高达95.4%,确保该系统在复杂地下停车场内使用中能够满足用户的需求。最终,将两大系统集成为一个人机交互系统,并研发制作了用户界面,简化用户操作使用流程,能够使用户无障碍式上手该系统,有利于该智能寻车系统未来的推广使用,更好地服务于社会,解决“停车难”与“寻车难”的问题。