基于AI+深度学习算法的车辆辨识系统

田鹏飞

(山西信息产业技术研究院有限公司,山西 太原 030012)

1 背景

近年来,由于全国城乡道路建设步伐加快,全国城市化水平和乡村建设也在不断提高。我国机动车保有量逐年增加,截至2022年,全国机动车保有量达到4.17亿辆。机动车辆的迅速增加带来了诸多交通问题,路网不畅、设施不足、交通拥堵等问题越来越突出;行车难、停车难、交通秩序混乱等问题日益突显,对城市交通管理造成的冲击和压力越来越大。城市道路交通拥挤堵塞问题已成为制约经济发展、降低人民生活质量、削弱经济活力的瓶颈之一。比如,节日前后的交通拥堵,交通管理现状和需求的矛盾进一步加剧,与交通相关的刑事和治安案件数量也逐年上升,特别是像肇事或作案后驾车逃逸、盗抢机动车辆、车辆违章行驶等。另外依据党中央、国务院对收费公路制度的改革要求和决策部署,提高综合交通运输网络效率,取消全国高速公路省界收费站,实现不停车快捷收费,这就使得快速准确获取车辆信息变得迫在眉睫。

2 车辆信息识别技术的国内外现状

机动车车牌自动识别技术研究国外起步较早,从20世纪80年代,国外的研究人员就开始了对机动车车牌识别系统的研究。传统的机动车车牌自动识别技术是利用计算机视频图像识别技术在车辆牌照识别的一种应用。车牌识别在高速公路车辆管理中得到广泛应用,电子收费(ETC)系统中,也是结合机动车车牌自动识别技术识别车辆身份的主要手段。车牌识别技术能够将运动中的汽车牌照从复杂背景中提取并识别出来,通过车牌提取、图像预处理、特征提取、车牌字符识别等技术,识别车辆牌号、颜色等信息,最新的技术水平为字母和数字的识别率可达到99.7%,汉字的识别率可达到99%。

由于我国机动车车牌识别的特殊性,即我国的车牌格式和国外有较大的差异,我国标准汽车牌照是由汉字、英文字母和阿拉伯数字组成,汉字识别与字母和数字的识别有很大的区别,汉字的识别增加了识别的难度;采用任何一种单一识别技术均难以奏效,我们只能进行参考,不能进行直接应用。虽然我国车牌的识别需要识别汉字,但是对于英文字母和数字的识别,我们可以借鉴国外的研究技术,日本、加拿大、德国等发达国家都有适用于本国的车牌识别系统。

国内在20世纪90年代也开始了自己的车牌识别系统的研究。目前比较成熟的产品有中科院自动化研究所汉王公司的汉王眼,香港亚洲视觉科技有限公司的慧光车牌号码识别系统等。另外西安交通大学的图像处理和识别实验室、上海交通大学的计算机科学和工程系、清华大学人工智能国家重点实验室、浙江大学自动化系等都做过类似的研究,虽然这些车牌识别系统的识别率大多都比较高,如95%,甚至97%、98%,但是这些车牌识别系统的识别检测结果大多数是在简单受限制的场景下取得的,在实际的交通场合以及更加复杂的背景环境的情况下,这些车牌识别系统的识别率一般都很低。

3 辨识系统基本原理

基于AI+深度学习算法的车辆融合信息辨识系统硬件架构是基于“高性能AI硬件结构+深度学习算法”的架构,可提高整体硬件性能与图像处理的速度。摄像机采集到的信息通过深度学习的智能算法处理,替换掉了原模式识别算法,去除了原算法层面的人工目标挑选过程,由前端摄像机来承担进行目标自主挑选,摒除人工挑选对识别模式的限制。利用计算机精细化的运算、几何图形、几何比例特殊的处理方式,通过大量过车目标的自主学习从而提高车辆特征、号牌的识别准确率,达到精细化识别的目的,从而提高了系统鲁棒性、环境适应性。将信息融合理论应用于车辆融合信息辨识系统中,实现车辆多类型参数的动态采集,包含车辆速度检测、车辆图像记录、超速抓拍、车辆牌照自动识别、车身颜色识别、车型判别等,避免了传统采集系统的单一性,可以为车辆道路管理及上层交通管理系统提供丰富的数据基础。

我们研发的基于AI+深度学习算法的车辆融合信息辨识系统在摄像机高清成像方面,采用“高性能 AI 硬件平台+深度学习算法”的架构,精细化控制确保高清图像的成像质量,使得摄像机在不同环境、不同光照条件下均可达到满足业务应用的成像效果。

视频检测方面,利用深度学习算法实时监测视频图像中的目标,在车头到达停止线以前完成车辆检测工作,同时锁定画面中经过每条车道的车辆,提高车辆检测工作的时效性。

车牌识别方面相对于单帧画面车牌识别技术和多帧识别技术,本系统采用“深度学习”技术,通过算法反复训练和自学习,一方面可提升车牌识别准确率,另一方面有助于对车辆进行持续跟踪。

车辆跟踪方面,在检测到车辆目标以后,利用深度学习车辆跟踪算法锁定目标,并对其进行持续跟踪,最终获得车辆在路口的行驶轨迹,为闯红灯、压线、不按导向车道行驶等交通违法行为的取证提供技术基础。

交通违法辨识方面,利用深度学习算法,将车辆跟踪刻画的行驶轨迹与车道属性、信号灯状态(红、黄、绿)相结合,实现分车道、多相位的交通违法辨识;利用深度学习算法,在车辆检测、车辆跟踪的基础上,结合车道属性统计出分车道、分断面、分时段的车流数据,计算出占有率、饱和度等。

卡口监测方面,卡口监测指利用深度学习算法提取通行车辆的号牌特征,利用车牌颜色识别与车辆轮廓分析提取车型特征,用以与黑名单库进行比对、报警。

车辆融合信息辨识系统由卡口前端子系统、网络传输子系统和后端管理子系统组成。实现对通行车辆信息的采集、传输、处理、分析与集中管理。

前端子系统,负责完成车辆综合信息的采集,包括车辆特征照片、车牌号码与车牌颜色等。并完成图片信息识别、数据缓存以及压缩上传等功能,主要由卡口抓拍单元、补光灯、终端服务器、外场工业交换机、光纤收发器、开关电源、防雷器等设备组成。

传输与后端管理子系统,传输部分:负责系统组网,完成数据、图片的传输与交换;后端管理部分:负责实现对辖区内相关数据的汇聚、处理、存储、应用、管理与共享,由中心管理平台和存储系统组成。中心管理平台由搭载平台软件模块的服务器组成,包括:管理服务器、应用服务器、Web服务器、图片服务器和数据库服务器等。

在功能模块上,主要分为目标检测、图像采集处理单元、前端数据处理及上传单元、网络传输单元、视频监控单元。

目标检测、图像采集处理单元,由卡口抓拍单元加补光灯组成。卡口抓拍单元集成视频检测功能,采用视频检测算法完成机动车、非机动车和行人的目标检测及抓拍,同时输出高清照片和车牌识别数据,具备强光(逆、顺)抑制功能,减弱白天日光对卡口抓拍单元和夜间机动车大灯对卡口抓拍单元拍照的影响,从所拍照片上能清晰呈现机动车正面全貌和车牌特征。

前端数据处理及上传单元,前端数据可以在终端服务器内就地备份存储,并上传中心管理平台。当网络传输通道故障情况下,终端服务器可以暂存车辆通行数据,当通信恢复以后,临时存储的数据能自动续传,补录到中心管理平台集中存储。

网络传输单元,主要由路口工业交换机、网线等资源组成,实现卡口前端子系统与中心平台之间的互联互通。

视频监控单元,由高清全景摄像机加上补光设备组成。以实现24小时全天候不间断的高质量图像视频信息采集。

4 辨识系统优越性

本系统测量准确率高,使用灵活方便,易于集成,可以有效提升异常车辆查处与拦截的准确度,能够有效针对假套牌进行分析比对,对前端路面进行抓拍分析,结合数据中心的处理算法,具备研判交通态势的能力以及流量统计的功能,还能对车牌进行精确化的识别,辅助提高城市交通的规划能力,能充分避免交通拥堵等问题,同时弥补多年来靠单帧图像和多帧图像识别技术的不足,大幅度地提高车辆车牌辨识的准确度。在系统设计过程中,充分借鉴、利用国内外的先进技术和成功经验,在系统结构和设备选型上精益求精,将高清成像技术、智能视频检测分析技术、摄像机内嵌车牌识别等代表行业发展趋势的先进、成熟技术有机结合在一起,设计出一套性能优异的道路车辆智能监测记录系统。避免投入即陷入技术落后,且规避因业务、运行环境的变化而造成系统大范围调整的可能。

目前,国内外常见的车牌识别系统实现的方式主要分为两种:一种是静态图像图片的识别,另一种是动态视频流的实时识别。静态图像识别技术的识别有效率较大程度上受限于图像的抓拍质量,多为单帧图像识别,而动态视频流的识别技术适应性较强,识别速度快,它实现了对视频每一帧图像进行识别,增加识别比对次数,择优选取车牌号,关键在于较少地受到单帧图像质量的影响。

5 辨识系统应用场景

本系统具有良好的应用前景,能够广泛地应用于交通事件实现自动报警,重点位置流量检测,易堵点检测等场景中。

通过本系统可实现不停车快捷收费,减少路面车辆拥堵现象,提高车辆信息检测效率和精度。公路中日益严重的交通拥堵现象严重影响了城市形象及经济社会的可持续发展,本系统能够对公路上行驶的机动车辆进行高质量的自动抓拍、自动识别、自动比对、轨迹查询回放、车牌识别、车辆颜色和车型记录、车速检测以及对重点部位的全天候24h全面监控覆盖检测,全面记录道路上所有通行车辆,从而能够避免路面拥堵现象;实现了不停车快捷检测收费,减少了拥堵过程中废气的排放强度和时间,提高了高速公路收费卡口的通行效率,有效地解决了交通拥堵和检测效率的矛盾。此外,还消除了人工检测的缺陷,提高了检测效率和通行速度。对基本公共设施、改善大气环境污染有着积极的作用。

本系统能够全面检测道路上所有通行车辆,实现异常车辆的查处和拦截,优化交通组织结构,辅助提高城市交通规划能力,使得道路运输系统有序进行;大幅度地提升交通管理部门的办案时效,以最少的人力投入,降低案件比;帮助公安部门提升假套牌的分析能力,提升交通态势研判能力;助力规范交通秩序,提高公民素质,提升缉查布控业务的缉查布控能力。

另外本系统对于公路的设计、建造、运营、管理、养护以及生态环保等方面也具有重要的意义。