基于机器视觉提取桥梁交通场景车流量信息

刘杨

摘要 随着城市车流量和车辆载重日益增加，对城市桥梁的安全性和耐久性产生较大的影响。文章概述了基于YOLOv4和DeepSORT算法框架下进行二次开发，按照车辆的类型和轴数对车辆进行分类，建立桥梁交通场景中车辆的多目标识别和追踪算法，实现对车辆的分类和车辆运行时空轨迹的提取。具体包括车辆的类型、车速、车道等信息，同时在该算法框架下嵌入hyperlpr第三方库，实现车牌信息的提取，从而提取完整的车辆运动信息。将上述算法功能集合在一个软件上，进行可视化界面的操作与交互。

关键词 机器视觉;YOLOv4;DeepSORT;车流量信息;软件开发

中图分类号 U495 文献标识码 A 文章编号 2096-8949（2022）07-0079-03

0 引言

据统计我国已建成桥梁约100万座，随着交通量的增加和车载水平的提高，桥梁结构性能持续劣化[1]。近年来，人工智能技术的不断发展，机器视觉的一些成果在传统的图像处理领域得到了广泛应用[2]。基于YOLO[3]等智能算法框架能完整地提取出车辆运行的时空信息，甚至可以提取车辆的车牌信息等。该文基于机器视觉搭建智能算法对桥梁交通场景中的车辆信息进行捕捉定位，提取车辆行动的时空轨迹，进而得到车辆的车牌、车道、车速等信息，形成完整的车流量，为研究桥梁的结构分析与预测，评估桥梁结构安全性打下基础[4]。

1 目标识别追踪算法

以某高架桥交通监控设备为基础，对YOLO和DeepSORT算法框架进行二次开发[5]，实现对桥面上的交通量提取，具体包括：车辆类型、车速、车辆位置、车道位置的识别。算法流程如图1所示。

1.1 车辆类型分类

目前对于车辆分类全球没有统一的标准，因此不同国家、不同行业部门有自己建立的标准。该文按照车辆的形状、轴数等车辆的特征来实现车辆的分类。将车辆按照轴重和轴距划分为8类，依次为Sedan car、Mini bus、bus、2A truck、3A truck、4A truck、5A truck、 6A truck。将车辆目标进行车辆标定，保存成VOC格式，将目标从选择框中截取出来形成训练样本。最终数据集将车辆分为八类，如图2所示。

1.2 车辆类型识别

车辆目标识别采用YOLOv4模型框架进行二次开发，相较于在工业中应用最广的YOLOv3，无论精度还是检测速度都有很大提升。在COCO数据集上，可达43.5%AP，速度高达65FPS。为提高识别精度将8类车辆合并到4类，为Sedan car、Mini bus、bus、truck。取1 100个样本照片进行标签数据集标定，进行15 000轮权重训练。

1.3 车辆追踪

采用目标跟踪算法框架DeepSort，建立了适用于城市桥梁车辆追踪的算法。DeepSort模型将匈牙利算法、递归的卡尔曼滤波和逐帧的数据关联的单假设结合起来，匈牙利算法主要是实现当前帧图像目标与下一帧图像目标的匹配功能，卡尔曼滤波可以基于目标前一时刻的位置，来预测当前时刻的位置。具体框架可以拆分为轨迹处理和状态估计、目标指派、级联匹配、深度特征描述器四个方面，从而实现较为稳定的多目标追踪效果。

2 车辆信息识别

2.1 车牌识别

由于借助python语言基于YOLOv4框架进行二次开发。因此，在车牌识别功能上采用基于深度学习的高性能中文车牌识别开源项目HyperLPR集成的第三方库，同时还支持Linux、Android、iOS、Windows等各主流平台。其检测的车牌种类有单行蓝牌、单行黄牌、新能源车牌、白色警用车牌、使馆车牌、港澳车牌、教练车牌[6]。

具体的检测流程为：

（1）使用opencv的HAAR Cascade检测车牌大致位置。

（2）Extend检测到的大致位置的矩形区域。

（3）使用类似于MSER的方式的多级二值化和RANSAC拟合车牌的上下边界。

（4）使用CNN Regression回归车牌左右边界。

（5）使用基于纹理场的算法进行车牌校正倾斜。

（6）使用CNN滑动窗切割字符。

（7）使用CNN识别字符。

2.2 车辆计数

如图3所示，当检测车辆进入检测框中进行追踪，到离开检测框后，停止追踪，并将其计入车辆总数。

2.3 车道识别

目前针对车道识别的智能算法的普适性不高，该文针对不同场景通过确定各个车道像素范围，如图4所示，将场景分成六个部分。YOLOv4识别的车辆检测框中心（u，v），投影到下检测边界框上，并对车道范围进行判定。

2.4 车速识别

当检测目标车辆出现在检测框的边界线L1和L2时，始末帧数分别为Ai和Aj，记录视频的帧频率为FPS，即检测车辆在检测框中经历的实际时间为，检测框的边界线L1和L2之间对应的实际距离为L，故便可以检测出车辆行驶的速度v：

（1）

3 软件开发——车流量识别可视化界面

将上述基于YOLOv4和DeepSORT算法框架下進行二次开发，建立桥梁交通场景中车辆的多目标识别和追踪算法，实现对车辆的分类和车辆运行时空轨迹的提取，进而提取车辆的类型、车速、车道、车牌等信息[7]，将提取完整的车辆运动信息集合在一个软件开发平台。其中，软件中各部分的作用如下：

按钮“选择文件”：将监控视频导入“文件导入框”;

按钮“识别”：将视频流载入算法框架中进行交通流识别;

按钮组合“车辆类型-车道-车速-三者综合信息”：待视频流处理后，可选择车流量整体或部分信息在结果输出框进行查看;

按钮“结构分析”：进入结构分析模块界面;

“结果输出框”：根据按钮组合“车辆类型-车道-车速-三者综合信息”的选择，展示车流量整體或部分信息;

“文件导入框”：展示监控视频信息窗口;

“结果展示框”：将车辆位置、类型等信息进行可视化。

4 结语

该文引入深度学习算法，搭建机器视觉的框架，针对桥梁中的交通场景的特点，通过对车辆信息进行分类训练，从而实现对车流量的时空信息实时提取，为后期的车辆与桥梁的动态响应信号之间的耦合关系打下基础。具体创新点如下：

（1）车辆目标识别采用YOLOv4模型框架进行二次开发，建立细分卡车的车辆数据库;基于计算机视觉方法建立车辆类型、车道、车速等车辆特性识别算法;项目基于锡宁路高架视频出现的车辆信息进行归纳汇总将车型分成了4类，依次是 Sedan car、Mini bus、bus、truck。

（2）基于YOLOv4和DeepSORT算法框架下进行二次开发的目标识别和追踪算法实现了车辆的车道识别、车速识别、车辆计数等功能。

（3）将上述搭建的智能算法集成在开发的软件平台，方便交互和使用。

参考文献

[1]中华人民共和国交通运输部. 2021年10月份公路货物运输量 [J]. https：//xxgkmotgovcn/2020/jigou/zhghs/202111/t20211124_3627840html， 2021.10.

[2]刘贺， 臧晶. 基于机器视觉的公路流量统计技术研究 [J]. 科技创新导报， 2020（3）： 2.

[3]MA X， JI K， XIONG B， et al. Light-YOLOv4： An Edge-Device Oriented Target Detection Method for Remote Sensing Images [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2021（99）： 1.

[4]马越， 杨健， 王达磊. 杭州湾跨海大桥车辆荷载研究 [J]. 上海公路， 2019（4）： 28-31+3.

[5]李永上， 马荣贵， 张美月. 改进YOLOv5s+DeepSORT的监控视频车流量统计[J]. 计算机工程与应用， 2022（5）： 271-279.

[6]肖登敏， 张帆， 李睿， 等. 一种基于机器视觉的移动式汽车警示牌[J]. 电子世界， 2020（3）： 96-98.

[7]赵小明， 王新新. 一种基于机器视觉的视频交通流检测系统[J]. 信息与电子工程， 2011（2）： 258-263.