一种基于融合网络的慢行交通速度计算方法

李熙莹，陈丽娟

（1.中山大学，智能工程学院，智能交通研究中心，广州 510006；2.广东省智能交通系统重点实验室，广州 510006；3.视频图像智能分析与应用技术公安部重点实验室，广州 510006）

0 引言

慢行交通[1]是相对于快速和高速交通而言的，有时亦可称为非机动化交通（Non-motorized Transportation）。一般情况，慢行交通是指出行速度不大于15 km·h-1的交通方式[2]。

2020年7月24日，交通运输部和国家发展改革委联合印发了关于《绿色出行创建行动方案》的通知，强调城市建成区平均道路网密度和道路面积率需持续提升，步行和自行车等慢行交通系统、无障碍设施建设应稳步推进，到2022年，力争60%以上创建城市绿色出行的比例达到70%以上，绿色出行服务满意率不低于80%。在这样的背景下，交通管理者需要通过慢行交通参数来掌握慢行交通道路状态，便于管理和优化道路交通。其中，慢行交通速度是最重要的慢行交通参数之一，高效便捷地获取慢行交通速度是慢行交通管理中的关键需求。

早期的慢行交通速度获取方法有人力跟踪调查法、抽样调查法或通过视频观察等。裴玉龙等[3]、冯树民等[4]通过统计行人过街时间得到行人过街步行速度。张惠玲等[5]通过人工获取行人速度等数据对老年人过街比例与信号交叉口行人过街速度设置进行研究分析。孙忠胜等[6]用人体运动雷达微多普勒可以估计出单人的平动速度，步态周期。随着目标检测技术的发展，从视频中提取交通参数也成为可能。而常用的通过视频提取交通速度的方法为单一目标检测和多目标跟踪算法串行，提取不同帧的同一目标的检测框的中心点作为目标基准点，用于计算目标速度。许烨豪等[7]通过行人运动特征跟踪学习检测、自适应融合颜色和梯度方向特征的粒子滤波跟踪算法得到目标框的中心坐标计算行人运动速度。Ribeiro M.V.L.等[8]通过获得目标检测框的中心坐标计算交通目标速度。以上方法存在一些问题：早期人工参与的方法工作量大不利于大范围应用，而常用的速度计算方法中易受到目标检测漏检、检测框不稳定等误差影响，且后续的基准点选取策略缺乏对速度稳定性的考量，直接采用检测框中心点作为基准点使得速度值波动大，且视频获取到的速度无法量化检测误差，缺乏评估指标量化速度检测的准确程度、稳定程度等。就上述问题，本文提出一种基于融合网络的慢行交通速度计算方法，通过融合的目标检测网络识别、跟踪路侧视频中慢行交通目标，减弱目标检测误差的影响，提高速度提取算法的鲁棒性，同时采用两种基准点选取方法自适应计算目标基准点获取慢行交通目标速度，提高了速度检测的稳定性。本文还提出相应的量化评价指标，对此方法进行量化评价。

1 基于融合网络的慢行交通速度计算方法

1.1 目标分类方法

本文根据慢行交通目标出行方式的差异，将慢行交通目标分为Cyclist与person两类，Cyclist代表骑行者，person 代表行人。本文目标检测数据由COCO[9]数据集以及视频采集的图像组成，采用VO（Visual Object Classes）格式标注图像。为解决骑行者踩踏动作引起的检测框抖动问题，将骑行者的交通工具与人标注为一个整体，目标类别如图1所示。

图1 慢行交通目标类别Fig.1 Non-motorized transportation target category

1.2 融合网络检测跟踪

1.2.1 YOLOv5网络简介

YOLOv5 是目前YOLO 目标检测算法最先进的检测网络之一。相比于R-CNN（Region-CNN）系列算法，YOLO 系列算法的模型训练速度更快，且更利于部署应用。YOLOv5借鉴了锚箱的思想，在边界框的维度上运行K-means 聚类获取更好的先验值，提升对不同尺度的目标检测准确性。目前，YOLOv5 一共有4 个模型，模型间的结构变化主要通过改变网络的深度倍数（Depth Multiple）与宽度倍数（Width Multiple）实现[10]，不同模型对应的网络结构参数如表1所示。

表1 不同网络模型的参数Table 1 Parameters of different network models

综合考虑模型的计算量与准确率，本文选择YOLOv5l模型作为融合网络的基础网络。

1.2.2 融合网络方法

引言中提及的常用速度计算方法，大多采用单一目标检测网络进行，在速度计算中存在以下问题：（1）单独采用慢行交通目标检测存在目标基准点波动大的问题。受路侧摄像头视角固定与目标姿态变化的影响，目标在行动过程中，目标检测框的变化多样，导致选取的基准点的波动大。（2）单独采用头部检测会出现漏检多、跟踪不稳定、严重的ID跳变等问题。在图像中，目标头部信息占比少，易出现漏检。同时头部外观特征信息少，不利于DeepSort 模型通过外观特征计算相似度进行目标匹配。

本文的融合网络汲取两种检测网络优势，检测目标整体信息用于跟踪，保证更高的目标检测与目标跟踪的准确率。人体头部在运动过程中具有活动范围小，不易形变的特点，相对于人体其他部位更稳定，本文选择融合头部检测，并引入检测信息参与基准点计算，可以有效减小目标基准点的波动。采用YOLOv5s 训练轻量化的头部检测模块，以降低模型的计算量，同时结合目标检测结果，剔除大量冗余信息，增强图像中目标头部信息占比，提高识别准确率。如图2所示，融合网络方法具体如下：

图2 融合网络检测跟踪Fig.2 Fusion network detection and tracking

Step 1 输入第k帧图像，进行慢行交通目标检测，将检测框位置、置信度等信息送入DeepSort 模型进行目标跟踪，并分配跟踪ID。

Step 2 根据检测框与跟踪ID信息获取n个感兴趣区域信息并保存，以减少非目标信息的干扰，整合单帧内的目标检测跟踪信息，并将所有目标信息集成于数列。其中，Di为第i帧图像上的目标分配到的编号，在视频跟踪目标无误的前提下，一个慢行交通目标会被分配到一个编号，便于之后的对应计算，Xi,1，Xi,2为目标在第i帧图像的目标检测框对应的横坐标；Yi,1，Yi,2为目标在第i帧图像的目标检测框对应的纵坐标值。

Step 3 头部检测模块对感兴趣区域进行检测，并输出头部检测结果与集成数列信息。

1.3 速度提取

1.3.1 目标基准点选取

Ribeiro M.V.L.等[8]使用的常用方法是在速度提取环节选择目标绘制框的中心点（Xi,Yi）作为目标基准点，计算方法为

式中：Xi为目标在第i帧目标图像位置的横坐标；Yi为目标在第i帧目标图像位置的纵坐标。

上述方法获取的基准点受人体姿态摆动影响严重，会增大获取的速度偏差，故本文针对基准点选取方法进行改进。

本文根据融合网络的头部检测结果，提供两种目标基准点选取方法。当融合网络没有检测到头部时，通过目标检测信息与基准点计算方法获取基准点；当融合网络检测到头部时，通过本文设置的判定条件，判断检测到的头部是否属于当前目标，并根据判定结果绘制头部检测框。选择基准点的计算方法如图3所示。

图3 目标基准点选取Fig.3 Target datum point selection

本文判定条件依据慢行交通目标与其头部关系，以及人体头部特征设定，即

式中：Xi,3，Xi,4为目标在第i帧目标图像的目标头部检测框对应的横坐标；Yi,3，Yi,4为目标在第i帧目标图像的目标头部检测框对应的纵坐标值；Ymin为目标头部检测框的最小纵坐标值；A，B，C为根据目标在图像中的实际位置设立的阈值。

式（3）判断头部框的长宽比，头部形态类似于球体且结构固定，故头部检测框的长宽比值在一定范围内。式（4）判断头部检测框与感兴趣区域边缘的距离，目标在行动过程中，其头部处于相对稳定的位置，则检测框与感兴趣区域边缘的距离在范围A内。式（5）判断头部检测框大小，受拍摄距离等因素影响，头部呈现在图像上的像素大小会变化，根据成像情况设定检测框的长或宽的范围（B,C）。

本文提出的两种基准点选取方法如下。

（1）方法1

用于符合检测到头部且属于当前目标的情况，引入头部检测信息计算目标基准点。

式中：Ymax为目标在第i帧图像的目标检测框对应的最大纵坐标值。

（2）方法2

用于未检测到头部或检测到头部但不属于当前目标的情况，只使用慢行交通目标检测信息计算目标基准点。

通过上述方法，计算出慢行交通目标基准点坐标为（Xi,Yi），并将基准点代入平均速度计算，获取目标速度。

1.3.2 平均速度计算

正常人行走速度具有波动性，单脚支撑转换成双脚支撑时速度最小，双脚支撑转化成单脚支撑的速度最大，不同人只是平均速度、速度变化幅度及频率不同[11]。一般成人的步态周期约为1.00～1.32 s。因此，本文计算速度为目标在1.00 s内的平均速度，以减少行走波动性对速度的影响。

本文对目标基准点进行映射变换，利用映射变换后的目标基准点（Xi′,Yi′），（Xj′,Yj′）获取目标速度，即

式中：j为视频帧数；Xi′，Xj′为第i帧、第j帧的目标位置横坐标；Yi′，Yj′为第i帧、第j帧目标位置纵坐标；NFPS为每秒显示帧数；为第个平均速度。

2 实验分析

目标检测跟踪和基准点选取是影响速度计算的重要因素。本文设置目标检测跟踪和基准点选取对比实验，验证本文方法效果。

2.1 数据采集与预处理

本文在公开数据集PETS09-S2L1[12]与TUDStadtmitte[13]上进行目标跟踪对比实验。对公开数据集共378 帧进行头部标注作为检测跟踪真值。两个数据集为路侧视角拍摄，存在部分遮挡、完全遮挡问题，与现实路侧视角拍摄的成像情况相似度高，如图4所示。

图4 公开数据集场景图Fig.4 Scenarios for public datasets

因目前缺乏专用于速度计算的数据集，本文自建了双视角协同数据集，包含路侧视频与航拍视频。部分人工标注的路侧视频用于验证基准点选取效果，其余路侧视频用于验证本文方法的使用效果。数据集中，共有8 组数据，其中步行数据4 组，组均3844 帧，骑行数据4 组，组均2343 帧，共有可计算速度数据750多条，本文方法获取有效速度数据516 条。本文对路侧与航拍视频做时间对齐处理，通过航拍视频获取样本参考速度，用于与路侧视频获取的速度对比，以及速度计算方法的评价计算。

2.2 目标检测跟踪实验

本文方法将慢行交通目标的检测结果用于目标跟踪。在使用单一检测方法的情况下，若使用慢行交通目标检测，则与本文方法检测跟踪效果一致。因此，本文方法与头部检测方法在PETS09-S2L1 与TUD-Stadtmitte 这两个数据集上进行多目标跟踪对比实验，两种方法均使用DeepSort以及相同权重，实验结果如表2所示。

表2 检测跟踪方法对比Table 2 Comparison of detection and tracking methods

从表2多目标跟踪评价指标可以看出：本文方法正确匹配的目标数目（Rcll）达到83.6%，ID 跳变数量（IDs）远低于其他方法，总漏检数量（FN）也远低于其他方法，跟踪准确度（MOTA）达到76.6%，比其他方法高出25%以上。本文方法的目标检测跟踪效果优于其他方法，且可获取的速度数量更多、更可靠。

2.3 基准点选取对比实验

将本文方法与常用方法的基准点选取方法进行对比。在采集的路侧数据中选择骑行、步行各一个样本进行图像标注。两种基准点选取方法均使用相同的图像标注信息和映射变换方法计算速度，将两种计算方法的结果与样本的参考速度进行对比，结果如图5和图6所示。

从图5可以看出，对于骑行和步行两种交通方式，本文方法选取基准点计算的速度比常用方法更加接近参考速度，但两种方法的速度变化趋势十分相似，可见，基准点选取方法的变化对速度变化趋势的影响不大。通过实验可知，在目标检测与跟踪结果相同的情况下，不同基准点选取方法对后续速度计算影响很大，由实验结果看出，本文基准点选取方法有助于获取到更准确的速度且效果更优。

图5 速度对比Fig.5 Speed comparison

3 方法评价

从研究回顾可知，慢行交通速度计算缺乏客观的验证标准。因此，本文提出准确度、稳定度两个评价指标对慢行交通目标速度计算方法进行评价。

3.1 评价指标定义

计算速度与参考速度的差值是体现速度计算方法效果的重要评估参数，本文选择用参考速度与计算速度的速度差值的绝对值制定评价速度计算方法的指标——准确度、稳定度。

准确度（MA）：用速度绝对差值的均值体现计算速度与参考速度的距离。数值越高，整体越接近真实值，表达速度整体准确度。

式中：Vk为计算速度中的第k位计算速度；Vgk为参考速度中的第k位参考速度；N为计算速度的数量；wˉ为速度绝对差值的均值；MA为速度整体准确度。

稳定度（MS）：用速度绝对差值标准差体现计算速度相对参考速度的距离分布情况。数值越高，越稳定，表达速度的整体稳定度。

式中：s为速度绝对差值的标准差；MS为速度整体稳定度。

3.2 评价方法

采用本文方法和常用方法计算相同步行和骑行样本的速度，并将计算结果与参考速度对比，结果如图6和图7所示。从图6和图7可以看出：采用本文方法计算的速度比常用方法更接近参考速度，且提取的速度更准确；两种方法的速度变化趋势的相似度高，图像无法显著表现速度计算方法的稳定度情况。

采用本文评价方法量化对比两种速度计算方法，结果如表3所示，可以看出，本文方法计算的速度准确度达到81.54%，比常用方法高30%以上，与图6和图7整体结果一致。表3体现出本文方法的稳定度比常用方法提高了6%以上，相较于速度对比图，评价指标可以更显著地表现方法的差异。

图6 多种方法提取的样本1速度对比Fig.6 Comparison of sample 1 speed extracted by multiple methods

图7 多种方法提取的样本8速度对比Fig.7 Comparison of sample 8 speed extracted by multiple methods

表3 速度提取方法对比Table 3 Comparison of speed extraction methods

3.3 影响计算速度的因素分析

使用评价指标对不同交通方式进行评价，并通过结果分析影响速度计算的重要因素。评价指标对不同交通方式评价结果如表4所示。

表4 影响速度计算因素分析Table 4 Analysis of factors affecting speed calculation

从表4 可以看出，本文方法面对不同交通方式，其计算速度的效果表现稳定，骑行与步行准确度相近。通过表4 数据分析影响速度计算因素如下：

（1）骑行过程中，踩踏动作引起目标检测框的纵向抖动，进而引起基准点位置波动，使得速度准确度低。在将骑行者作为整体识别时，克服了踩踏动作引起基准点变动大的问题，同时，以头部作为基准点位置参考，克服骑行者整体识别与多角度拍摄引起基准点横向晃动的问题，使得准确度提升更高，且更稳定。

（2）在步行与骑行过程中，常用方法获取的基准点纵向离地高度更高，增加了投影变换的差异，使得速度差异大。选取基准点位置趋近地面，可减小投影变换造成的差异。

（3）本文方法的骑行稳定度高于步行稳定度，是因为受行人步行过程中跨步影响，检测框会抖动，人的步态周期各不相同，平均速度计算方法并不能完全消除跨步动作的影响。常用方法中骑行的踩踏动作幅度更大，对检测框抖动更剧烈，故常用方法的步行稳定度比骑行更高。

4 结论

本文提出了一种基于融合网络的慢行交通速度计算方法，在目标检测网络中融合头部检测网络，针对速度提取提出两种基准点计算方法；同时，还提出两个速度计算方法评价指标，以量化方法效果。实验证明：本文速度计算方法可以保证目标跟踪更高的准确率，获取更多有效速度；在目标检测与跟踪结果相同的情况下，本文的基准点计算方法比常用方法更优，可以获得更加精确、稳定的速度；本文评价指标能显著体现不同速度计算方法的效果，可用于不同速度计算方法的效果评估。本文速度计算方法的准确度达到81.54%，稳定度达到85.01%，远高于常用方法，且本文方法不需要大量监控设备参数，下一步可以考虑将本文方法部署应用于实际场景下。同时，本文通过评价指标分析影响速度计算的重要因素，发现目标姿态和基准点与地面距离是重要影响因素。本文只针对目标姿态与基准点选取方法对速度计算方法做出改进，映射变换也是提取准确稳定速度的重要环节，下一步可以在映射变化方法上进行探索、改进，进一步提高速度计算的准确度。