京哈北高速公路隧道AI事件监测系统探究

刘晗 张醒敏 周炳清 李明 牛静路 曹贺双

（河北高速集团有限公司京哈北线分公司，河北 唐山 063000）

隧道监控室

0 引言

我国正处于城市化高速发展时期，大城市、特大城市持续改造与扩张，中小城市迅猛发展。城市规模与结构都处在巨大变化之中。现代交通的发展在给人们带来便利同时，也带来一定负面影响。未来城市交通的发展要强化前沿关键科技研发，瞄准新一代信息技术、人工智能、智能制造、新材料、新能源等世界科技前沿，大力发展智慧交通，推动大数据、互联网、人工智能、区块链、超级计算等新技术与交通行业深度融合。

隧道AI事件监测系统研发思路受当前人工智能技术启发，研发成功后可减少造价高昂的事件监测设备投入。该系统探索用人工智能技术分析视频数据特征，借助多种深度学习算法，对系统神经网络开展训练，自动总结出不同目标的特征和规律，自行学习强化，实现准确识别和分类，提高事件检测准确率，为隧道运营管理提供精准判断、快速决策、果断施策的依据。

1 隧道AI事件监测系统主要功能

系统通过固定摄像机分析检测视频事件、记录和报警，具有自学习功能，能够自动判断摄像机类型（遥控或者固定），根据摄像机类型自动切换检测模式，可提供实时事件、事故检测及交通数据。

系统具备视频检测图像的自学习功能，能够根据摄像机工作状态自动调整其工作模式，从而始终保持最佳检测状态，当摄像机画面稳定2秒钟后，系统即可开始自动检测，在检测到交通事件或事故时，能够快速报警。

1.1 静态模式

系统能够检测的事件类型包括车辆停驶、交通堵塞、交通事故、慢行车辆、行人、逆行车辆、火灾/烟雾、抛洒物、交通状态（畅通、拥堵、堵塞）等；能够采集的交通数据包括交通流量、平均速度、车道占有率、车型等。

1.2 动态模式

系统使用自校准算法和自学习方式，自动执行事件检测模块并可对车辆停止、抛洒物、拥堵、故障车辆等事件进行检测。

1.3 全天候检测功能

在昼、夜、雨、雪、雾等不利环境条件下，只要车辆有正常的前灯、尾灯照明，系统即可检测各种异常交通事件或事故。

隧道监控实时画面

1.4 全画面检测

在摄像机图像画面范围内发生的交通事件和事故，系统均可检测。

系统具有多模式自动转换功能，可根据交通流量大小、环境变化自动切换，还可在低亮度下正常工作。

2 隧道AI事件监测系统主要研究内容

2.1 目标感知分析

通过对视频进行分析，可实时获取道路行驶车辆、机动车、行人、异常物体等目标，并能够实时测量其实际地理坐标、行车方向，与正方向之间的偏移角度等信息。可对交通事件、交通事故或交通违法车辆实时定位和跟踪分析。

2.2 车辆深度识别

2.2.1 车辆检测

通过检测视频或图像，确认路段是否有车及其位置，其难点在于需要应对不同路况、不同姿态、不同光线、严重遮挡等复杂情况。该系统车辆检出率不低于90%，对于标准卡口图像等，还可提供司乘人员人脸检测和图像采集功能。

2.2.2 车型识别

系统基于AI深度学习技术，可有效识别小轿车、卡车、公交车、吉普车、工程车（消防车、挖掘机、洒水车、救护车）、物流车、渣土车、特种车、大货车等。识别准确率白天≥90%，夜间≥85%。

2.3 事件检测与取证

2.3.1 非机动车闯入

系统基于AI深度学习技术，可有效识别自行车、摩托车、机动三轮车等小慢目标闯入，在400万像素摄像机、源码流视频情况下，检测率达到90%。

2.3.2 异常停车

系统基于AI深度学习技术，可对车辆在行车道、应急车道、港湾停车区等区域异常停车事件进行自动检测、预警和视频记录，同等像素和源码流视频情况下，检测率达到90%。

2.3.3 车辆逆行、倒车

系统基于AI深度学习技术，可对车辆在行车道、应急车道等区域逆向行驶、倒车等事件进行自动检测、预警和视频记录，同等像素和源码流视频情况下，检测率达到90%。

2.3.4 行人上路

系统基于AI深度学习技术，可对发生在行车道、应急车道等区域的行人入侵事件进行自动检测、预警和视频记录，同等像素和源码流视频情况下，检测率达到90%。

2.3.5 抛洒物

系统基于AI深度学习技术，可对发生在行车道、应急车道等区域的影响行车安全的抛洒物事件进行自动检测、预警和视频记录，目标体积不小于30cm×30cm，同等像素和源码流视频情况下，检测率达到90%。

2.3.6 违法掉头

系统基于AI深度学习技术，可对车辆在禁止掉头线位置违法掉头行为进行检测预警，同等像素和源码流视频情况下，检测率达到90%。

2.3.7 违法变道

系统基于AI深度学习技术，可对车辆违法变更车道行为进行自动检测并预警，这要求相机在上方正装、无遮挡，同等像素和源码流视频情况下，检测率达到90%。

2.3.8 道路施工

系统基于AI深度学习技术，可对在行车道、应急车道等区域发生的占道施工事件进行自动检测、预警和视频记录；这类施工事件应具备明显的反光锥桶、隔离栏、水马等施工标志。

2.3.9 交通拥堵

系统基于AI深度学习技术，可对发生在行车道、应急车道等区域的交通拥堵事件进行自动检测、预警和视频记录。

2.3.10 车辆慢行

系统基于AI深度学习技术，可对隧道、路面等场景出现的低速车流进行自动检测预警。

2.3.11 车头间距

系统基于AI深度学习技术，可实时检测输出前后车辆的车头间距。

2.3.12 能见度检测

系统基于AI深度学习技术，可实时检测道路能见度，米级数据输出。

2.3.13 排队超限

基于AI深度学习技术，当车辆排队超过预设值，系统会输出警报信息。

3 隧道AI事件监测系统关键技术研究

3.1 目标检测算法

目标检测的任务是在图片中找到感兴趣的目标的位置，确定目标类别，通过算法将车辆和行人框出来，并加以区分确定。

在GPU平台上运行的检测器，主干网络可能是VGG、ResNet、ResNetXt或DenseNet；在CPU平台上运行的检测器，主干网络可能是SqueezeNet、MobileNet或ShuffleNet。对于head部分，通常分为单阶段和双阶段的目标检测器。单阶段目标检测器的代表模型是YOLO、SSD和RetinaNet。双阶段目标检测器的代表是R-CNN系列，包括：fast R-CNN、faster R-CNN、R-FCN和Libra R-CNN，还有基于anchor-free的双阶段的目标检测器如RepPoints。近几年，出现了基于anchor-free的单阶段的算法，例如CenterNet、CornerNet、FCOS等。2018年以来，目标检测器会在主干网络和head之间插入一些网络层，这些网络层通常用来收集不同的特征图，被称为目标检测器的neck。通常一个neck由多个bottom-up路径和top-down路径组成。使用这种机制的网络包括Feature Pyramid Network（FPN）、Path Aggregation Network（PAN）、BiFPN和NAS-FPN。

双阶段检测器一般较为复杂，耗时较长，为节省算力资源，该系统采用YOLOv5算法。YOLOv5是一种基于深度学习的目标检测算法，由Joseph Redmon和Alexey Bochkovskiy在2020年提出。该算法采用了一种新的网络结构，称为CSPNet（Cross StagePartial Network）。CSPNet通过将原始特征图分成两部分来减少计算量，增加了跨阶段连接，提高了网络性能。此外，CSPNet还使用了SPP（Spatial Pyramid Pooling）模块来处理不同大小的输入图像。能够实现更快速、更准确的目标检测。

YOLOv5训练流程如下：

数据预处理：将原始数据转换为模型可读取的格式，并增强数据以提高模型鲁棒性；

构建模型：根据YOLOv5网络结构构建模型并初始化参数；

损失函数：采用交叉损失函数训练，并使用L1损失函数来计算边界框误差；

优化器：采用Adam优化器开展模型优化；

训练：将预处理后的数据输入模型中开展训练，并根据验证集结果调整超参数。

YOLOv5检测流程如下：

该区为京津冀城市群的核心区，西部、北部为山区，中部、南部为华北平原，东部为沿海，地貌多样、腹地广阔；区内有密云、官厅、于桥、西大洋、王块、安格庄、龙门等大型水库，是重要水源区；有白洋淀、南大港、北大港、七里海等湿地，景观丰富多样。该区域水资源短缺，河流断流、功能退化，西部山区水土流失严重。该区域生态建设山区以水土流失治理和水源涵养为主体，平原以地下水修复和人居环境维护为核心、沿海以湿地保护与修复、河口生态维护为重点。

图像预处理：将待检测图像转换为模型可读取的格式，并开展归一化操作；

前向传播：将预处理后的图像输入模型中前向传播，得到目标框和类别概率；

非极大值抑制（NMS）：对目标框开展NMS操作，去除重合度较高的目标框；

输出结果：输出去除重复目标框后的最终结果。

3.2 目标轨迹跟踪算法

该系统采用ByteTrack算法做目标轨迹。ByteTrack算法是一种基于目标检测的追踪算法，也是一种简单、高效、实用的多目标跟踪方法，追踪算法使用了卡尔曼滤波（Kalman flter）预测边界框，通过匈牙利算法匹配目标和轨迹。

卡尔曼滤波是一种高效的自回归滤波器，它能在存在诸多不确定性情况的组合信息中估计动态系统的状态，是一种强大的、通用性极强的工具。只要是存在不确定信息的动态系统，卡尔曼滤波就可以对其下一步要做什么做出有根据的推测。即便有噪声信息干扰，卡尔曼滤波通常也能很好地辨别发生了什么，找出现象间不易察觉的相关性。因此，卡尔曼滤波非常适合不断变化的系统，其内存占用小（只需保留前一个状态）、速度快，是实时问题和嵌入式系统的理想选择。

卡尔曼滤波器是一个状态估计器，它利用传感器融合、信息融合来提高系统的精度。通常观测一个系统的状态有两种手段：一种是通过系统的状态转移方程并结合上一时刻的状态推得下一时刻的状态，另一种是借助辅助系统（量测系统）的测量得到系统状态。这两种方式都有各自的不确定性，卡尔曼滤波可将这两者做到最优结合（加权平均），使估计状态的不确定性小于其中任何一种。

卡尔曼滤波无论是在单目标还是多目标领域都是很常用的一种算法，将其看做一种运动模型，可用来预测目标的位置，且利用预测结果修正跟踪目标位置，属于自动控制理论中的一种方法。在跟踪视频中的目标时，当目标运动速度较慢，很容易关联前后两帧的目标，利用之前几帧的位置来预测下一帧的位置，即可关联同一目标。

3.3 深度学习和机器视觉算法

深度学习是一种基于人工神经网络的机器学习方法，可以从大量的数据中自动学习特征表示和抽象，从而提高模型的泛化能力和性能。深度学习在计算机视觉、自然语言处理、语音识别等领域取得了巨大的成功，也为隧道AI事件监测系统提供了新的思路和技术支持。实例分割是计算机视觉领域中的常见算法，它不仅要求定位特定类别的目标，还要求对每个目标开展像素级别的分割。实例分割既具备语义分割的特点，即做到像素层面上的分类；也具备目标检测的一部分特点，即区分不同实例，适用于区分抛洒物实例并估算面积。

AI事件监测的难点之一在于抛洒物的不确定性，如石块、沙土、金属碎片、塑料袋、行李箱等，同时很难收集到足够多的高质量标记数据来训练一个传统的目标检测模型。零样本实例分割是一种在没有任何标记数据的情况下对未知类别的目标开展检测和分割的方法，其优势在于可以解决实际场景中数据标注困难、类别多样、数据不平衡等问题，提高了实例分割模型的泛化性和鲁棒性，适用于抛洒物检测。

4 隧道AI事件监测系统的运行效果预估

4.1 技术效果预估

4.1.1 采用智能图像增强技术，可使AI算法适应较低图像质量条件下的交通事件智能检测。基于智能图像增加技术，系统可充分利用隧道内现有摄像头设备，结合隧道运行的特殊灯光、光照等场景，定制对隧道内常见事件的AI智能监测，确保模型适应隧道场景的照明条件，大幅提升隧道事件预警的准确率和实时性。

4.1.2 采用基于AI的智能事件检测与结构化特征识别技术，系统不仅能识别常规交通事件，还能提供多维度的车辆结构化信息。在隧道运行场景中，系统可主动监测多达16种事件类型，识别多种车辆类型，预警准确率超过85%，完整覆盖隧道日常运行管理中的重要事件。

4.1.3 通过训练专门的目标检测模型和零样本实例分割模型，系统能够自动识别路面标志、车辆及抛洒物等目标。

4.1.4 基于YOLO的目标检测模型及零样本实例分割模型，在训练和预测阶段都具有较高的速度，相比于其他机器视觉检测方法，能够更快地实现目标检测和分类。

4.2 经济效果预估

4.2.1 提高隧道通行效率

隧道是公路场景中最难啃的“黑盒子”，对车辆畅通行驶起到重大作用。该系统将直接应用于公路隧道交通的运营管理，对提升隧道通行能力和客货吞吐能力发挥巨大作用。

4.2.2 提升管理降低成本

通过对隧道AI事件监测系统的研究及推广应用，管理者可便捷、高效地查询隧道运行状态、运营状况，完成日常综合管控操作，有效提高隧道管理者对交通的管控能力，降低日常管理难度，节约管理费用和时间成本。

5 结束语

目前，隧道AI事件监测系统已实现预期功能，能准确识别非机动车闯入、异常停车、车辆逆行、倒车、火灾、行人、交通事故、交通拥堵、排队长度、车辆抛洒物、车辆慢行等多种事件，同时具备“两客一危”车辆实时监控管理功能，初步完成了计划目标。系统功能还有待继续拓展，采集大量数据样本开展比对分析，持续优化完善系统算法，适配多种环境下的应用，进一步提高监测系统的精准度。