基于AI的桥梁防撞安全预警应用研究

汪祝庆、黄健、王彤

（1.江苏苏信交通科技有限公司，江苏南京 210000；2.南京市交通运输综合行政执法监督局，江苏 南京 210000）

1 桥梁防撞安全管理现状问题分析

桥梁建设为经济发展在带来巨大便利的同时，也存在种种困境。如因桥墩占用原有航道水域，导致船舶可航水域通航净宽、净高受限，从而直接或间接引发水上交通安全事故或造成安全隐患；因桥墩的修建改变了原有水道的流场特征，从而导致船舶在桥墩水域航行受限，更进一步增加了船舶碰撞桥墩的风险。船舶碰撞桥梁事故一旦发生，造成的损失将无法估量，轻则船、桥损伤，重则船毁桥塌，甚至发生重大人员伤亡和环境污染事故。当前的桥梁防撞安全管理中存在以下问题：

第一，船舶自动识别系统（Automatic Identification System，AIS）[1]可以提供船舶位置，该系统服务于防撞预警，但AIS 有信号迟延风险，实时性较差，有可能探知的船舶已经不在当前位置。加上AIS 偶有故障或未开机，桥区就不能获知船舶当前状态，且桥区检测系统无法干预解决这种故障，因此这是一种被动监测。另外，由于水位是变化的，AIS 并不能有效实施对船舶的限高监测。

第二，船舶在水中停船要经过很长一段距离，需要感知离桥足够距离的船舶状态，为船舶预警留下足够处理的时间。但观测摄像机需要在足够的高度下才能全景航道船行情况，而在航道上下游不允许架设高杆的情况下，观测摄像机只能安装在桥梁侧进行长程观测，这就会降低图像的质量甚至可能采集不到图像。此外，雨雾等低照度条件同样会影响到观测摄像机对现场的监控。

第三，多方式示警模块（包括船名船号识别子系统）可在感知到船舶异常后，获得船名并匹配船舶数据库中电话，呼叫警示船舶；由于目标追踪可迅速定位船舶位置，因此在夜间可通过激光可见光扫射驾驶舱来提醒船舶；通过LED 等声光报警提醒船舶；通过甚高频基站和AIS 基站呼叫异常船舶，以保证最快速度通知船舶处理险情。此外，还能够将告警信息发送执法部门客户端，便于执法部门分析指挥调度并依法取证。

2 桥梁防撞安全预警方案

针对桥梁防撞安全管理中的问题，本文有针对性地提出以下安全预警方案：采用图像定位技术，根据图像感知提取船舶的位置、尺寸、状态，结合AIS 定位及船舶尺寸提取信息。比对预存的航道图和限宽阈值，发现偏航与超宽等异常，触发预警。采用计算机视觉（CV）手段和卷积神经网络，实现船舶目标检测，同时结合目标检测，实现目标追踪。通过人工智能对摄像机画面的分析，保证实时性，由于系统的归属性，保证故障风险可控，一旦自检系统有问题，可及时抢修而不是被动地等第三方修复故障，满足主动预警的要求。结合雷达限高检测和AIS 数据辅助，可形成信息融合后的主动预警系统。

3 基于卷积神经网络的船舶识别与追踪

3.1 基于卷积神经网络的船舶目标检测

通过高清摄像机拍摄水面船舶，对水面上航行的船舶进行目标检测和定位。通过目标检测和定位能够自动、高效地识别追踪目标，为检测船舶航速、离桥距离等提供支持。卷积神经网络对图像进行卷积、池化、输出等多层组合操作，完成提取图像语义，模型能够高效提取图像特征，且泛化能力较强。目标追踪算法中，传统算法分为一阶段目标追踪和两阶段目标追踪，其中一阶段目标追踪是预测图片中圈定范围内的类型、偏移量等，如YOLO[2]、SSD 算法[3]；两阶段目标追踪是先做初步检测，然后生成候选区域并对其进行详细分类和微调，如Fast R-CNN[4]。Faster R-CNN是在Fast R-CNN 的基础上增加了PRN 层实现。

本文比对采用的Faster R-CNN 网络模型包括四部分，分别为卷积层部分、PRN 层、池化层和全连接FC 层。基于Faster R-CNN 网络模型的船舶目标追踪流程图如图1 所示。

图1 基于Faster R-CNN 网络模型的船舶目标追踪流程图

首先输入图像，经过VGG16 的特征提取，来获取区域建议网络（PRN）需要的全部特征。RPN 利用特征图生成若干个候选区域以及每个区域的概率值，按照非极大值抑制方法对候选区域的概率值进行计算，经过RPN 网络产生的候选区域进行映射处理，并投影到特征图上，通过投影获得特征矩阵，把得分最高的区域放入感兴趣区域的池化层ROI pooling（Region of interest）。候选区域的特征图经ROI pooling处理后，缩放到7×7 大小，分别送入目标分类和回归两个分支，计算出分类结果，同时通过回归预测，获取边界框区域，即通过全连接层输出预测类别和位置。

3.2 基于DeepSort 的船舶轨迹追踪

前面通过采用改进的Faster R-CNN 网络，有效实现对目标船舶的检测，其算法精度较高。本节从检测结果上来实现对目标船舶的跟踪。采用的跟踪算法为DeepSort，该算法提取较深层的目标特征，以增加模型的泛化能力，从而有效地解决目标特征提取性能较差的问题，实现对船舶跟踪的稳定性，且算法精度较高。

Sort 是把IoU（Intersection over Union，在特定数据集上衡量检测目标准确度的标准）作为前后帧目标关系指标，其仅仅根据匹配检测目标的边界距离，来完成对前后帧目标的判断，其对边界内的特征进行匹配。若追踪目标出现一些障碍遮挡时，易出现目标频繁切换问题。为了解决此问题，在进行前后帧匹配时，DeepSort 采用级联匹配算法，把目标间距、特征的相似度作为衡量前后帧之间关系的标准，以提高算法的准确度，排除一些错误的轨迹预测。

DeepSort 核心流程包括三个步骤：预测（Track）、观测（Detection+数据关联）和更新，其中预测就是预测后一帧目标的Bbox，当完成目标检测后，其结果在前后两帧中不存在关联关系，因此需要在观测步骤中完成数据关联操作。在目标追踪过程中，卡尔曼滤波是当前跟踪算法中最为典型的算法，其适用于不断变化的场景中，在目标追踪过程中，存在一些不确定信息或者一些噪声干扰，卡尔曼滤波可通过目标先前的运动状态，对其作出相应的预测，得到后续时刻的目标运动状态。

在算法模型中，先通过Faster R-CNN 网络对目标进行检测识别，提取特征，然后利用马氏距离来计算追踪目标的卡尔曼滤波预测值与本帧采集的目标完成关联度计算。在复杂的追踪场景中，船舶周围的物体与目标存在较快的移动或者遮掩，通过马氏距离可判断易出现错误判断的情形，因此引入余弦距离算法来作为辅助判断，需要重新通过Faster R-CNN 网络来获取目标物特征，对目标物特征和已追踪轨迹、目标之间的维度差异来进行关联。马氏距离与余弦距离算法对关联值的影响：当值介于设定的两个阈值范围之间，则视为关联成功。如果目标对象在关联成功后，需要继续进行IoU 匹配，如果目标对象与已有轨迹在设定的帧内没有再次匹配，则表示此帧追踪是无效的，如果再次匹配成功，则表示此帧追踪是有效的，通过此方法最后获取当前目标轨迹。

4 桥梁防撞安全预警系统设计

4.1 系统体系结构设计

系统体系结构分为：数据层、业务层、展示层和前端UI，在云主机、独立服务器以及第三方虚拟主机运行。

数据层：负责完成存储过程、数据缓存、事务、读写数据库，对采集的船舶视频、图片等缓存进行管理。当采集到图像数据时，保存到非结构化数据库，同时数据层存储一些目标检测、追踪模型的参数配置，对检测和追踪结果进行保存，同时对每天发生的预警事件进行管理，方便检索和处理。

业务层：用于实现船舶感知、异常预警、取证采集的业务定义，同时用以定义统计分析、系统日志的设置等。船舶感知用于定义船舶高清摄像以及图片取帧参数等；异常报警用于定义报警规则，当触发报警规则时，系统实现自动报警处理；除了检测和追踪外，还需要完成预警、报警的相关数据统计。

展示层：用于提供模块操作。该平台模块包括图像采集模块、参数配置模块、预警模块、桥梁碰撞报警模块、通信模块等。

前端UI：用于定义平台的操作界面，包括页面表单、CSS、HTML5 等。

4.2 系统模块设计

系统模块包括图像采集模块、参数配置模块、预警模块、桥梁碰撞报警模块、通信模块等。下面分别论述部分模块的设计。

4.2.1 参数配置模块

对模型参数、平台参数等进行设置，其中模型参数包括超参设置、训练参数等；该模块对系统的一些配置，包括预警规则、碰撞报警条件等的设置，系统用户权限管理分配等。

4.2.2 预警模块

桥梁防撞预警的目标是在船舶未到达桥区前，监测过往船舶，如果某船舶超宽、超高或偏离航道，及时给予警告，防患于未然。以偏航为例进行说明，需要知道船舶当前位置，并与系统内置的航道范围电子地图进行比对，如果船舶不在航道范围内，则视为异常。

4.2.3 桥梁碰撞报警模块

感知层采用震动传感器，震动传感器对物体进行振动测量时，能将机械振动参数转化为电参量信号，具有高灵敏、快速、高性能等特点。在桥梁关键部位部署震动传感器，能够根据震动力度及范围，用于监测是否发生碰撞预警的信号，或者当发生碰撞时用于判断碰撞程度。

4.2.4 通信模块

系统云服务器负责报警信息的处理、计算，报警信号的分发及监控系统远程查看。通信模块为系统提供感知数据传输，包括监控图片、视频上传的地址、参数配置等。

5 桥梁防撞安全预警设计

5.1 船舶感知与识别

基于视频识别技术进行预警监测，首先要能采集到足够清晰的画面，然而现有预警系统在雨雾天气、夜间等昏暗环境时采集的图像模糊，影响对船舶尺度、定位、距离、航向等信息的分析。现有人工智能算法易受光照条件、天气因素、图像质量、目标大小、物体遮挡、伪装等因素影响，导致识别效率不高。在知识积累与使用方面，与传统的结构化存储和调用不同，模拟人脑占有信息机制，构建类脑知识库并依据进化模型实现经验积累，依据记忆唤醒规律调用知识参与数据分析。在数据分析方面，构建类脑缓冲池，搭建基本算子和情境识别机制的算法模型，实现信息感知。由于先验知识以类脑思维方式参与识别，训练样本少、部署快、识别准确实时、问题可回溯、开销小。

5.2 超限预警分析

根据图像感知提取船舶的位置、尺寸、姿态，结合AIS 定位及船舶尺寸提取信息。比对预存的航道图和限宽阈值，发现异常，触发预警。检测到超限异常后，将预警性质（偏航、超高、超宽、违停）、异常船舶位置、身份、异常值等上传至服务器，推送至客户端系统，启动船舶超限报警。在观测点架设激光感应器，设定高度为桥梁下沿，当高于桥梁下沿的船舶经过时，会对激光感应器形成遮挡，意味着船舶超高，触发预警，通过上下架设双感应器的方式进行设计，防止飞鸟经过造成误报警。

5.3 数字孪生再现

通过BIM、GIS 和数据孪生技术，根据航道图等资料，实现桥区三维场景还原，实时定位追踪异常问题，统计分析异常原因，多种手段实现排除异常，进行异常档案管理，实现安全诊断分析以及监测系统自检。

5.4 多方式提醒及预警

除客户端警示以外，自建高频小基站，实现与到达船舶的通信；自建AIS 小基站，实现与到达船舶的信息交互；桥侧安装LED 屏幕，显示信息警示船舶；监控点安装声光报警，用语音和光闪警示船舶。系统感知到船舶接近时，通过以上措施广播式主动示警，提醒过往船舶注意安全；系统感知到船舶异常时，通过以上措施主动告警并实时跟踪异常状态是否消除。

6 结语

人们在享受桥梁建设为经济腾飞带来巨大便利的同时，也不得不面对因桥梁的修建带来的种种困境。为解决桥梁建设带来的安全问题，提出在安全风险较大的桥梁加装主动防御的防撞预警、碰撞报警系统。桥梁防撞预警和碰撞报警系统基于AI 视频技术，通过深度学习和优化智能算法，显著提升对船舶目标跟踪检测的准确性，针对提升航道运行效率，减少桥梁碰撞等问题，实现防撞预警、碰撞报警等功能，解决桥梁资产保护中的难题，有效防范风险。