基于视觉识别与毫米波雷达的桥梁防撞预警方法*

□ 刘 祥 □ 包颖炜 □ 陈叶凯 □ 高金锋 □ 梁 丹 □ 梁冬泰

宁波大学 机械工程与力学学院 浙江宁波 315211

1 研究背景

随着交通运输事业的发展,河面上的船舶越来越多,船舶的运输安全与桥梁的设施安全问题越来越重要。由于自然环境、船舶状况及船舶操作者等因素,导致船舶与桥梁发生碰撞的事故每年都有发生[1]。近年来,为了减少船舶与桥梁碰撞事故的发生,越来越多的研究者开始关注船舶碰撞预警与桥梁防护装置[2]。通过传感器实时对船舶进行监控,及时准确发现危险船舶并进行预警,对防止发生船舶与桥梁碰撞事故有至关重要的作用。

目前,国内外对桥梁防撞技术的研究分为两类。一类是利用柔性耗能装置,来减小船舶与桥梁碰撞时的作用力,降低损失。另一类是利用各种传感器等设备,建立船舶预警系统,对危险船舶提前预警,减少事故的发生。吴广怀等[3]通过设计一种大距离走锚消能式防撞系统,防止船舶撞击非通航孔桥。潘海生等[4]通过高速相机来捕捉船舶运动目标,利用数字图像处理方法来测定船体运动轨迹,实现船舶碰撞预警。刘波[5]设计了一套基于热红外交叉成像技术的桥梁防撞预警系统,利用红外相机对海域进行监控,并对危险船舶进行定位与预警。刘春雷等[6]提出基于激光雷达技术的桥梁防撞预警系统,利用激光雷达进行图像采集,通过成像分析、船舶航向轨迹计算,对可能存在碰撞危险的船舶进行预警。

以上研究工作主要利用传感器对船舶的移动轨迹进行监控,发现危险船舶并进行预警,受环境影响比较大,并且无法分辩船舶的类型。为解决上述问题,笔者设计了一种基于视觉识别和毫米波雷达的桥梁防撞预警方法,通过改进YOLO V4算法模型进行船舶图像识别。将监控智能球机和毫米波雷达功能模块化,安装在桥梁防撞监控设备中,通过改进YOLO V4深度学习算法,对监控智能球机获取的图像进行船舶识别。同时,基于雷达视频融合管理平台,融合雷达和图像多传感器信息,获取船舶的位置、距离、方向,实时计算船舶的运动轨迹并可视化。通过对船舶的轨迹信息进行处理,提取船舶的距离信息,与设定的预警值进行比较,实现桥梁防撞预警。

2 方法概述

笔者设计的桥梁防撞预警方法主要设备如图1所示,包括网络高清高速智能球机、毫米波雷达、继电器、计算机等。网络高清高速智能球机为海康威视iDS-2DF8425IXR-A/S1型,分辨率为2 560像素×1 440像素。毫米波雷达为纳雷科技区域安防雷达,功率为300 W。继电器的型号为LH-04_RS232-485。网络高清高速智能球机、毫米波雷达、继电器与计算机之间采用网线通信。

▲图1 桥梁防撞预警方法主要设备

笔者设计的桥梁防撞预警方法工作流程如图2所示。当船舶靠近桥梁时,网络高清高速智能球机和毫米波雷达并行获取船舶的图像信息与轨迹信息。网络高清高速智能球机读取船舶的图像信息,通过离线训练好的船舶识别模型,实时得到船舶类型信息。毫米波雷达获取船舶行驶的轨迹信息,包括速度、距离、方向,显示在可视化界面上。对网络高清高速智能球机和毫米波雷达获取的数据信息进行融合,传输至决策中心,发出预警信息,驱离危险船舶。

▲图2 桥梁防撞预警方法工作流程

3 船舶识别

3.1 数据集

常见船舶类型如图3所示,依据不同用途可以分为矿石船、普通货船、集装箱船、渔船、客船。通过网络高清高速智能球机,在宁波某大桥区域采集不同亮度和背景下的船舶图像。采集的图像数据集一共包含1 356张船舶图像,船舶图像的样本较少,且部分船舶类型的样本占整个数据集的比例较低,数据集中的样本不均衡。YOLO V4深度学习算法在进行模型训练时,需要大量样本数据,如果样本较少,会直接影响训练结果,并且可能导致模型出现过拟合问题。

为解决上述问题,提高模型的鲁棒性和识别精度,对原始图像进行亮度调节、对比度调节、旋转、高斯模糊,扩充样本的数量,将原1 356张船舶图像扩充至6 024张。数据集各类船舶图像分布见表1。在模型训练前,需要对数据集进行人工标注,得到图像中船舶区域的坐标位置。笔者利用LabelImg标注软件进行船舶区域人工标注,在进行标注时,需要将图像转换为PASCAL-VOC格式。对数据集中不同类型的船舶样本分别进行标注,将标注的信息以.xml格式文件形式保存。

▲图3 常见船舶类型

表1 数据集各类船舶图像分布

3.2 识别模型

YOLO算法[7]是一种端对端学习的目标检测算法,可直接输入图像获得目标类别和目标边框。YOLO V4算法通过融合目标识别领域的最新算法,进一步提高目标识别的速度和精度。由于船舶的大小不一且位置随机,直接利用YOLO V4算法模型进行识别无法保证可以对小目标识别,笔者在YOLO V4算法模型基础上进行了一定改进。

基于YOLO V4算法进行船舶识别模型构建,如图4所示。船舶识别模型由输入端、主干网、颈部、输出端四部分组成。在输入端引入马赛克和自对抗两种数据增强方法,提高船舶识别模型的鲁棒性。主干网络由Darknet-53网络中的残差块与跨阶段局部网络相结合[8-9],组成新的卷积层,同时删除最后的池化层、全连接层等。跨阶段局部网络前的卷积核大小设置为3×3,步幅为2,进一步增强学习能力。颈部采用路径聚合网络,附加空间金字塔池化结构,用于融合不同尺度的特征信息,扩大网络的感受视野。

船舶识别模型的工作流程如下:首先将船舶图像数据集输入船舶识别模型,然后利用主干网络完成船舶的特征提取,由颈部对船舶特征进一步融合,最后利用输出端直接预测船舶的类别及位置。

▲图4 船舶识别模型

3.3 目标框聚类与模型训练

目标框是一组具有固定宽高比的数据集图像初始候选框。引入目标框,将目标检测问题转化为待识别目标的预测框与真实框的距离问题。相比传统深度学习算法,目标框通过多尺度窗口滑动遍历来进行选取,使目标识别的精度和速度大大提高。在YOLO V4原算法中,目标框是在PASCAL-VOC数据集上进行聚类得到的。由于数据集中的物体多种多样,物体的大小也不一样,因此聚类的目标框差别很大。

笔者设计的桥梁防撞预警方法识别的目标为船舶,待识别的船舶特征与上述数据集中的目标完全不同,因此直接使用原算法中的目标框获取方式显然是行不通的。基于上述考虑,为了得到图像中精确的船舶位置和类别信息,笔者采用K聚类算法对数据集中目标框的宽高比维度重新进行聚类分析,得到适合船舶数据集的目标框。对数据集进行聚类分析,主要是为了获得更高的交并比。交并比代表产生的预测目标框与标记的真实框的重叠率,其值越大,代表构建的数据集聚类效果越好。采用训练中生成的当前迭代中的交并比替代K聚类算法中的欧式距离,数据到聚类中心的距离D可表示为:

D=1-IoU

(1)

(2)

式中:IoU为交并比;area(boxpred∩boxtruth)为预测目标框和真实目标框的交集部分面积;area(boxpred∪boxtruth)为预测目标框和真实目标框的并集部分面积。

笔者通过调整K聚类算法中簇的个数K,进行多次试验,试验结果如图5所示。

▲图5 K聚类算法试验结果

随着K的增大,交并比不断提高,提高速率不断减慢。依据经验,K选取为曲线斜率最大点之后的点。一方面,K减小,可以减小算法的计算量,加快模型的收敛。另一方面,K减小,可以减小由较多目标框带来的识别误差。因此,当K为9时,船舶识别模型所得到的目标框最优,坐标分别为(17,17),(41,27),(72,34),(116,35),(94,60),(154,54),(188,87),(272,64),(318,101)。

为提高船舶识别模型的检测精度,笔者采用多尺度训练的方式来优化训练过程[10]。在训练过程中,损失函数Loss定义为:

Loss=lxyδ(x,y)+lwhδ(w,h)+liouδ(iou)+

lconfδ(conf)+lcδ(c)

(3)

式中:δ(x,y)为预测框与真实框中心坐标(x,y)的误差函数;δ(w,h)为预测框与真实框宽高比的误差函数;δ(iou)为预测框与真实框重叠面积的误差函数;δ(conf)为置信度误差函数;δ(c)为类别c的误差函数;lxy、lwh、liou、lconf、lc为误差权重因数。

船舶识别模型在训练时的损失曲线如图6所示。从图6中可以看出,迭代次数小于3 500次时,损失函数迅速减小,经过10 000次迭代,损失函数基本趋于平稳,模型收敛。

4 船舶轨迹信息

船舶轨迹预警工作流程如图7所示。基于雷达视频融合管理平台[11],在可视化地图上布防预警区域。当船舶驶入预警区域时,毫米波雷达获取船舶的轨迹信息,包括距离、速度、方向,并实时显示。对采集到的数据信息进行处理,获取船舶的距离信息R。将船舶的距离信息R与预警设定值进行比较,如果小于设定值,继电器将会动作,开关闭合,与继电器连接的语音设备发出预警信息,驱离危险船舶。

▲图6 船舶识别模型损失曲线

▲图7 船舶轨迹预警工作流程

笔者设计的桥梁防撞预警方法基于毫米波雷达的多普勒效应原理[12],通过串口通信方式获取毫米波雷达得到的速度、距离、方向信息。雷达反射波的频率变化称为多普勒效应,表达式为:

(4)

式中:f′为目标接收的频率;f为雷达发射频率;v为电磁波在介质中的速度;v0为目标移动速度,接近雷达前方运算符号为+,反之为-;vs为雷达移动速度,接近目标前方运算符号为-,反之为+。

毫米波雷达固定在支架上,即vs为0。电磁波传播速度v为3×108m/s,则多普勒频率fd1为:

fd1=f′-f=v0f/v

(5)

雷达发射和接收信号,在雷达的工作过程中产生了两次多普勒效应,总的多普勒频率fd为:

fd=2v0cf/v

(6)

由多普勒频率可以得到在动目标情况下,发射信号与接收信号上扫频、下扫频做差频,中频信号的频率fb-和fb+为:

(7)

式中:Δf为目标静止时测得的雷达中频信号频率。

联立式(6)和式(7),可以得到船舶距离R和速度V为:

(8)

(9)

式中:f1为雷达中频信号中心频率;B为雷达调制带宽;T为雷达调制周期。

在雷达探测区域内,利用毫米波雷达并列的接收天线,收到同一个监测目标反射回的毫米波相位差,可以计算出船舶的方位角。在雷达获取船舶的轨迹信息后,提取出距离信息,与预警设定值进行比较。当距离小于等于预警设定值时,系统发出预警信息,驱离危险船舶。

5 试验分析

5.1 船舶识别

利用已训练完成的模型,从采集数据集中随机选取100张图像进行测试,验证桥梁防撞预警方法中船舶识别模型的准确率。船舶识别结果如图8所示。在不同环境下,笔者设计的桥梁防撞预警方法能够精确识别船舶的位置和类别。在系统中,红色框内表示渔船,黄色框内表示普通货船,蓝色框内表示集装箱船,绿色框内表示客船,紫色框内表示矿石船。对于选取的100张图像,均可实现准确识别。

▲图8 船舶识别结果

为定量分析船舶识别效果,将笔者设计的桥梁防撞预警方法与文献[13]方法、目标检测算法、YOLO V4-tiny算法、YOLO V4算法对比,结果见表2。在矿石船和客船的识别结果中,笔者方法识别准确率分别达到99.03%、97.53%。对于普通货船,文献[13]方法、目标检测算法、YOLO V4算法和笔者方法识别准确率均达到90%以上。集装箱船因图像特征明显,识别准确率都较高,尤其是笔者方法,识别准确率达到了99.67%。对于渔船,目标检测算法和笔者方法识别准确率较高,达到90%以上,YOLO V4算法识别准确率为89.59%,文献[13]方法不能够识别这类船舶。通过对比,YOLO V4-tiny算法网络结构简单,识别速度快,训练时间短,但识别准确率明显降低。在平均识别准确率方面,笔者方法相比YOLO V4算法提高1.89个百分点,相比其它方法提高3个百分点以上,单幅图像的识别时间为32 ms。识别结果表明,笔者方法可以满足船舶识别的需求。

表2 船舶识别结果

5.2 船舶轨迹

为验证采用毫米波雷达是否能准确获取船舶的轨迹,在室外进行模拟试验。试验人员在船舶上控制船舶方向,当船舶进入预警区域时,船舶运动过程中的轨迹信息如图9所示。

5.3 桥梁防撞预警

为验证笔者设计的桥梁防撞预警方法的工作效果,在宁波某大桥附近进行试验,传感器信息处理及预警值设定的可视化界面如图10所示。当船舶进入监控视野范围时,船舶识别模块开始工作,船舶类型被精确识别。当船舶进入布防预警区域时,船舶继续被跟踪识别,同时实时显示毫米波雷达获取的轨迹信息。当采集到的船舶距离信息小于预警设定值时,继电器闭合,与继电器连接的语音设备发出预警信息,驱离危险船舶。桥梁防撞预警方法试验过程如图11所示。

为了进一步验证笔者设计的桥梁防撞预警方法的成功率,进行多次试验,将船舶分为大型船舶、中型船舶、小型船舶,试验结果见表3。从表3中可以看出,对大型船舶预警成功率达到100%,对中型及小型船舶预警成功率达到90%,平均预警成功率为93.33%。

▲图9 船舶轨迹信息

▲图10 可视化界面

▲图11 桥梁防撞预警方法试验过程

表3 桥梁防撞预警方法多次试验结果

6 结束语

笔者设计了一种基于视觉识别和毫米波雷达的桥梁防撞预警方法,实现了船舶的分类识别及桥梁防撞预警。

利用改进YOLO V4算法,实现了船舶的分类识别,试验结果表明,对不同类型船舶的平均识别准确率为97.30%,单幅图像的识别时间约为32 ms。

利用雷达视频融合管理平台,融合图像和雷达,将船舶的轨迹信息可视化。基于毫米波雷达的多普勒效应原理,利用编程软件对获取的船舶信息进行处理及预警值设定,实现船舶监控及桥梁防撞预警,试验中平均预警成功率为93.33%。

笔者设计的桥梁防撞预警方法组成结构简单,执行速度快,预警成功率高,可以应用于桥梁的防撞预警监控。