动态船舶行驶场景下的实时单目测距算法研究

夏红杰，陈姚节，徐 新，王 薇

(1.武汉科技大学 计算机科学与技术学院，湖北 武汉 430065；2.武汉科技大学 智能信息处理与实时工业系统湖北省重点实验室，湖北 武汉 430065)

0 引 言

随着“十四五”规划将人工智能技术视为未来研究领域的首要任务，海上运输正朝着智能化方向快速发展，“智能船舶”必将成为船舶工业未来的发展趋势。近年来，计算机视觉的迅速发展，推动了无人驾驶、机器人、智能医疗、安检防控和人脸识别等新兴领域的研究和普及。在复杂环境下利用计算机视觉进行相关目标检测与测距等算法在相关辅助系统中占据核心地位，因此可以借鉴智能机器人与自动驾驶场景下的前方障碍物检测与测距算法，对其进行分析并改进迁移应用于船舶行驶场景下。

目前大多数研究采用的视觉测距方法是通过物理手段实现的，主要分为单目视觉和双目视觉。双目视觉是利用两台摄像机采集周围环境的视频图像信息，利用双眼视差原理进行目标检测物的深度信息恢复，然而在视差的计算过程中，就必须对相同情景下的两张图像进行特征点提取并匹配对应点，存在算法复杂、计算量大、特征点匹配鲁棒性保障等技术难题。而单目视觉则是利用一台摄像机采集视频图像信息，基于小孔成像原理实现距离测量，因其装置简单、成本低、算法复杂度低、实时性好等特点，符合大部分实时场景的要求，其测距算法包括传统的通过成像模型、函数拟合及几何关系推导等方法。在目前的研究及实际应用中，几何关系推导算法因其更强的实用性而被广泛使用。张云飞等先用背景差分法提取出前方行驶车辆，再利用道路平行约束条件通过几何推导实现单目视觉实时测距。赵松等基于相机成像原理建立成像点与目标点的几何关系，实现室内移动物体与目标障碍物之间距离的实时监测。李勇等通过透视投影原理计算图像消失点，利用已提取的三维信息和场景中的约束，实现单目视觉的三维重建与测距。王健等利用透视投影几何原理及单目CCD摄像机在感兴区域内通过灰度梯度进行目标检测，从而进一步实现单目视觉船舶测距定位。

该文主要针对动态船舶行驶场景，通过船载摄像头拍摄船舶行驶过程中附近水域环境的视频信息，利用目标检测模型对目标船舶在图像中的位置信息进行提取，从而实现目标船舶的实时测距。首先对传统的基于几何关系的测距方法进行推导，在引入包含俯仰角、水平角的相似三角形测距算法的基础上结合船舶在水面动态摇晃及相机姿态等误差分析，采用陀螺仪姿态补偿策略提出单目视觉目标船舶测距算法，从而实现单目视觉目标船舶测距。

1 单目视觉测距原理

1.1 单目相机模型

摄像机成像过程就是三维空间中的物体通过投影映射为图像平面上的像素点，这种映射关系也就是不同坐标系坐标点的转换关系，总共涉及四个坐标系和三次坐标系转换，这四个坐标系如图1所示，具体转换过程如图2所示。

图1 摄像机成像坐标系

图2 坐标系转换流程

1.2 坐标系转换

世界坐标系是根据客观场景建立的三维基准坐标系，坐标用(

X

,

Y

,

Z

)表示，可以用来表示所有物体的定位信息。在船舶行驶场景下，世界坐标系与相机坐标系的原点分别为船舶中心在水平面的竖直投影点、船载相机的光心，相机坐标系的光轴(

Z

轴)垂直于成像平面，

X

轴和

Y

轴分别与图像坐标系相应轴平行。第一层转换为世界坐标系到相机坐标系的转换，通过对目标物体的坐标进行简单的平移和旋转变换即可实现，其转换公式的矩阵表示形式为：

(1)

其中，为正交旋转变换矩阵，为三维平移向量。相机坐标系到图像坐标系的转换是将三维世界中一点

P

(

X

,

Y

,

Z

)根据小孔成像原理推出其在像平面上的投影点坐标

p

(

x

,

y

)，原理如图3所示。

图3 小孔成像原理

利用相似三角形公式，可以推导出公式(2)，其矩阵表示形式为公式(3)。

(2)

(3)

其中，

f

为相机焦距，

Z

为空间中三维物体沿光轴到相机的距离。像素坐标系的坐标原点为成像平面左上角，设为(

u

,

v

)，其基本单位为像素，图像坐标系到像素坐标系的转换需要对成像平面中的点按比例缩放，其转换关系如公式(4)所示，矩阵表示形式为公式(5)。

(4)

(5)

其中，

d

,

d

分别为图像坐标系中

x

轴和

y

轴方向上单位像素的长度。

联合式(1)、(3)、(5)，即可得到由世界坐标系到像素坐标系转换的最终公式：

(6)

2 基于陀螺仪姿态补偿的测距算法

2.1 船舶行驶实时单目测距误差分析

在1.1节建立的单目相机模型中，待测物体的实际大小需要事先测量，而在船舶行驶实时测距过程中，不可能获知待测船舶实际大小，因而该模型不适合应用于船舶行驶过程中的实时测距。基于几何推导的单目视觉测距是目前使用最广泛的模型，简单的相似三角形测距模型未考虑相机姿态角对距离测量的影响，曹毓等分析了相机定位算法的精确度受到相机姿态安装误差的影响后，利用车载姿态传感器进行安装误差校正并设计三组车辆行驶实验，实验结果表明单目视觉定位算法精度得到显著提高。郭磊等通过实验分析出车载相机的俯仰角对测距结果影响较大，根据道路边界平行约束条件，实时计算车载相机的俯仰角度，从而获得较为准确的前方障碍物距离信息。杨雪姣等全面分析相机姿态角(俯仰角pitch、水平角yaw、翻滚角roll)对于测距的误差影响之后，提出了改进的相似三角形测距算法，从而减小了由相机姿态导致的误差。

该文为验证pitch俯仰角与yaw水平角分别对单目视觉测距的影响，在室内通过固定相机移动目标检测物进行测距实验，首先保持相机俯仰角为35°不变并保持目标待测物距离相机3 m距离，改变水平角进行测距，实验数据如表1所示；接着保持相机水平角为75°不变，目标待测物距离相机从6 m开始依次以1 m为间隔增加距离进行测距，实验数据如表2所示；最后通过Matlab对两组实验数据分别进行拟合，拟合结果如图4所示。从拟合模型中可以看出，俯仰角相较于水平角对相机测距模型影响更大。

表1 固定俯仰角改变水平角测距

表2 固定水平角改变俯仰角测距

图4 Matlab实验数据拟合结果模型图

在实际工业应用中，通常将可以测量惯性的传感器(如陀螺仪、加速度计等)固连在运动装置(如汽车、船舶和飞机等)，根据相应的测量参数值计算出运动装置的姿态信息。苏菲等通过MEMS陀螺仪并结合加速度传感器高效并稳定地实现了帆船运动姿态角度测量。彭孝东等归纳的MEMS三轴数字陀螺仪误差主要包括：设备安装、随机噪声常值漂移及标度因数等，并指出传感器输出的主要误差受后两项影响，从而提出一种陀螺仪标定方法补偿相关误差以提高精确度。

因此，该文考虑到动态船舶行驶场景下的相机姿态误差，采用高精度陀螺仪来监测船舶状态从而及时对相机姿态进行补偿，并结合含pitch、yaw的相似三角形测距算法实现目标船舶实时单目测距。

2.2 陀螺仪标定及实时相机姿态补偿策略

陀螺仪标定数学模型矩阵形式公式为：

(7)

其中，

S

,

S

,

S

为陀螺仪的标定因数，

K

,

K

,

K

,

K

,

K

,

K

为安装误差系数，

w

,

w

,

w

为实际测量陀螺仪的输出值，

W

,

W

,

W

为陀螺仪的实际角速率输入值，

b

,

b

,

b

为陀螺仪的漂移，其计算公式如下：

(8)

其中，

w

=15.04°/h为地球自转角速率，

φ

=31°为纬度，纬度可以通过GPS定位实时更新。

姿态补偿的实质是通过陀螺仪实时监测船舶的运动状态，然后使用计算好的陀螺仪标定方程，求出船载相机的补偿角度。

2.3 含俯仰角、水平角的相似三角形测距算法

测距模型如图5所示。设船载相机距离水平面高度为

H

，镜头焦距为

f

，相机俯仰角为

α

，水平角为

δ

，光轴与物体成像连线夹角为

γ

，物体落地点与光轴投影连线形成的夹角为

ε

。

图5 含pitch、yaw的相似三角形测距模型

首先计算物体落地点在光轴上的情况，即

ε

=0时，由图可知，

β

=

α

+

γ

。

(9)

(10)

计算得到垂直纵向距离为：

(11)

当物体落地点不在光轴上时，由图可知，

O

A

=

d

(公式9),记为

d

，则垂直纵向距离

d

，水平横向距离

k

的计算公式为：

d

=

O

C

*cos(

ε

+

δ

),

k

=

O

C

*sin(

ε

+

δ

)

(12)

设

AC

=

k

,由三角形

oCA

与

oFE

相似可得：

(13)

由图可知：

(14)

因此，联立以上各式，得到最终的测距公式：

(15)

(16)

3 单目测距实验结果与分析

实验数据通过将摄像头与高精度陀螺仪固定安装在船舶模型并放置在水中，将一些小型船舶模型及障碍物随机摆放在船舶周围10 m以内水域以模拟动态船舶在水面行驶场景，将摄像头采集到的视频图像每隔10帧提取一个视频帧图像作为测距实验分析图像，考虑到每次移动目标船舶时摄像头需要转动调整，以及由于水面的波动造成船舶的摇晃均需要一段时间稳定，因而每次移动目标船舶后均等待1～2分钟再记录相关数据。

记录数据之前，先将船舶模型放置在室内地面，根据一系列已知目标检测物距离进行摄像头初始状态的标定，从而确定相机的校正参数。随后，将模型根据陀螺仪标定方法进行陀螺仪标定，计算出安装误差系数和陀螺仪标定因数。最后安装好所有模型及设备，随机移动目标船舶在水面中的位置，测量实际距离并利用陀螺仪实时监测船舶模型的姿态变化及时进行相机姿态补偿后记录预测数据。其中以计算得到的垂直纵向距离作为记录的测量距离。

由于系统检测框的不稳定性以及船舶模型在水面中的摇晃，导致测量的距离在一定范围内波动，因此对每一次移动目标船舶后进行多次数据记录，计算平均误差作为最终误差，计算公式如下，实验结果如表3所示。

(17)

表3 单目视觉测距实验结果

实验结果显示，测距在船舶附近10 m水域内误差较稳定为3.45%，明显提高了测量精度和测量距离，可以应用于船舶在行驶过程中的目标船舶测距。

4 结束语

船舶在行驶过程中实时监测与周围障碍物之间的距离在船舶安全防控中是至关重要的。该文提出了一种基于单目视觉综合考虑相机姿态角的改进相似三角形测距算法，同时结合陀螺仪监测船舶姿态状态并对船载摄像头进行姿态补偿从而很好地应对由于船舶在水面行驶的晃动导致的测量误差，实现对船舶行驶场景下周围水域目标船舶进行实时测距。由于该文仅使用单一的陀螺仪传感器进行测量，因此相机长时间姿态角度的精准测量无法保证，以及船舶在实际江域、海域行驶时的自然环境(如大雾、降雨等)对船载摄像机拍摄画面模糊的影响等问题，尚有待于深入研究。