基于激光与视觉融合的无人船靠泊环境感知系统设计*

陈 静 王 强

武汉理工大学交通与物流学院 武汉 430063

0 引言

无人船靠泊环境感知系统在无人船自主靠泊过程中获取无人船与岸边泊位的相对位置信息，是无人船自主靠泊技术实现的重要保证。无人船靠泊环境感知系统辅助无人船航行状态数据，运用多传感器数据融合技术，对多个测量数据进行融合，获取精确的靠泊环境信息。本文根据无人船的工作特点，分析了无人船靠泊航行与停靠过程，设计了一套基于立体视觉与激光传感器融合的无人船靠泊环境感知系统。

国内外部分先进港口和船舶开始研究与开发无人船技术，引进各种测速、测距装置辅助无人船安全靠泊。闫晓飞等[1]利用三维激光扫描仪可快速获取船舶动态参数，解决了点式激光监测方法寻找目标难的问题，但是三维激光扫描仪固定于码头对船舶的适应性较差，难于连续照射同一目标点，用于无人船自主靠泊过程时，需要实时连续的对距离进行测量，可能出现捕捉不到岸边信息的问题，系统可靠性较低。Yasuhiro Nomura等[2]提出一种利用立体摄像机对船舶进行三维位置测量的方法，密集立体相机放置于岸边测量船体多个部位三维位置，提高了船舶监测的安全性和鲁棒性。Hideki Kawai等[3，4]提出了由2个可移动的图像传感器组成的测量系统，通过对码头上的目标进行监测和跟踪来测量相对距离，完成自动靠泊系统中船舶的横摇、纵摇和偏航运动的检测。此方案试验了船舶在20～100 m以内的靠泊过程且误差在1 m以内，当无人船靠泊系统精度要求较高时，本方法并不能适应。甘兴旺等[5]提出基于视觉的船舶环境感知数据融合算法可实现对船舶周边环境的高效感知。基于YOLOv3建立船舶自动识别模型，通过相机图像实现对周边船舶的自动化目标检测，与船舶自动识别系统（AIS）信息融合，提高感知精度。本方法用于船舶海上航行安全性较高，用于自主靠泊过程中精度远远不足。

因此，为满足无人船自主靠泊过程中对测量精度和测量连续性的要求，本文采用基于立体视觉和激光传感器的环境感知系统，利用视觉系统识别与快速定位到岸边系泊机械装置，调整旋转云台使激光雷达精确测距，再依据空间坐标转换修正视觉测量值，快速准确地获得无人船与岸边泊位的相对位置信息，实现无人船靠泊过程的连续监测。实验结果证明本方案可大幅度提高测量精度。

1 无人船靠泊环境感知系统设计

无人船采用安装在泊位处的岸边系泊机械装置将其固定至泊位，抑制无人船停靠时与岸边泊位间的移动。岸边系泊机械装置是一种不依靠任何人工劳动力就可以完成无人船系泊工作的新型机械装置。它改变了传统的手工式系缆方式，为无人船全自动化发展提供了可能。岸边系泊机械装置作为感知系统监测的目标点，无人船靠泊环境感知系统在无人船自主靠泊过程中通过对目标点的识别与监测得到无人船与岸边泊位间的相对位置信息，引导无人船进行靠泊。

无人船采用角度靠泊法实现平靠于泊位，停靠过程（见图1）为：1）无人船沿航道驶入泊位附近，控制舵机使无人船开始转向，无人船在主推进器的作用下其船首慢慢靠近泊位；2）无人船船首保持不动，控制器发出指令控制其船尾的侧推器，在侧推器的作用下，无人船慢慢侧移入泊位并平行于泊位。3）无人船平行停靠于泊位附近后，岸边系泊机械装置作用于无人船船体，实现无人船在泊位处的停靠。

图1 无人船自主靠泊过程

1.1 无人船靠泊环境感知系统组成

为实现无人船在整个靠泊过程中的工作安全与可靠，设计了一套环境感知系统，可实现对无人船靠泊过程的连续监测。采用立体视觉和激光同时匹配工作，系统由深度相机、2D激光雷达和旋转云台组成。无人船靠泊过程中需要的2个岸边系泊机械装置作为无人船自主靠泊环境感知系统测量的目标点。2个相机分别放置于无人船的船首与船尾，2个相机的连线与无人船中心线重合，激光雷达放置于2个深度相机中间。无人船靠泊环境感知系统总体结构如图2所示。

图2 无人船靠泊环境感知系统总体结构图

无人船自主靠泊过程中无人船缓缓靠近岸边泊位，相机受视场角的影响，测量范围受限无法同时将2个岸边系泊机械装置同时检测到，无法获得无人船的完整位置信息。2个相机分别放置在船首和船尾可以弥补单个相机的缺陷，船首相机和船尾相机构成立体视觉系统。

无人船靠泊过程中无人船在风、浪、流的作用下，不能始终保持激光雷达扫描平面与目标物所在平面重合，2D激光雷达受结构的影响只能测量某个特定平面上的信息，故需要引入旋转云台去拓宽激光雷达的工作范围。激光雷达装载到旋转云台后可调整其扫描平面，扩大雷达的监视范围，实现单一平面扫描到三维空间内任意一个平面上目标的捕捉。

1.2 无人船靠泊环境感知系统数据传输与控制

无人船靠泊环境感知系统获得信息后需要通过无人船的控制系统实现无人船靠泊过程并顺利停靠于岸边泊位。无人船的控制系统分为岸基控制平台和船载控制系统2部分[6]。主要硬件组件有船载PC、控制器、激光传感器、立体相机、控制局域网（Control Area Network，CAN）、以及执行机构等，无人船控制系统硬件结构示意图如图3所示。

图3 无人船控制系统硬件结构示意图

无人船驶入岸边泊位附近处进行靠泊操作时，无人船靠泊环境感知系统开始工作，获取无人船与岸边泊位精确的相对位置信息，以达到靠泊过程对精度的要求。首先，立体视觉系统对无人船停靠泊位处两目标点的位置进行粗略测量，测量数据通过CAN通信模块传至船载PC进行处理分析；船载PC分析立体视觉系统的测量结果传递给激光测距系统，控制旋转云台运动使目标点处于激光雷达的捕捉范围内，随后激光雷达进行高精度距离测量；船载PC将激光雷达测量结果与立体视觉系统的测量结果进行融合，得出目标点的精确位置信息，获得无人船靠泊过程中动态参数信息。船载PC通过CAN通信模块将信息传给控制器，控制执行机构完成无人船自主靠泊过程。

2 无人船靠泊环境感知数据融合算法

无人船靠泊环境感知系统包括立体视觉系统和激光测距系统，融合了两者的优点，具有精度高、搜寻目标快的特点。立体视觉系统和激光测距系统相互作用进行信息融合，最终得到无人船自主靠泊过程中的无人船与泊位的相对位置与姿态信息，具体实现流程如图4所示。

图4 系统实现流程

深度相机采集到目标点的图片，通过识别定位算法获得目标点在深度相机坐标系下的位置，受相机测量属性的限制，此信息为目标点的粗略位置。根据相机获得的目标点的粗略信息，激光雷达在旋转云台的带动下快速定位到目标点，测出目标点的精确位置。激光测距系统中测量出的位置信息再传递给立体视觉系统，修正由于相机自身限制引起的目标点测量精度差的问题，在无人船自主靠泊过程中循环此测量过程，实现对无人船的船首、船尾距离岸边泊位相对位置的连续与精确测量。

2.1 岸边系泊机械装置识别定位

深度相机获得彩色图像信息和深度图像信息，识别和定位到岸边系泊机械装置。具体实现步骤是：首先，深度相机同时拍摄获取彩色图像和深度图像并保存；其次，彩色图像经过深度学习YOLOv4框架[7]，识别出岸边系泊机械装置位置并定位到像素位置；最后，深度图像与彩色图像进行配准对齐，获取彩色图像对应于深度图像像素位置处的深度信息，即岸边系泊机械装置在相机坐标系下的坐标。

其中，深度相机的深度图像和彩色图像融合过程[8]为：P为空间一点，Ki为相机深度图像内参，Kr为相机彩色图像内参，Ri、Ti为相机深度图像旋转矩阵和平移矩阵，Rr、Tr为相机彩色图像旋转矩阵和平移矩阵，[ui，vi]T为相机深度图像像素平面一点Pi的像素坐标，[ur，vr]T为相机彩色图像像素平面一点Pi的像素坐标。

深度相机使用前进行标定，标定完成后固定旋转矩阵和平移矩阵，实现彩色图像与深度图像的像素对齐，深度相机通过彩色图像识别与定位到目标点后，通过像素对齐即可获得目标点的深度信息。

2.2 视觉与雷达融合定位

根据图5建立4个坐标系：船首相机坐标系、船尾相机坐标系、激光测距系统工作坐标系和激光测距系统初始坐标系。

图5 系统坐标系示意图

1）立体视觉系统中船首相机的坐标系OhXhYhZh，以船首相机的光心作为坐标原点Oh，船首相机的光心指向船尾相机的光心连线方向为Xh轴正方向，垂直于2个相机中心连线方向向上为Yh轴正方向，Zh轴方向采用右手定则确定。目标点A在OhXhYhZh坐标系中坐标为（XhA，YhA，ZhA）。

2）立体视觉系统中船尾相机的坐标系OtXtYtZt，以船尾相机的光心作为坐标原点Ot，船首相机的光心指向船尾相机的光心连线方向为Xt轴正方向，垂直于2个相机中心连线方向向上为Yt轴正方向，Zt轴方向采用右手定则确定。目标点B在OtXtYtZt坐标系中坐标为（XtB，YtB，ZtB）。

3）激光测距系统工作坐标系OLXLYLZL，以激光雷达的发射中心点为原点，激光发射方向为ZL轴方向，YL轴为垂直于发射平面竖直向上方向，XL轴方向采用右手定则确定。激光测距系统初始坐标系以旋转平台无工作状态下，激光雷达的发射中心点为原点，激光发射方向为ZL1轴方向，Xh的平行方向为轴方向，YL1轴方向采用右手定则确定。目标点A在OLXLYLZL坐标系中坐标为（XLA，YLA，ZLA），目标点B在OLXLYLZL坐标系中坐标为（XLB，YLB，ZLB）。目标点A在坐标系中坐标为（XLA1，YLA1，目标点B在坐标系中坐标为

无人船靠泊环境感知系统获取无人船与码头之间相对位置信息的具体工作过程为：

1）标定立体视觉测量系统与激光测距系统，R为旋转矩阵、T为平移矩阵，得到立体视觉系统坐标系OhXhYhZh到激光测距系统初始坐标系的变换为

（r1，r4，r7）、（r2，r5，r8）、（r3，r6，r9）分别表示xL1、yL1、zL1坐标轴在坐标系中的单位方向矢量分量。式（4）可实现目标点A、目标点B的坐标信息在立体视觉坐标系和激光测距系统坐标系间的相互转换。

2）无人船驶入靠泊区域开始靠泊操作，本设计方案启动，安装在船首和船尾的相机分别对2目标点进行测距，测量出目标点A在船首坐标系OhXhYhZh中坐标为（XhA，YhA，ZhA），目标点B在船尾坐标系OtXtYtZt中坐标为（XtB，YtB，ZtB）。

3）根据目标点A在船首坐标系坐标可计算出OhA和OhOL的夹角θ1和OLA。

联立式（5）～式（7）求出OLA和OhOL的夹角φA，即测量目标点A时激光雷达旋转角度；根据目标点B在船尾坐标系坐标可计算出OtB和OtOL的夹角θ2和XLB。

联立式（8）～式（10）求出OLB和OtOL的夹角180°-φB、φB即为测量目标点B时激光雷达旋转角度。

4）由式（4）得到激光测距系统初始坐标系下目标点A、目标点B的坐标信息，据此计算旋转云台的转角α为

船载PC控制调整旋转云台转动α角度，激光雷达对准目标点进行扫描，得到精确的相对距离信息dLA、dLB。

5）依据相对精确的相对距离信息计算相机需要跟踪的目标点A、目标点B的位置信息，修正立体视觉系统相机光轴测量误差大的问题。重复以上步骤，在无人船靠泊过程中连续测量无人船船首与船尾距离岸边泊位的距离。

3 实验与分析

3.1 实验环境

为验证设计的算法是否满足无人船在靠泊过程中环境感知系统的精度需求，搭建本文设计的环境感知系统平台进行了实验测试，2个相机固定放置且相隔1.5 m来模拟船首相机与船尾相机，激光雷达放置在2相机连线之间并距船首相机0.15 m处。木杆的两端固定2个箱体贴上目标标志物，模拟泊位岸线，移动木杆慢慢靠近环境感知系统来代替无人船缓慢向泊位靠近的状态。

激光传感器使用TOF激光雷达（RPLIDAR A2），其水平扫描范围为0°～360°，水平扫描采样间隔为0.25°。激光雷达安装在旋转云台上，实现扫描平面的变化，扫描面俯仰运动范围为-30°～30°，俯仰采样间隔0.3°。立体相机采用Realsense D435i，可以30帧/s的速度实现分辨率为1 280×720、深度距离在0.1～10 m之间、视场角度为85°×58°。

首先将目标物放在测量系统前方20 m处，慢慢移动目标物使其靠近感知系统。实验过程中保持立体视觉系统和激光测距系统的位置固定不动，控制目标从20 m逐渐移动到0.2 m，连续跟踪目标并采集多组数据进行实验。实验条件具体设计为：1）相机帧频50 Hz，2相机间基线距离为1.5 m；2）激光测距的出射点处在视觉传感器所在的坐标系的坐标值为（0，0.15，0），单位为m；3）激光测距系统的工作距离0.05～15 m；4）目标物的尺寸为0.2 m×0.2 m。

3.2 实验结果

无人船自主靠泊过程中最重要的是无人船相对于泊位的位置信息，为避免无人船与泊位线相撞，测量系统中近距离测量面对的挑战更大。因此，在目标物缓慢移动靠近测量系统的过程中，本次实验分别选取了目标物距离测量系统0.9 m、1.5 m、2 m时的状态，反复测量了140次目标点进行了记录，实验数据结果如图6～图8所示。其中，红色的离散点是视觉测量的距离值，连续的蓝色点是通过激光与视觉融合后的距离值。

图6 目标物与测量系统间距离为0.9 m处测量数据

图7 目标物与测量系统间距离为1.5 m处测量数据

图8 目标物与测量系统间距离为2 m处测量数据

视觉系统在不同测量距离时，测量结果偏离真实值范围和最大相对误差统计如表1所示，随着视觉测量系统距离目标点越来越远，测量值偏离真实值越大。当测量距离为0.9 m时，最大相对误差为0.44%；当测量距离为1.5 m时，最大相对误差为23.33%；当测量距离为2 m时，最大相对误差达到39%。这是由于相机受自身特点的限制[9]，距离越远，测量误差越大。

表1 视觉测量结果统计表

由图6可以看出视觉系统测量结果与真实值相差较小，且视觉测量结果比融合后测量结果更好。这是由于在近距离测量时，视觉系统测量精度较高，融合激光雷达测量数据之后反而效果差。本方案在整个实验过程中，测量结果偏移真实值的范围始终控制在10 mm以内。

本文设计的环境感知系统用于无人船自主靠泊过程，可实时获取无人船靠近时船首和船尾分别距岸边泊位的距离，满足在整个无人船靠泊过程中系统测量误差控制在10 mm的范围内，为无人船靠泊工程提供技术保证。

4 结语

本文设计了基于立体视觉与激光雷达的测量系统，提出传感器数据融合算法，用于无人船自主靠泊过程中无人船距离岸边泊位精确位置测量。先依据相机识别与定位到船首、船尾与岸边系泊机械装置，再将相机得到的信息转换后传递给激光测距系统中，由激光雷达测量出精确的距离信息，最后激光雷达得到的信息传递给相机重新修正相机测量值，用于更精准的跟踪岸边系泊机械装置实现无人船靠泊过程中对环境信息的连续测量。本方法融合了视觉与激光的数据、结合了二者的优势，有效提高了测量精度与测量的实时性，为无人船的自主化、智能化提供了一种可行的技术思路。为保证整个感知系统的稳定性，后面可考虑提高融合算法精度实现动态测量的连续性。