船舶增强现实导航系统中计算机视觉技术的应用

吴蔷薇，曲 蕾

(1. 山东青年政治学院，山东 济南 250001；2. 中国船舶集团有限公司第七一四研究所，北京 100101)

0 引 言

目前传统的导航技术主要有全球定位系统GPS（Global Positioning System）、船舶自动识别系统AIS（Automatic Identification System）、电子海图显示与信息系统ECDIS（Electronic Chart Display and Information System）、船载航行数据记录仪VDR（Voyage Data Recorder）等。

传统的导航系统及助航设备相对独立，船舶驾驶员需要对多台设备的信息进行综合分析，实时监守在屏幕前，无法实现智能化航行[1]。同时，船舶安装导航系统及相关设备是有一定要求的，如国际海事组织对AIS 系统的强制安装要求是船体300 t 以上，在近海航行中的一些小型船舶不满足强制安装的要求。本文以近海航行为例，提出一种基于增强现实的船舶导航系统，分析船舶航行中距离测量对目标处理及检测的方法。

1 关键技术分析

1.1 增强现实技术

增强现实（Augmented Reality，AR）是一种将计算机实时捕捉、生成的虚拟信息（包括图像、声音、文本信息、实时场景、三维模型等）嵌入到真实世界中，实现虚拟景象和真实环境的良好融合，从而实现对现实增强的新型技术[2]。

AR 技术能够实现虚拟世界和真实环境的信息集成，能够完整、真实地保存真实环境信息，并几乎可以实时对采集的信息进行处理、增强，具有实时交互性。由于AR 比较突出的特点，这项技术在工业、医疗、交通、消防等领域具有良好的应用前景。

增强现实系统主要组成部分如图1 所示。AR 技术主要由获取单元、辨别处理单元、虚实嵌入单元、显示单元4 个部分组成。

图1 AR 技术的主要组成单元示意图Fig. 1 Schematic diagram of the components of AR

获取单元用于信息的采集，包括图像、声音、视频等；辨别处理单元是识别、提取采集得到的信息，并将其和航行所需的有效信息进行三维模型对比；虚实嵌入单元是将虚拟的三维模型准确地添加在采集到的信息中，实现虚拟和现实的叠加；显示单元将经过提取、检测、处理后的信息直接呈现给船舶驾驶员。

增强现实技术的实现依赖于显示技术，目前常见的显示系统包括基于光学的透视式显示系统、基于视频的透视式显示系统、投影式显示以及虚拟视网膜显示。

1.2 计算机视觉技术

计算机视觉（Computer Vision）技术的出现，使得机器能够学习人或其他生物的行为，利用计算机及其他相关设备模拟、仿真生物的视觉系统，通过对图像、视频等信息进行处理，提取相应的有效信息，从而实现辨别方向、姿态调整、躲避障碍物等功能。

计算机视觉技术是典型的交叉学科产物，综合了生物工程、计算机等多个学科，图像处理、模式识别是其中的核心技术。随着计算机深度学习的发展，计算机视觉技术在一定程度上已经达到了质的飞跃，是实现船舶航行自动化、智能化的必要手段之一[3]。

图像处理、机器视觉技术的快速发展是计算机视觉技术出现的前提和基础。然而，计算机视觉又不同于前两者，图像处理主要是根据图像的大小、颜色、形状对图像进行处理。机器视觉是利用机器代替人眼或其他生物的视觉系统进行目标的捕捉、测量及分析。一般情况下，计算机视觉不仅包括了图像处理这个步骤，同时又增加了模式识别这一过程。

不同于机器视觉，计算机视觉更注重对环境的识别和感受，主要研究任务可以分为4 类：分类、检测、分割、跟踪。图像分类是指对图片进行整体划分，将不同的图像划分到不同的类别，是计算机视觉中最基础的一项任务。

目标检测重点关注图片中的指定目标，检测内容包括确定待测目标所属类别和出现概率以及确定目标的具体位置信息（包括时间信息和空间信息）。

计算机视觉的核心任务也是关键技术之一就是图像语义分割，具体是指将整个目标图像划分成各不相同的像素组，然后对每一个像素组分别进行标定和分组。简单来说，就是输入一张RGB 图像（height*width*3）或是灰度图（height*width*1），输出的分割图中的每一个像素都包含类别标签（height*width*1）。

分割是在像素级别对图像进行分割，划分出像素来自于哪些不同的物体，和目标检测相比，分割更细致、更准确。以分割为基础，在进行AR 虚实交互时，真实环境与虚拟世界能够准确地进行交互。

目标跟踪是指在某个或某几个场景中追踪某一个或多个指定的目标，广泛应用于无人驾驶和视频监控领域。计算机视觉的应用领域非常广泛，目前在医疗、智能驾驶、公共安全等领域的应用已经具有一定规模。在智能驾驶应用方面，计算机视觉技术综合多种传感器的输出信息，对获取的视觉信息进行划分、定位、检测，能够最大程度地辅助智能驾驶平台实现规划路径、预测障碍物、控制方向等功能。因而使用计算机视觉以及目标跟踪技术可以很好地帮助船舶实现虚拟导航。

对于船舶航行，安全性最重要。海上航行，航道宽、船舶密度小，但天气多变，容易遇到恶劣天气，如台风等。同时，海上水文环境复杂，如漩涡、礁石等。此外海洋生物对船舶也会造成危险。而相对于海上远洋航行来说，近海航行的航道窄、船舶密度大，建筑物对信号的影响，也同样存在着很大的危险性。所以，对导航系统的信息采集和处理以及实时性提出了更高的要求。

2 增强现实船舶导航系统

2.1 系统整体设计

国际海事组织指出在未来的船舶航行中不仅要增强船舶航行能力，提高海上安全，还需要保护海洋环境，这就要求未来的船舶航行要能够实现智能化、信息化、安全化[1]。AR 技术应用在船舶导航系统中，能够将原来需要由驾驶员分析和处理的大量信息交由AR 进行分析、整合和处理，从而实现船舶航行的智能化、信息化、安全化。图2 为基于增强现实的船舶导航系统示意图。

图2 基于增强现实的船舶导航系统示意图Fig. 2 Diagram of ship navigation system based on augmented reality

摄像头实时捕捉航向中的静态物体、动态物体以及船舶在航行中的运动信息（姿态、位置等），并对目标进行跟踪定位，同时将物体的信息传送至计算机。根据相关物体信息，计算机完成对物体的三维建模生成虚拟物体并和真实环境实现拼接，驾驶员可以通过显示屏中虚实融合的场景实时观察航路中的情况。

计算机生成的虚拟物体可以直接使用图形函数生成，也可以利用软件进行建模后导出，虚拟物体的三维建模坐标系如图3 所示。在增强船舶导航系统中，由于航行的特殊性，不仅要建立静态物体的三维模型，如桥梁、港口等，还需要关注运动物体的建立，比如浮标、其他船舶等。

图3 虚拟物体三维建模原理图Fig. 3 Virtual object 3D modeling schematic diagram

对目标进行跟踪定位不仅要捕捉航行中的各种物体，还要实时记录船舶的航向和位置等，配合虚拟物体三维建模，保证虚拟世界和真实世界的连续性，实现精确的虚拟融合。目标跟踪的过程中，不仅是对一个目标的跟踪，在大多数情况下，是对多个目标进行跟踪。目前最常用的目标跟踪方法是判别类模型方法[3]，这种方法是对背景和目标进行区分，可以更好地捕捉重点目标，是安全航行的基础。

2.2 航行中的距离测量

近海航行中，传统的导航不具备规划和预警功能，几乎是凭借着驾驶员的经验完成航行，但由于航道比较复杂，加上建筑物的影响，导致无法提前规避，使得航行中经常出现碰撞事故，测距功能就显得尤为重要。

计算机视觉测量系统是利用图像采集设备（摄像头）获取图片信息，选择合适的图像检测方法，提取特征目标，根据图像测距原理，完成距离的计算，并将测量结果反馈给控制系统，作出提前规划和预警，避免事故的发生[4]。

摄像头的测距功能是根据凸透镜成像原理实现的，假设透镜的焦距为f，u为捕捉到的物体到透镜光心的距离，即物距，v为物体在摄像头上成像后与光心的具体，即像距，根据透镜成像原理可得：

将式（1）进行变换可得目标距离公式：

2.3 船舶目标的图像处理

图像采集模块的输出信息中包含大量噪声，在对目标进行检测前，需要对采集得到的图像信息进行处理，在一定程度降低噪声对图像质量的影响，提高精度，常用的处理方法有灰度处理、滤波。

灰度处理可以提高对目标的提取精度和整个处理系统的工作效率，常用的是最大值法、平均值法和加权平均值法。滤波可以有效地提取目标对象的特征，采用合理的滤波算法不仅可以最大程度地降低噪声，同时还能最大限度地保留目标对象的特征。按照去噪算法可以分为空域去噪和变换域去噪，空域去噪中经典的方法包括均值滤波、中值滤波，变换域去噪常用的是小波变换去噪法[5]。

均值滤波是利用取均值的方法代替原图中的像素值，即选择一个大小为M的模板，这个模板是由其邻近的若干像素组成，求出模板中所有像素的均值，填充到输出的图像中，原理如下：

其中：g(s,t) 为原始图像；f(x,y)为滤波处理后的图像；M为大小为m×n的 滤波器窗口；Sxy为中心点在(x,y)处。

中值滤波的原理是把数字图像中某一点的像素值用这个点的一个邻域中所有点像素值的中值代替，使得其周围的值接近真实值，实现消除噪声的功能。

其中：g(x,y) 为处理后的图像；W为二维模板，通常为 2 ×2， 3 ×3的 区域； (k,l)为目标像素点周围的像素点。

根据不同频带上的噪声和信号具有的小波分解系数不同，根据这一原理将各个频带上不同的噪声对应的小波系数去除，同时原始信号的小波分解系数被保留下来，再对处理后的系数进行重新构建，获得处理后的信号。

2.4 测试结果

传统导航技术依赖AIS 技术和全球卫星导航技术，卫星导航技术可以帮助船舶实现精确定位，AIS 技术可以帮助识别其他船舶或者动态目标。但在船舶操作过程中对航道方向的把握或者孤立的危险目标避让，经常需要让工作人员来对相关信息进行辨别。特别是随着船舶不断增大，很多时候观察视野相对受限，因而使用增强现实技术可以有效帮助识别航道以及危险物。

以近海真实船舶航行为例，搭载并使用增强现实导航系统的测试结果如图4 所示。图中虚线内为船舶航行的航道，虚线外为近海两侧建筑，多为静态物体，中间实线表示预定航向。而在真实航行中，虚线其实并不存在，但是通过增强现实技术可以将航道的边线标识出来，让船员更好实现安全航行。与此同时增强现实技术还可以将岸边以及航道上出现的其他船舶进行增强显示，这样配合AIS 技术可以更好地让船员注意视野盲区内的其他船舶。

图4 增强现实导航系统测试图Fig. 4 Enhanced display of navigation system test diagrams

从测试结果可以看出，整个导航系统可以实时测出航向、航速和航道偏差＞同时，航道附近以及航行方向中的物体均能被准确地识别并添加在导航图中，可以实现提前预警以及路径规划的目的，大大降低了航行风险，同时也可以减轻驾驶员的负担。

3 结 语

结合增强现实和计算机视觉技术的船舶导航系统能够实现虚实融合，可以更好地为船舶航行提供服务。为了应对更复杂的航行环境，以及实现船舶航行的安全化、智能化，后续还需要在信息高效处理方面进行研究。