基于单目视觉的水面浮标位置检测

冯居　王建华　郑翔　王昱博　姜洪岩　王柱亚

摘要：为提高无人水面艇（unmanned surface vessel， USV）在航行过程中对水面浮标位置检测的准确度，提出一种应用于USV的基于单目视觉的水面浮标位置检测方法。该方法通过建立浮标与USV之间的三维场景模型，依据相机成像原理得到浮标投影图像并计算投影面积；利用获取的面积和距离数据，建立面积与距离的关系模型进行距离估计；根据浮标与USV的位置关系估计浮标相对于USV的方位角；根据所估计的距离和方位角计算浮标的位置。通过仿真实验分析浮标旋转角度和观测方位对测距精度的影响，通过实船实验验证方法的可行性。由实验结果可知，在50 m距离内位置检测的平均相对误差小于3.0%，表明本研究所提出的基于单目视觉的水面浮标位置检测方法具有一定的实用性。

关键词：无人水面艇（USV）； 浮标； 单目视觉； 距离检测； 方位检测

中图分类号：  U666.11; TP18; TP391.9文献标志码：  A

Surface buoy position detection based on monocular vision

FENG Ju， WANG Jianhua， ZHENG Xiang， WANG Yubo，

JIANG Hongyan， WANG Zhuya

（Institute of Logistics Science & Engineering， Shanghai Maritime University， Shanghai 201306， China）

Abstract： In order to improve the accuracy of surface buoy position detection for unmanned surface vessels （USVs） during navigation， a method of surface buoy position detection based on monocular vision is proposed for USVs. The 3D scene model between a buoy and a USV is built， and based on the principles of camera imaging， the projected image of the buoy is obtained and the projected area is calculated. Using the obtained area and distance data， the relationship model between the area and the distance is established for distance estimation. The azimuth angle of the buoy relative to the USV is estimated according to the position relationship of the buoy to the USV. The position of the buoy is calculated according to the estimated distance and azimuth. The influence of the buoy rotation angle and the observation azimuth on the ranging accuracy is analyzed by simulation experiments. The feasibility of the method is verified by real ship experiments. As is shown from experimental results， the average relative error of position detection is less than 3.0% within 50 m distance， indicating that the monocular vision-based surface buoy position detection method proposed in the paper is practical.

Key words： unmanned surface vessel （USV）; buoy; monocular vision; distance detection; azimuth detection

0 引 言

为深入贯彻落实党中央、国务院关于建设制造强国、海洋强国、交通强国的战略部署，提升船舶工业核心竞争力，实现我国船舶工业高质量发展，工业和信息化部联合交通运输部、国防科工局編制印发了《智能船舶发展行动计划（2019—2021年）》，提出突破航行态势智能感知、自动靠离泊等核心技术等重要任务。为了完成这类任务，以无人水面艇（unmanned surface vessel， USV）为研究对象，致力于提高USV智能化水平，实现智能船舶关键技术的突破是十分有必要的［1-2］。

近年来，随着计算机视觉技术的不断发展，利用视觉技术和图像处理技术进行USV相关智能化应用的研究越来越受到人们的关注。在2020年“海上争锋”中国智能船艇挑战赛D组项目中，要求USV发现相应颜色的浮标并抵达，并上报浮标定位信息。浮标作为水上标志物，对船舶航行具有引导作用，但在一定程度上也是一种障碍，因此对水面浮标的检测与定位是保障USV正常航行的一项重要任务。浮标本身并无全球定位系统（global position system，GPS），虽然可以利用定位精度高的激光雷达等智能传感器获取浮标的定位信息，但难以获得浮标的特征信息，而利用视觉技术获取浮标的位置信息不仅成本低而且有效。因此，本研究将视觉技术进行实际应用，对浮标进行距离和方位检测，获得浮标的位置信息。

目前，基于视觉的距离检测方法主要分为单目测距和双目立体测距。双目立体测距可以直接获取深度信息，定位精度高，但是这种方法要对双目视觉传感器进行复杂的立体标定，易产生误差，并且两个相机同步采集的图像匹配率低（图像之间存在微小误差）以及双目相机外部参数变化都会导致测距精度降低。而单目测距可以有效避免这两个问题，且这种方法只采用一个相机，能在一定程度上获得图像中目标的深度信息等，具有结构简单、运算速度快等优点［3］。因此，本文选择单目测距方法。

针对单目测距问题，目前已有的一些研究工作主要分为3类。第一类是根据相机模型建立的几何关系推导出距离检测模型。利用相机模型中观测点与目标之间的几何位置关系，推导图像坐标系中的点与世界坐标系中的点的对应关系，建立测距几何模型，实现距离检测。文献［3-8］均是利用相机内部参数和透视投影几何原理，通过建立目标关键点与坐标系之间的几何关系，测量与目标的距离的。ZHE等［9］和HUANG等［10］通过目标在相机坐标系内的几何关系推出距离与目标面积的数学模型来获得距离，这种方法需要精确测量相机的高度和俯仰角，否则会影响测距精度。第二类是基于对照物长度，利用图像中已知物体的实际长度与图像中物体的长度建立比例关系，再通过相似三角形原理估计实际距离。苏萍等［11］提出一种基于物体宽度的距离估计算法，利用已知的物体宽度，根据相似三角形原理计算距离。然而，这种方法需要找到对照物，获得对照物的实际宽度，并且对检测环境要求较高。第三类是利用数学回归方法建立测距模型。WONGSAREE等［12］利用不同标准距离与它们在图像中的位置对应关系建立回归模型并测量距离。BAO等［13］通过观察目标像素点在不同距离下的变化关系建立数学回归模型获得距离。然而，这种方法需要大量的训练数据，并对数据进行分析，建立回归模型，增加了距离估计的复杂度，降低了测量效率。

上述3类研究中，大部分方法都是将目标点化，以关键点替代目标，通过相机成像原理建立测距模型的。实际上，目标会随距离、方位等的变化在图像中发生一些变化，其中目标的面积变化是最明显的。因此，本文结合上述第一类和第三类研究中的测距方法，对水面浮标的位置检测进行场景重建，建立面积与距离的关系模型以及浮标与USV之间的位置关系模型，获得浮标的位置信息。

1 三维场景建模

在单目测距方法中，通常建立二维模型进行场景重建，往往忽略了目标本身的三维立体几何属性和姿态。而常见的水面浮标有显著的外在几何属性，比如球体、四面体、六面体等，因此可利用浮标本身的几何属性对其进行检测。

本文基于三维模型的优势，利用浮标本身的几何属性，建立对水面四面体浮标测距的三维场景，见图1。图1中：

O为USV的重心G，也为相机所在位置，即USV观测点；点Q为浮标P-ABC的底面中心点；浮标

为棱长为1 m的三棱锥体；USV航向始终沿着世界坐标系YW轴的方向，即相机光轴与YW轴保持平行，为图中箭头所指方向。模拟USV驶向浮标的过程，记录这个过程中浮标的成像面积，建立面积与距离的关系模型，估计浮标与USV之间的纵向距离，即浮标与USV在世界坐标系中的纵坐标差值。仿真时保证航行过程中相机获取的浮标图像均在视距范围内。

根据构建的三维场景，利用相机成像原理，建立浮标的投影几何模型（见图2），求取浮标在像素平面上的投影面积。通过仿真实验得到面积和距离数据，建立面积与距离的关系模型，从而根据模型估计浮标相对于USV观测点的距离和方位。

利用小孔成像模型将三维坐标转换为二维坐标。为得到所采集的图像的像素信息，需要

经过3次坐标转换。首先将世界坐标系中的点（XW，YW，ZW）转换为相机坐标系中的点（XC，YC，ZC），然后通过透视投影转换为二维图像平面上的点（x，y），最后將点（x，y）转换为像素坐标系中的点（u，v）［9］。根据上述转换关系，完成浮标的透视投影模型的建立。图2a为小孔成像模型示意图，其中在成像平面I上进行如图2b所示的图像平面到像素平面的转换。

由图4a可知，在同一观测方位、不同浮标旋转角度下获得的面积与距离的关系曲线存在一定的差异，因此浮标旋转角度对测距有一定的影响。同样，在图4b中，在同一浮标旋转角度、不同观测方位下获得的面积与距离的关系曲线也不能完全重合，因此观测方位对测距也具有一定的影响，但是影响较小（这是因为本文所研究的浮标结构接近三维对称结构）。为进一步验证这一点，下文对浮标旋转角度和观测方位对测量精度的影响进行具体分析。由视觉成像原理可知，浮标旋转角度和观测方位改变对视觉成像效果的影响本质上是一样的。例如，USV的方位角从0°增加到+60°等同于浮标顺时针旋转60°的视觉成像效果（方位角为负值（正值）表示浮标位于相机光轴的左侧（右侧）），因此可以推断出同时改变浮标旋转角度和观测方位对测量误差的影响也是有限的。

3 方位检测

在浮标位置检测中，不仅要检测浮标与USV观测点之间的距离，而且要检测浮标相对于USV观测点的方位角，即浮标底面中心点与USV观测点的连线与相机坐标平

面YCOCZC的夹角θ。建立浮标与USV的位置关系，如图5所示：XOY为船体坐标系；坐标系原点O为USV的重心G，也是USV的观测点；X轴指向船首方向，Y轴指向右舷方向；三棱锥体P-ABC的底面中心点为Q。

假设船体坐标系与相机坐标系重合，根据小孔成像模型可知，图5中OD为相机光轴，在图像坐标中，方位角θ根据浮标图像的底边中点横坐标x与相机主点横坐标x0的差值与相机焦距的比值计算得出：

θ=arctan（（x－x0）/f）（11）

根据式（3）中图像坐标与像素坐标的关系，θ在像素坐标系中可以表示为

θ=arctan（（u－u0）/fx）（12）

式中：u和u0分别表示浮标图像的底边中点和相机主点在像素坐标系中的横坐标。

4 仿真实验验证

为验证本文距离检测模型的正确性，将本文的距离检测线性模型和文献［5］中的距离检测几何模型的距离检测结果与实际值进行对比。文献［5］中提出一种基于相机几何投影关系的距离检测方法，选取任意点代替浮标，建立相机与目标关键点之间的几何关系模型计算距离。本研究使用焦距为8 mm的相机进行仿真实验，在USV驶向浮标过程中生成不同距离下的面积数据，选择距离分别为10 m、30 m、50 m对应的浮标面积，将其代入式（10）计算距离。为验证本文距离检测方法的抗干扰性能，在浮标图像中随机加入（0， 1）的误差。计算上述模型检测值的相对误差，结果见表1。

从表1可以看出：利用本文的距离检测线性模型计算出的距离值平均相对误差为2.26%，利用文献［5］中距离检测几何模型计算出的距离值的平均相对误差为2.97%，验证了本文方法的正确性；相较于文献［5］的基于目标关键点建立的距离检测几何模型，本文提出的面积与距离的关系模型具有一定的优势。

4.1 浮标旋转角度对测距的影响

设置USV从同一方位出发，分别停在距离浮标底面中心点10 m、30 m、50 m的位置，把浮标从0°旋转到180°，采集不同浮标旋转角度下的图像（等同于USV从不同角度采集图像），计算面积相对误差，结果见图6。从图6可以看出，由于浮标结构接近于三维对称结构，在旋转过程中面积和面积相对误差均呈周期性变化，且3种距离下面积相对误差都保持在0～10%范围内，对测距结果影响较小，因此USV从各个角度采集图像计算距离时均可参考同一角度的关系曲线。

4.2 观测方位对测距的影响

设置浮标旋转角度相同，浮标与USV之间的距离分别为10 m、30 m、50 m，USV航向保持不变， USV从图1中位置1横向航行至位置3，比较在不同观测方位下浮标面积的变化，结果见图7。从图7可以看出，在观测方位变化过程中，面积的变化范围较小，相对误差保持在0～10%范围内，并且浮标与USV之间的距离越远，观测方位变化对面积变化的影响越小，因此在实际测量中可参考同一观测方位的关系曲线。

5 实船实验验证

实验数据通过搭载在“海翔”号USV上的工业相机采集，见图8a。工业相机焦距为8 mm，分辨率为1 920×1 080，分别采集与USV不同距离的浮标图像，实验场景见图8b。通过对采集的浮标图像进行处理，并利用上述位置检测方法获取浮标位置信息，验证方法的可行性。

实船实验时，USV分别采集了晴天下午2：00和下午5：00同一位置的浮标图像，见图9a和9c。处理两组数据的主要挑战在于，水面环境复杂、光照不断变化、USV和浮标受风浪流影响较大，这些都会增加对水面浮标的检测难度。为更好地提取出浮标图像，本文将颜色作为重要特征对浮标进行检测与提取［15］，并且将浮标图像转换到颜色特征更加明显的HSV颜色空间中，再对其进行后续处理，具体流程如下：

首先，将采集到的浮标图像转换到HSV颜色空间中，对HSV空间图像的3个分量进行阈值分割；然后，将分割后的图像作二值化处理，并采用以3×3 为内核的中值滤波器进行滤波，去除背景噪声，使用形态学运算消除干扰；最后，提取图像中的浮标轮廓信息，并过滤掉小区域和大区域，剩下浮标区域，提取效果见图9b和9d。浮标投影实际面积为3 080像素，从下午2：00和下午5：00的图像中提取出的浮标投影面积分别为3 398像素和3 140像素。由结果可知，光照越强，曝光越厉害，提取效果受到的影响也越大，因此当光照较强时，需要改进提取算法，降低曝光对检测的影响。

5.1 距离检测

为验证本文距离检测模型的有效性，采用图8所示的实验平台进行实船实验。实验描述如下：固定浮标位置并获取其GPS信息，根据USV实时GPS信息判斷其与浮标的距离；USV以1 m/s的速度匀速从距离浮标50 m的位置航行至距离浮标10 m的位置，此过程中USV航向不变，始终正对浮标，即浮标始终在USV光轴上，浮标相对于USV

的方位角保持为0°。将本文方法、文献［5］方法获得的距离数据与基于GPS获得的距离数据进行对比，结果见图10。从图10可以看出，由本文方法得到的实时距离曲线比文献［5］方法得到的实时距离曲线更加贴合基于GPS获得的距离曲线，并且从图中关键点的标注可以看到，本文距离检测方法略有延迟，但平均每帧图像处理时间约为26 ms，满足实时性需求，验证了本文距离检测模型的可行性。

5.2 方位检测

为验证本文方位检测方法的有效性，通过图8所示的实验平台进行实船实验。实验描述如下：固定浮标位置并获取其GPS信息；设定浮标与USV之间的纵向距离为30 m，根据USV的GPS信息计算其与浮标之间的方位角；USV从其与浮标之间的方位角为 －15°横向移动至+15°的位置。通过上述方位检测方法获得此过程中方位角的实时变化曲线，并与GPS检测到的方位角曲线进行对比，结果见图11。

从图11可以看出，2条曲线贴合度高，本文方位检测方法每帧图像处理时间约为6 ms，满足方位角检测的实时性要求，验证了方位检测方法的可行性。

6 结 论

本文提出一种应用于USV的基于单目视觉的水面浮标位置检测方法。该方法考虑到水面浮标本身无定位系统因而无法直接获取其位置信息，吸取2020年“海上争锋”中国智能船艇挑战赛D组浮标位置检测项目的实战经验，选用视觉检测的方式，建立浮标与USV之间的三维场景模型。根据相机成像原理，结合线性关系和几何关系，建立浮标投影面积与距离的关系模型，得到浮标相对于USV观测点的方位角和距离，从而推断浮标的位置。仿真和实船实验结果表明，本文所提方法能够较准确地获取浮标的位置信息，基本满足其精度和实时性要求。由于本研究中对水面浮标进行位置检测时受到外界干扰，如水面倒影、波浪等的干扰，检测精度受到一定的限制，在后续研究中将继续改进浮标的位置检测算法，提高检测精度。

参考文献：

［1］LIU Z X， ZHANG Y M， YU X， et al. Unmanned surface vehicles： an overview of developments and challenges［J］. Annual Reviews in Control， 2016， 41： 71-93. DOI： 10.1016/j.arcontrol.2016.04.018.

［2］蒲進菁， 刘涵， 江云华， 等. 无人船现状及发展趋势综述［J］. 海洋信息， 2020， 35（1）： 6-11.

［3］赵明绘， 王建华， 郑翔， 等. 基于单目视觉的无人水面艇水面目标测距方法［J］. 传感器与微系统， 2021， 40（2）： 47-50. DOI： 10.13873/J.1000-9787（2021）02-0047-04.

［4］ALI A A， HUSSEIN H A. Distance estimation and vehicle position detection based on monocular camera［C］∥2016 Al-Sadeq International Conference on Multidisciplinary in IT and Communication Science and Applications （AIC-MITCSA）. IEEE， 2016： 1-4. DOI： 10.1109/AIC-MITCSA.2016.7759904.

［5］宋东谕， 韩军. 基于单目视觉的前方车辆检测与测距方法［J］. 自动化与仪表， 2019， 34（10）： 57-61. DOI： 10.19557/j.cnki.1001-9944.2019.10.013.

［6］王永森， 刘宏哲. 基于单目视觉的车辆下边沿估计和逆透视变换的车距测量［J］. 计算机工程与科学， 2020， 42（7）： 1234-1243.

［7］屈姗姗， 陈潇， 吴晓红， 等. 基于单目视觉测距的测高测面积方法［J］. 科学技术与工程， 2016， 16（2）： 224-228.

［8］LIU L C， FANG C Y， CHEN S W. A novel distance estimation method leading a forward collision avoidance assist system for vehicles on highways［J］. IEEE Transactions on Intelligent Transportation Systems， 2017， 18（4）： 937-949. DOI： 10.1109/TITS.2016.2597299.

［9］ZHE T， HUANG L Q， WU Q， et al. Inter-vehicle distance estimation method based on monocular vision using 3D detection［J］. IEEE Transactions on Vehicular Technology， 2020， 69（5）： 4907-4919. DOI： 10.1109/TVT.2020.2977623.

［10］HUANG L Q， ZHE T， WU J Y， et al. Robust inter-vehicle distance estimation method based on monocular vision［J］. IEEE Access， 2019， 7： 46059-46070. DOI： 10.1109/ACCESS.2019.2907984.

［11］苏萍， 朱晓辉. 基于单目视觉的水面目标识别与测距方法研究［J］. 计算机技术与发展， 2021， 31（2）： 80-84.

［12］WONGSAREE P， SINCHAI S， WARDKEIN P， et al. Distance detection technique using enhancing inverse perspective mapping［C］∥2018 3rd International Conference on Computer and Communication Systems （ICCCS）. IEEE， 2018： 217-221. DOI： 10.1109/CCOMS.2018.8463318.

［13］BAO D S， WANG P K. Vehicle distance detection based on monocular vision［C］∥IEEE International Conference on Progress in Informatics and Computing （PIC）. IEEE， 2016： 187-191. DOI： 10.1109/PIC.2016.7949492.

［14］WANG J H， LI Z Y， REN F X， et al. Calibration of vision system used on unmanned surface vehicle［C］∥OCEANS 2016 - Shanghai. IEEE， 2016： 1-4. DOI： 10.1109/OCEANSAP.2016.7485537.

［15］LIU G H， ZHANG C L， GUO Q， et al. Automatic color recognition technology of UAV based on machine vision［C］∥2019 International Conference on Sensing， Diagnostics， Prognostics， and Control （SDPC）. IEEE， 2019： 220-225. DOI： 10.1109/SDPC.2019.00047.

（编辑 赵勉）

收稿日期： 2021-08-06

修回日期： 2021-11-08

基金项目： 国家自然科学基金（61703272）

作者简介： 冯居（1997—），女，江苏南通人，硕士研究生，研究方向为无人水面艇视觉感知、导航与决策，（E-mail）julie_feng6863@163.com；

王建华（1965—），男，云南鹤庆人，副教授，博士，研究方向为水面机器人、机器视觉，（E-mail）jian-hua.wang@163.com