港口机械用攀爬机器人视觉导航定位方法研究＊

赵章焰 张 天

武汉理工大学物流工程学院 武汉 430063

0 引言

港口机械的安全是相关从业人员一直关注的热点。目前，对于起重机等大型港口机械的检测主要依靠人工进行，但因港口机械尺寸过大，工作人员需要高空作业，存在着一定的安全隐患。此外，部分金属结构表面维修人员很难到达，这对港口机械的检测和维修带来了很大的困扰。随着制造技术及控制技术的发展，如何利用智能化的攀爬机器人从事一些具有危险性的工作逐渐成为一种研究的方向，而导航技术又是机器人自主行走的基础。

导航方式可以分为绝对定位和相对定位[1]，绝对定位主要有北斗卫星系统、全球定位系统等，该方法可获得机器人在地球上的经纬度，但精度受天气、建筑等因素的干扰。相对定位是指机器人在运动时根据获得的传感器信息计算相对位姿变换的技术，视觉导航技术作为一种相对定位技术，其探测范围广、获取的环境信息丰富、在复杂环境中有很好的通用性，得到了广大学者的大量研究[2]。随着微机电系统（MEMS）和计算机图像学的进步，视觉导航技术被广泛应用到机器人行业以提高机器人的智能化水平。

金属结构作为港口机械的主要组成部分，是港口机械的骨架，其形式大致可分为格构式、实腹式或混合式，文中所述的攀爬机器人主要是在箱型实腹式结构表面工作，如箱形梁等。箱形金属结构特点有总体尺寸大、边缘平直，表面涂有油漆，颜色单一且与背景区分度高，为结构化路径。对于结构化路径，视觉导航主要应用于自动驾驶汽车、农田作业机器人等领域[3]。与其他结构化路径相比，港口机械金属结构位于室外，受光照和阴影等环境干扰较多，而且金属结构位于三维空间内，环境背景复杂。金属结构表面存在油漆、锈蚀等缺陷也会对视觉导航带来一定的影响。

针对于上述情况，通过对结构化路径视觉导航方法的研究，结合金属结构特点，对起重机特征提取算法进行优化，对Hough变换模型建立约束条件，最终利用改进的视觉导航方法对港口机械金属结构进行边缘提取，并计算得到结构中心线和运动直线，求取运动参数。实验表明，该方法能够计算得到机器人在金属结构中的相对位置，为指导攀爬机器人的行动提供数据支撑。

1 结构化路径视觉导航方法原理介绍

视觉导航技术是利用摄像头获取机器人行进过程中局部环境信息，通过图像算法处理得到机器人运动信息进而指导运动[4]。结构化路径视觉导航方法是利用金属结构边缘来拟合结构中心线作为机器人的导航线，对机器人进行速度和方向控制，使其沿着金属结构的中心线移动，从而实现攀爬机器人在金属结构表面的自主移动。步骤可分为三步：首先，由相机获得金属结构表面的图像并进行预处理；然后利用改进型的Canny进行金属结构边缘特征提取，因光线、油污、锈蚀等因素的干扰，提取的边缘线不具有连续性，建立具有约束的Hough变换模型和最小二乘法来拟合边缘线；再计算结构中心线和运动方程，确定机器人的偏航角和偏距，进而通过上位机转化为电机信号输出，调整机器人的运动。视觉导航系统工作流程如图1所示。

图1 结构化路径视觉导航流程

2 主要算法

2.1 金属结构边缘提取

在结构化路径视觉导航中，路径的边缘是最基础的数据。在提取路径边缘后，可以对目标、障碍物等相关信息辨别，并将这些数据传递到控制器进行操作。

本次金属结构边缘特征提取方法是自适应阈值的Canny算法，Canny算子在物体特征识别及提取时处理速度很快，但Canny算子的高低阈值往往依据图片进行多次实验寻找合适阈值[5]，该合适阈值对实验图片检测效果较好，当图片的灰度值变化较大时，需要重新寻找阈值，不具有一般通用性。自适应阈值的Canny算法使用OTSU方法计算出较佳高阈值，再根据比例求得低阈值，使得算法不需要人工设定阈值。改进型Canny算法处理流程如图2所示。

图2 改进Canny算法流程

高斯滤波对图像卷积可以有效地减弱噪声影响，高斯滤波器的生成方程式为

本次高斯矩阵是一个3×3的矩阵，标准差取0。

边缘是灰度值变化较大的像素点的集合，图像灰度梯度用一阶有限差分近似求取[6]。改进型Canny算法中采集的卷积算子比较简单，表达为

其x向、y向的一阶偏导数矩阵，梯度幅值以及梯度方向的数学表达式为

式中：P(i,j)为x方向一阶偏导数矩阵；Q(I,j)为y方向一阶偏导数矩阵；M(i,j)为梯度幅值；θ(i,j)为梯度方向。

求得梯度图像后，会存在弱边缘干扰等问题，用非极大值抑制寻找像素点的局部最大值[7]，并把其对应像素点值置0，可以去除掉一些非边缘像素点。

在非极大值抑制后，剩余的像素点为结构边缘。然而还存在着因噪声等因素引起的假边缘像素。为了去除这些假的边缘像素，利用高低阈值检测来过滤低梯度值的像素点，保留高梯度值的像素点。自适应阈值中高阈值的求取使用OTSU算法，求取使非极大值抑制图像有最大类间方差σ2的k值，此k值即为高阈值，高低阈值的比例设置为2:1。

2.2 金属结构边缘拟合

经过边缘提取后，得到金属结构的轮廓像素点集合，但因噪声、不均匀的光线以及其他干扰因素的影响，轮廓像素点集合很难完整的表现出结构边缘线，需要后续处理。对于金属结构轮廓像素点集合，常使用Hough变换和最小二乘法求取结构边缘的近似方程。

1） Hough变换拟合直线

Hough变换是一种特征提取技术，通过两个坐标空间之间的相互变换将一个空间的直线转换为另一个空间的点，将点识别线的方式转换成识别直线并串取共线点的方式[8]。

直接运用Hough变换时计算数据量大、复杂程度高，为了提高数据处理的效率，减少因背景结构、阴影等造成的检测误差，通过对机器人移动路径的金属结构边缘模型分析，在Hough变换时增加约束条件来提高计算效率[9]。模型如图3所示。

图3 结构分析模型

假设机器人在沿结构中心线前进时，左边缘线斜率θl＝ (0，π/2)，右边缘斜率为θr＝ (π/2，π)。在实际行驶过程中，机器人本身具有一定的宽度，且摄像头也存在安装误差，机器人一般在结构中心线附近前进，对边界斜率设置一个置信区间，对斜率置信区间内的直线进行检测，可以剔除一些非结构边缘线段，提高系统的实时性。考虑到机器人可能存在的偏移情况，设置左侧和右侧边缘最小倾斜角度为θ1＝β1＝arctan（2H/W），左右侧边缘最大倾斜角度为θ2＝β2＝（π-θ1）。式中W为图片的宽度，H为图片的高度。结合实验数据，取H＝2W，求得θ1＝β1＝76°，所以左右金属结构边缘斜率的置信区间为（76°，104°）。

2）最小二乘法优化

经过Hough变换后，可能会存在误检查的情况，再有阴影、油污等噪声的影响，Hough变换提取的直线可能不连续或者偏离了原直线，为了克服这些问题，采用最小二乘法对检测边缘进行连续性处理。最终得到左边金属结构的边缘拟合直线为LL:y(x)＝a1x+b1,右边金属结构的边缘拟合直线为LR:y(x)＝a2x+b2。

2.3 中心线拟合以及偏航角、偏距计算

依据投影几何学理论，在三维空间中相互平行的两直线，在二维成像空间内会相交于一点，命名为消影点[10]，见图 4。

图4中LL、LR分别为左右结构边缘直线；LM为结构中心线；LMT为第i时刻的运动直线；消影点(xi，yi)为在第i时刻左右结构边缘线的交点；点(x0，y0)为摄像头光学中心，为已知值。

图4 路径导航原理图

结构的中心线本质上也是结构线夹角的角平分线，求取结构的中心线方程方法很多，本文采用两点法进行求解。假设在中心线上的已知两点A(x1，y1)、B(x2，y2)，则A、B到左右轮廓边缘直线的距离相等，即

此时，代入两个特殊点进行计算，即A(0，y1)、B(x2，0)时，在求得A、B后，即可求得结构中心线方程LM。机器人与消影点的运动直线方程为Li:y=kix+bj其中：ki=(yo-yi)/(x0-xi)，bi=y0-ki x0。

攀爬机器人在金属结构上攀爬时，偏航角和偏距的计算是通过摄像头计算得到的，将这些图像数据经过处理传递到上位机，通过对应的控制策略，进一步转化为电机的控制信号输出，从而完成自主导航任务。

当攀爬机器人处于一般情况下，即方向不平行于结构两侧边缘时，在不同的时刻消影点的坐标也不同，在第i时刻消影点的坐标记作(xi，yi)，此时机器人与消影点的直线方程为式Li:y=kix+bj。机器人的偏航角a是第i时刻运动直线与同时刻结构中心线的夹角，即

偏距的计算主要是通过在某一深度y下，计算各个直线的x值，不同直线的x值之差表示两直线之间的像素个数。结构的中心线到结构两侧边缘的距离是相等的，即GML＝GMR＝XM-XL＝XR-XM。当对攀爬机器人定位时，通过计算观测运动直线在该深度下到结构中心线的像素个数GMM=XMT-XM，两个像素差的比值乘以左右边缘距离DLR和偏航角α即为攀爬机器人到中心线的距离。偏距DMM计算公式为

攀爬机器人通过不断的检测偏航角和偏距来调整自身运动轨迹，从而使自身沿着结构中心线行走。

3 结果分析

3.1 算法仿真实验

为了验证文中方法的可行性、准确性以及实时性，在电脑上首先采用Python3.7和OpenCV3.4库进行算法仿真实验。在港口机械支腿上选取了左中右各三张图片，利用算法进行结构边缘的提取。首先，对图片进行图像预处理，利用自适应Canny算法进行边缘特征提取，然后利用Hough变换和最小二乘法进行边缘拟合，最终处理结果如图5所示。

图5a～图5c为支腿左中右3张原始图片，图5d～图5f为不添加任何约束拟合出来的边缘直线图，图5g～图5i为添加角度约束后拟合的边缘直线，可以明显地看出在添加约束模型后，非边缘直线被很好地筛掉，且边缘直线的角度都在设置的约束区间内。

图5 结构边缘线拟合结果

3.2 机器人实际实验

在验证算法的可行性后，利用机器人携带微型相机进行实际攀爬来采集视频，对实验的数据进行处理。采集的视频分辨率为720×480。运行软件的平台为win10。

首先，对导入的视频进行帧数的选择，选择帧后，先对图像进行灰度化和二值化的预处理；在利用改进型Canny算法进行边缘特征的预提取，利用Hough进行边缘直线方程拟合，最终得到结构中心线。通过连续帧的处理，实时计算导航线偏航角和偏距，将数据传输到上位机进行处理，进而转换为电机的输出信号，来不断调整机器人的位置使其沿着中心线行走。

图6为软件的操作界面，可提取到当前帧左右结构边缘的直线方程得到拟合中心线的方程以及运动方程，通过比较中心线方程和运动方程计算得到偏航角和偏距。

图6 软件界面

攀爬机器人自身携带有一个云台和一个微型相机，通过云台可控制相机的摆动，将攀爬机器人放置在中心线处，使相机处于不同角度，获取数据计算偏航角；使机器人再沿着固定角度移动获取运动视频，进行偏距的计算。图7为机器人在港口机械支腿上攀爬获取实验数据，表1和表2为实验数据处理结果。

图7 攀爬机器人攀爬获取数据

由表1、表2分析可知，算法可以很好地计算到机器人在某一时刻下的偏航角和偏距，但与真值之间存在一定误差。误差分析主要有两方面，第一误差受相机自身精度的影响，本次使用的相机精度不高，对于相机的畸变没有进行很好的处理，这部分误差可通过更换设备进行解决。此外，误差也与光线强弱、相机安装位置以及相机在运动过程中的稳定性有关，这部分误差需要不断地调整，直到误差最小。当攀爬机器人在低速前进过程中，该方法的实验精度能够满足需求，指引攀爬机器人在港口机械表面的运动。

表1 偏角结果对比 （°）

表2 偏距结果对比 mm

4 结语

为了研究攀爬机器人在港口机械金属结构表面的自主移动，提出了一种可应用于港口机械攀爬机器人的结构化路径视觉导航方法。首先对图像进行预处理；利用改进型Canny算法提取边缘特征并建立具有约束模型的Hough变换和最小二乘法计算边缘直线方程；然后求取结构中心线方程和运动观测方程以及偏航角和偏距。通过攀爬机器人实际攀爬获取实验数据并进行数据分析，实验证明结构化路径视觉导航方法能够得到攀爬机器人的运动参数，为机器人的攀爬提供数据支撑。