挂轨型机器人云台视觉伺服控制

范亚南，陈国强,2，王增光，赵彦伟

(1.中国航空工业集团公司洛阳电光设备研究所，河南洛阳 471009；2.西北工业大学，陕西西安 710129)

0 引言

海上升压站室内电气设备的稳定运行是保证海上风电场正常运行的关键因素。为了提高对海上升压站设备巡检的实时性、全面性、准确性，同时降低安全风险，采用吊轨式巡检机器人代替人工完成日常检查，正在成为未来海上风场巡检的主要维护方式[1-2]。

在机器人巡检过程中，首要任务是通过云台对准各检测目标，准确地获取设备图像信息，进而对各设备进行自主判别。机器人与云台是整个系统的运动平台，控制精度和运动稳定性对巡检结果的准确获取起着关键的作用。以往的机器人自主巡检主要按照预置任务点位进行，机器人运行至预设点并调整云台到预置姿态后，控制可见光/红外相机等传感器进行数据采集，获取图像、声音、局部放电等信息。

海上升压站中存在不同种类的电气仪表，在机器人巡检过程中，需要准确对准目标，以便采集合适的图像。单一依赖预置信息的巡检技术，对机器人与云台的位姿控制精度要求较高，很难保证同一目标点检测成像的重复性，图像质量难以保证[3-4]。为解决上述问题，基于视觉信息对传感设备的位姿进行反馈控制，正在成为巡检机器人伺服视觉领域的研究热点。目前基于SIFT的特征匹配算法已经用于机器人目标检测，但SIFT算法存在复杂度高、速度慢等问题[5]。针对上述问题，文献[6-7]通过优化SIFT算子提出了SURF特征检测算法。随后，一些学者提出通过融合RANSAC算法于匹配过程，以消除错误的SURF匹配点对，提高匹配准确率[8-10]。

本文采用基于SURF+RANSAC的特征匹配算法对机器人云台进行视觉校准，实现对挂轨机器人云台的视觉伺服控制，提高了图像采集质量，保证了仪表识别的准确率。

1 机器人控制系统总体设计

本文研究海上升压站环境下基于可见光视觉的挂轨型机器人二次对准问题。图1为机器人的外形结构图，包括三轴分立云台以及行走机构和升降机构。自主巡检时，一次对准的预置信息包括：水平位置、云台高度、云台姿态、采样类型、相机参数以及目标模板等信息。

图1 挂轨型机器人结构组成示意图

升压站内巡检目标复杂多样，机器人必须保证实时性和鲁棒性，同时兼顾模块化和维护性[11]。伺服云台系统采用分布式体系和模块化设计，其组成主要包括主控模块、信息采集模块、云台结构，挂轨机器人云台的视觉伺服系统组成框图如图2所示。

图2 三轴分立云台控制系统组成框图

挂轨机器人的云台控制器集成了四轴伺服电机驱动电路，完成对三轴分立云台的姿态控制以及局放传感器的伸缩控制，并通过RS485获取局放传感器采样数据。主控模块采用高性能边缘计算机Nvidia TX2，通过网络接口完成对整个机器人的位姿控制(水平位置、云台的高度和姿态)，并通过网口控制可见光和红外相机的变倍变焦以及图像采集。

以往的机器人巡检方式主要依照预置信息对机械大范围控制(平台、云台)和电子小范围设置(相机)进行设定来获取检测目标图像。该巡检方式缺乏反馈控制机制，存在运动重复精度强依赖等问题，难以保证采集图像质量，影响后续设备检测识别的准确性。

机器人按照预置信息完成对特定设备的巡检动作的过程称为一次对准；本文研究基于可见光视觉的机器人二次对准问题，即在完成机器人位姿一次对准后，以目标图像对准为控制目标，通过当前视场与点位图像模板的位置偏差进行基于视觉的伺服控制，并调整相机以获取图像清晰、目标占比合适的高质量图像。巡检过程中，对云台的整个控制过程如图3所示。

图3 机器人巡检作业云台控制流程图

2 相机建模与控制

图4 单目相机模型

根据针孔模型得到图像物理坐标系相对世界坐标系的转换关系为

(1)

式中：(μ，ν)为P点在像素成像平面的坐标；f为相机焦距；(μ0，ν0)为像素坐标系的原点；dx、dy分别为像素坐标系下单个像素的物理尺寸；(X,Y,Z)为P点的世界坐标系坐标；R为相机坐标系相对世界坐标系的旋转矩阵。

根据相似三角形原理可知，在一次对准后，像素成像平面中的目标中心与图像模板的目标中心相对光心Oc的偏差角，等于相机光轴与实际目标点的偏差角。

为了保证采样目标在画面之内，在一次对准时会选用小变倍大视场的相机参数。因此在二次对准后，为了获取更多的图像细节，本文按照q倍的单边放大比例对相机进行自动变倍调整。由于DS-2ZMN3007相机仅提供1～30整数变倍，本文通过线性插值完成相机的连续变倍。自动变倍控制的伪代码如下：

算法功能：计算相机连续变倍值，并通过ISAPI控制相机变倍

输入：image目标图像，frame相机画幅，zoom相机变倍

输出：相机变倍值

function SetCamZoom(image，frame，zoom)

result ← 0;

if image.height/frame.height≥image.width/frame.width then

adjZoom←q×zoom×frame.height/image.height;

else

adjZoom←q×zoom×frame.width/image.width;

end if

k←Floor(adjZoom);

if Min(zm[])≤k≤Max(zm[]-1)then

result←(pos[k]+(val-zm[k])×(pos[k+1]-

pos[k])/(zm[k+1]-zm[k]);

else

result ←-1;

end if

IsapiSetZoom(result);

return result;

对于相机SDK不支持ARM架构的TX2，且缺少详细说明的现状，本文对相关API接口抓包分析，最终通过http协议调用ISAPI接口实现了相机调控。调用ISAPI前，需进行Digest验证获取权限。相机变倍调焦控制的http代码如下：

PUT/ISAPI/PTZCtrl/channels/1/zoomFocus HTTP/1.1

Host:cameraIP

Content-Type:application/xml

Content-Length:httpLength

ver20/XMLSchema″>

zoomValue

其中，cameraIP为相机IP，httpLength为内容长度，zoomValue为变倍控制对应的编码器位置值，focusValue为焦距控制对应的编码器位置值。

3 云台建模与控制

本设计的云台如图5所示，其挂装在垂直升降杆下方，不需要考虑云台横滚角。三轴分立云台在目标对准时，只需要考虑相机安装侧俯仰动作，因此云台可看作为二自由度机械臂。

图5 三轴分立云台结构透视图

云台的视觉校准基于图像像素坐标系中目标像素坐标进行居中调整，这样就将云台校准转换为像面指向跟踪问题[13]。

如图6所示，设一次对准后得到目标质心P′的像素坐标为(ut,vt)，其距离像素坐标中心的位置偏差为(Δx，Δy)。由式(1)可得到云台的2个偏转角，满足式(2)。

图6 像素平面内目标图像偏差示意图

(2)

本文使用的相机为30倍210万像素1/2.8″CMOS相机(1″=25.4 mm)，其像元尺寸(dx,dy)为2.8 μm×2.8 μm，焦距范围为4.5～135 mm。根据相机成像原理，焦距f与连续变倍zoom之间满足：

f=4.5 mm×zoom

(3)

通过以上分析，由图像偏差对应的视场偏差可直接转换为云台角度偏差，并根据当前云台角度信息得到期望的云台角度信息，进而对云台进行角度控制。

挂轨机器人各模组均采用网络通信，便于系统集成与扩展。其中云台系统实现了面向多连接的TCP服务器，可支持多用户连接，完成三轴云台的运动控制和位置控制，以及局放传感器伸缩/采样。云台控制器由STM32F407最小系统及电机驱动电路、以太网等外围电路组成。其方位角度范围为0°～290°，俯仰角度范围为-135°～135°，能够对周围环境进行全方位检测。云台控制器软件基于FreeRTOS系统，创建了TCP通信、电机驱动、云台控制等子线程，其程序流程图如图7所示。

图7 云台系统控制软件流程图

4 基于图像匹配的云台伺服控制

挂轨机器人云台伺服系统由可见光相机、三轴分立云台、TX2处理器构成。云台伺服控制核心包括图像特征点检测，特征点匹配以及云台对准误差校准。云台伺服校准系统利用图像偏差推算的云台角度误差作为反馈量完成云台闭环控制，完成目标对准，提高图像质量，保证了后续识别准确率。

图8为云台伺服控制系统框图，控制系统由内外两环组成。其中，外环负责图像采集、特征提取、特征匹配以及视场偏差计算，并将目标中心位置作为内环控制的期望输入，而内环通过PID控制器进行云台的方位俯仰姿态调整，进而实现相机光轴对目标中心的视场对准。

图8 基于特征匹配的云台伺服控制系统框图

4.1 基于SURF的特征匹配

目前，一些学者对SIFT、SURF、BRISK、ORB等常用特征检测算法的性能对比结果表明，SURF算法具有很好的鲁棒性[14]。SURF通过H矩阵判别式的值来获得极值点，并计算不同尺度上的近似Harr小波特征，算法具有良好的稳定性。本文采用的SURF特征提取算法具有较好的鲁棒性，能够适应于不同种类的图像目标和复杂的背景环境。在处理特征点集的匹配问题时，由于FLANN匹配算法相比于BF算法的计算量小、实时性高，因此本文采用FLANN算法完成特征点检测后的点集匹配过程，使算法具有更好的实时性。

4.1.1 RANSAC匹配点过滤

RANSAC(随机抽样一致性)算法是一种可靠的剔除错误匹配点的迭代算法。由于升压站检测背景复杂且相似度高，由此产生的错误匹配点将会影响匹配效果。本文在FLANN匹配过程中，加入RANSAC过滤，将误差较大的匹配点视为“局外点”。利用 RANSAC几何校验可以有效滤除错误匹配，使匹配结果更加优良。本文设置RANSAC算法最大迭代次数为2 000，设置求解单应矩阵的最少匹配点对数8(最少需要4对)，并通过最小二乘法进行该单应矩阵的计算。

4.1.2 特征匹配实验

考虑到SIFT和SURF特征检测，对尺度缩放、平移、旋转、亮度变化等具有较好的不变性，对仿射变换也有一定的稳定性。本文分别利用以上2种算法对海上升压站开关室内常用的旋钮开关、压板开关、指针仪表、状态指示灯等仪表进行特征匹配测试。软件开发IDE为PyCharm，并使用了opencv-python 4.5.4.60图像处理库。对比测试结果如图9～图13所示。测试结果图片中左侧为目标模板图片，右侧为目标匹配并定位标记后的一次对准图片。

(a)基于SIFT的特征匹配图

(a)基于SIFT的特征匹配图

(a)基于SIFT的特征匹配图

(a)基于SIFT的特征匹配图

(a)基于SIFT的特征匹配图

SIFT和SURF算法针对海上升压站不同设备仪表的特征匹配计算时间如表1所示，结果表明本文采用的SURF算法具有更高的实时性。

表1 SURF与SIFT计算时间对比表 s

4.2 视觉伺服控制器

根据式(2)可将图像偏差转换为云台角度偏差。随后采用理论成熟且易工程化的位置型PID控制器进行云台角度校准。如图14所示，云台校准过程包含方位轴和俯仰轴，通过误差反馈计算相应轴的旋转速度，最终调整云台相机使其对准检测目标。在PID控制过程，对于偏差较小时的调节振荡现象，设置0.2°死区用于消除近稳态时的控制抖动现象。

图14 云台伺服校准过程图

在检测目标位置被调整至相机图像中心后，需要进行相机变倍变焦等操作，获得目标占比合适的图像。本文按照长边q倍放大对目标大小进行调整，默认值为0.45。

5 机器人样机试验结果

本文设计的云台伺服控制模块目前在某海上升压站中进行日常巡检工作，现场作业情况如图15所示。所设计的云台视觉控制系统在实际功能测试中运行稳定、效果良好，能够准确完成目标二次对准。在3个月的试运行期间，该系统每天自动定时完成对115个设备目标的自动检测，识别准确率优于90%。

图15 挂轨型巡检机器人运行现场图

6 结束语

本文采用基于SURF的特征匹配方法实现当前与目标模板图像之间的匹配，采用云台姿态伺服控制完成目标的精确二次对准。通过结合目标模板的预先选取和FLANN对算法加速，并使用RANSAC进行误匹配过滤，提高算法实时性和可靠性。此外，针对相机控制特点，开发了变焦变倍的网络控制接口，简化系统集成。挂轨型巡检机器人在海上升压站上的实验结果证实了该云台伺服控制方法的有效性和稳定性。