基于合作目标的精确跟踪算法及其在图像识别中的应用

杨天阳,金立左,潘 虹

(东南大学自动化学院,南京 210096)

目标定位与跟踪是计算机视觉研究的重要课题之一,包括基于合作目标和非合作目标[1]的两大类方案．在没有显著视觉目标可参考的情况下,目标定位与跟踪系统常借助合作目标进行定位．基于合作目标的定位、测量和姿态解算方法,包括目标的设计、特征提取、识别及位姿求解等步骤[2],因其系统结构简单、精度高、性能稳定、成本低廉、设计性强等优点而备受关注[2-3],在航天器交会对接[4]、空间机器人视觉伺服控制[5]、太空机械臂操控[6-7]、无人机自动着陆[8-9]等方面极具研究与应用前景．目前,运用该方法针对近距离合作靶标识别的研究较为成熟,可以进行实时视觉测量,实现机械臂在复杂背景下的快速识别抓取[10-11]．为了提高该算法抗形变和抗干扰的鲁棒性,孙国鹏等[12]提出一种基于合作目标的多特征递进识别算法．Wen等[10]提出结合圆和线特征的空间机械臂位姿测量算法,克服了传统的基于Hough变换的圆检测算法及其改进算法[13-14]速度慢的缺点,可实时识别0.3～1.5 m范围内复杂背景下的合作目标．而在移动机器人导航等应用中,合作靶标识别还要适应远距离场景,远距离场景的背景干扰多、靶标像素所占比例小，检测识别难度大．因此,关于远距离场景的靶标设计与精准定位算法的研究,具有挑战性和应用价值．本文在深入研究合作目标设计的基础上,提出一种简单高效的二维合作目标设计方案及针对此合作目标的检测跟踪算法,可适用于距离较长的靶标识别．

1 合作目标设计

为提高目标识别性,以适应较远距离的场景,设计的合作目标表面应具有区分性、不变性、可重复性的显著特征,同时为减少计算量,目标设计宜简易．图1为本文的合作目标模型设计图及其在干扰背景下的实拍照片．该合作目标模型有以下特点: 1) 8个圆形斑块(即靶元)等距分布在一个大圆(目标圆)的圆周上,该目标具有平移和旋转不变性,满足合作目标设计的要求[4];2) 黑白色具有对比度最大化特点,结合自适应的二值化方法,可以适应不同的光照条件,又能降低对硬件的要求,扩宽应用场合;3) 多斑块组合具有多个相同的局部子结构,在图像被局部遮挡的情况下仍然可以被识别;4) 斑块和目标圆的半径比例、黑色斑块和白色背景的上下文关系以及斑块之间的共圆性,共同构成强的结构约束条件,可以抵抗相似物的干扰,便于模型的精确计算与验证．

图1 合作目标设计图(插图)及其在干扰背景下的实拍照片Fig.1 The design of cooperative target (illustration) and its actual photo in the clutter environment

2 合作目标识别

2.1 候选靶元提取

由于本合作目标的背景色和靶元属于不同灰度范围,且对比度高,实际运用中可采集灰度图并进行二值化处理,以降低计算量．本文采用最大类间方差法(OTSU)[15]得到合适的分割阈值,完成灰度图像的二值化,再采用4邻域连通标记将候选靶元分割并标记出来．当成像设备和合作目标距离较远时,背景干扰不可避免,所以先要根据靶元特征对候选靶元进行筛选．靶元特征包括：靶元面积、靶元外接框的长宽比等基本参数,以及靶元和背景的上下文信息,即靶元与其局部背景的亮度对比．靶元筛选既提取了潜在斑块,又抑制了大部分背景干扰,为后续合作目标的定位提供良好基础．

2.2 目标中心计算

对合作目标圆的圆心和半径进行计算,分为2个阶段:利用候选靶元求解目标圆圆心;由圆心及其支持靶元推导出半径．首先,通过3个靶元中任意2个靶元中心连线的垂直平分线交点可以确定合作目标的中心．为保证准确率,圆心计算之前要求检测出的潜在靶元数量不少于4个．由于潜在靶元提取过程中存在杂波,因此需要一种稳健的计算方法,由潜在靶元位置计算出准确的目标中心．本文采用的是投票法:分组计算多个潜在靶元的中心连线的垂直平分线交点,得出潜在目标中心,对应的潜在靶元记为该潜在目标中心的支持靶元,支持靶元的数量即该中心的投票数．由于计算误差的存在,相同物理位置上的圆心,其图像坐标可能并不完全重叠,因此采用图像网格量化的方法对网格内的投票进行计数,将计数达到一定阈值的网格作为合作目标中心的候选．其次,计算候选网格中所有支持靶元到对应圆心的距离,并求取其中值,作为该网格对应的参考半径．最后,根据靶元和目标圆的半径比值的约束条件,去除噪声斑块的干扰．图2是本文的合作目标识别的整体算法流程,具体算法如下:

1) 对输入图像采用最大类间方差法计算合适的分割阈值,完成图像的二值化,再采用4邻域连通标记提取靶元,分割并标记为候选靶元,计算靶元的最小外接矩形框,作为靶元外接框．

2) 根据靶元特征结合上下文对候选靶元进行筛选．验证条件包括: ① 候选靶元的像素个数是否在双阈值Smin和Smax之间,Smin和Smax分别是应用场景中最远和最近识别距离下靶元在图像中所占像素的个数,可根据成像原理及相机参数计算,也可直接测量标定;② 候选靶元外接框的长宽比是否满足1±ε1(误差限ε1=0.02);③ 每个靶元外接框中和靶元二值化结果相同的像素个数占靶元外接框总像素的比值是否满足(πr2/(2r)2)±ε2(r为靶元半径,误差限ε2=0.03);每个与靶元外接框中心重合,但其长宽加长0.5倍的矩形中,和靶元二值化结果相同的像素个数占矩形总像素的比值是否满足(πr2/(3r)2)±ε3(误差限ε3=0.05)．判断满足所有验证条件的候选靶元个数是否不小于4,若否,则结束计算．

图2 本文整体算法流程图Fig.2 Flow chart of the proposed algorithm

3) 依次取候选靶元集合P中的2个元素pi和pj验证：①pi和pj之间的欧式距离是否小于当前可能的最大合作目标直径dmax(dmax为最近识别距离下目标圆的直径的像素大小,取dmax为300像素);②pi和pj面积之比是否满足1±ε4(误差限ε4=0.05)．若满足所有验证条件,则计算2个候选靶元的垂直平分线lij,得垂直平分线集合L．

5) 对所有潜在圆心进行网格量化搜索,并对每个网格中所有潜在圆心的支持半径进行中值滤波计算,剔除野值后,将支持半径个数记为该网格的投票数,对应圆心记为该网格的支持圆心,1次搜索记为1次迭代．

6) 完成所有搜索或达到最大迭代次数时,搜索结束．将搜索结果按照网格的投票数降序排列,判断投票数最多的网格票数是否大于最小门限:若否,则结束计算;若是,则对网格中圆心取平均值,得到该图像的合作目标圆心,并将合作目标与图像中心点的像素偏差Δω转化为视场角度偏差Δθ=(Δω/l0)θ0,其中l0为图像的像素宽度,θ0为相机的视场角大小．

3 实验结果分析

实验采用实景拍摄的像素为720×576的灰度图像,在配置为Intel Core i7 3.6 GHz,RAM 4 GB的计算机上,利用VS2013下Opencv2.4.11版本进行算法仿真,并将算法移植到嵌入式开发平台上进行测试．图3为本文采用的海思Hi3520D开发板的硬件模块组成,包括视频输入、输出端口,视频采集芯片(NVP6114),处理器和用于挂载文件系统的网口等．

图3 海思Hi3520D开发平台硬件模块Fig.3 Hardware module of the Hi3520D development platform

3.1 干扰实验

图4是目标分别距成像设备7,3,0.25 m时目标识别干扰实验的结果．如图4所示,只要靶元清晰可见,本文算法对距离在0.25～7 m范围内的合作目标均有较好的识别效果．图4(a)中目标周围环境的光照充足,甚至存在反光,而图4(b)中目标周围光照相对较弱,在光照强度不同的情况下,本设计的二值化效果仍具有鲁棒性．这是由于合作目标的靶元和背景具有最大的灰度对比度,所以采用简单的自适应阈值分割就可以快速获得准确结果．另外,图4(b)所示的场景中除了合作目标外,还设置了大面积的黑白格棋盘作为背景干扰．在采用连通域标记提取候选靶元时,背景棋盘格的白色方块也被一同标记了(如图4(b)中红色方框),但经滤波处理后,绿色方框所包含的背景干扰大幅度降低．如果直接验证全部候选靶元子集之间的结构是否满足约束条件,会大大增加计算量,所以本文利用黑色靶元与白色背景之间的对比度,在计算目标中心之前先进行上下文滤波处理．

红色方框表示候选靶元，绿色方框表示筛选后的候选靶元，黄色圆圈表示目标中心识别结果.图4 不同距离下的目标识别干扰实验Fig.4 Interference experiments of target recognition in different distances

3.2 旋转与局部遮挡实验

将合作目标分别朝顺时针和逆时针方向旋转一定角度,并对目标进行局部遮挡后进行目标识别测试，结果如图4所示．由图4可见,目标旋转后依然有很好的识别效果．因为本合作目标的靶元和整体都采用圆形设计,所以对旋转变化不敏感．图4(b)还说明,合作目标的部分遮挡没有对识别结果产生影响．本设计只需4个靶元即可计算目标圆心,理论上可以接受合作目标表面的50%被遮挡,所以本设计在局部遮挡的情况下也具有较强鲁棒性．

将本文算法在Windows7系统、VS2013和Opencv2.4.11开发平台的PC端进行仿真测试,平均运行时间是45 ms·帧-1,在运行环境为Linux内核的嵌入式平台上进行实际测试,平均运行时间是100 ms·帧-1,结果均达到实时性应用的要求．

红色方框表示候选靶元，绿色方框表示筛选后的候选靶元，黄色圆圈表示目标中心识别结果.图5 旋转与局部遮挡识别目标的实验Fig.5 Experiments of rotation and partial occlusion of the recognition target