曹姝清,刘宗明,牟金震,张翰墨,张 宇
(1.上海航天控制技术研究所·上海·201109;2.上海市空间智能控制技术重点实验室·上海·201109)
考虑到空间环境中用于交会对接的大部分空间目标卫星的基本构型大多数都存在矩形轮廓特征,因此可通过提取空间目标卫星的轮廓直线特征,实现后续交会对接航天器逼近段姿态的估计。最普遍的图像轮廓提取方法是灰度梯度法,通过对图像按阈值进行二值化处理得到灰度图像,然后进行灰度梯度解算,将提取出来的具有较大灰度梯度值的像素点作为边缘点,最后依据相应的判断准则对边缘点进行筛选,绘制相应的轮廓曲线。灰度梯度法的基础是空域微分算子,主要包括拉普拉斯算子、Canny算子和Sobel算子等。这类算子运算速度快,实现较为简单,但对图像灰度化处理时所设定的阈值十分敏感,同时图像中存在的噪声对检测过程干扰较大,导致其鲁棒性差。文献 [1]提出了一种基于方向形态学的轮廓提取方法:在二值化边缘图像的基础上,采用形态学方法进行目标轮廓的提取。该方法计算简单,适于进行并行计算,对图像边缘提取效果依赖性高,存在容易陷入局部轮廓提取及易受噪声干扰的问题。文献 [2]对文献 [1]进行了改进,通过结合形态学梯度边缘检测算子对图像进行边缘检测,再利用具有方向信息的结构元素对图像进行形态学处理以获取物体的轮廓信息。该方法通过引入边缘方向信息提高了跟踪图像主要边缘信息的能力,鲁棒性较好,对噪声有很好的抑制作用,但是对结构元素的选取比较敏感。文献 [3]的直线检测方法综合利用了梯度幅值和方向信息,但在幅值处理过程中仍存在阈值的选择问题,在应用中受到一定的限制。文献 [4]基于Hough变换的直线检测算法简单,具有良好的抗噪性,对于不完整边缘具有鲁棒性,以及对部分遮盖区域具有不敏感的特性,但存在计算量大、存储量大、检测实时性差的缺点。由于目标轮廓等特征提取的精度直接决定了相对位姿估计的精度,为满足空间交会对接任务的测量要求,需要对目标特征提取的精确性和检测速度提出更高的要求。现有技术中不考虑目标前后帧图像变化关系、而直接采用基于全局图像处理算法实现的目标特征提取技术,存在算法易受目标图像较多边缘的干扰导致的轮廓特征提取效果差、需要实时对当前帧全局图像进行处理导致的处理速度慢,以及直接基于Hough变换实现的目标轮廓特征的提取精度差的问题。为此,本文对一种能有效克服这些缺点的空间目标快速轮廓特征提取与跟踪技术进行了研究。
文中通过目标分割法从初始帧图像中定位目标所在局部区域,作为目标连续跟踪的初始值,结合帧间图像变化信息,能够快速实时地锁定目标当前帧所在的局部区域。后续可直接基于目标局部区域轮廓四方向开小窗完成对目标边缘特征的检测细化处理,然后采用典型的Hough变换[5-6]实现目标直线特征的提取,并采用梯度最大法则实现两两求交获取的轮廓特征的优化。通过地面实验模拟验证了空间目标在近距离、在由远及近相对距离连续动态变化过程中目标实时轮廓特征跟踪算法的有效性,具有速度快、准确性强、稳定性高等优点。
初始帧目标分割是从初始帧图像中定位目标所在局部区域,将其作为目标连续跟踪的初始值,结合帧间图像变化信息,能够快速实时地锁定目标当前帧所在的局部区域。后续可直接基于目标局部区域完成对目标特征的检测处理,无需遍历整个图像,能够有效地提高轮廓特征检测的速度[7]。
图像分割算法的实现流程如下:
1)采用8邻域自适应阈值分割法完成初始帧图像的快速分割;
2)对分割图像进行二值化处理获得目标二值化图像;
3)对二值化图像依次进行形态学开和闭运算,消除小块噪声平滑目标边缘及填充目标区域内细小空洞,确定初始帧目标所在局部区域。
初始帧图像分割前后效果如图1所示。
图1 初始帧目标分割前后效果Fig.1 Pre-effect and post-effect charts of initial frame target object segmentation
以初始帧目标分割图为参考,扩充目标外轮廓一定矩形区域作为轮廓检测的初始窗口,选取该初始窗口目标本体区域中的4个条带状局部小窗区域,完成初始帧目标边缘的检测及细化。通过开窗方式,初始帧目标边缘检测可大幅度缩小检测区域,有效提高算法的实时性。边缘细化处理能够减少冗余的边缘信息量,获得较理想的单像素宽细化边缘图,提高后续特征提取的准确性。轮廓检测的初始窗口如图2所示。
边缘检测是特征提取的前提,本文采用基于Canny算法的图像边缘检测实现 (如图3所示)。
图2 轮廓检测的初始窗口Fig.2 The initial window of the contour detection
图3 Canny边缘检测流程图Fig.3 Flow chart of the Canny edge detection
初始帧目标边缘检测图如图4所示。
图4 初始帧目标边缘检测图Fig.4 The initial frame target edge detection
图像边缘细化就是在保持Canny检测边缘图像原有信息的基础上,采用查询表方式进行边缘细化,通过判断该边缘图像中每一像素点是否应被剔除,以减少冗余的边缘信息量,获得较理想的单像素宽细化边缘图[8-9]。
给定一个边缘点可对其进行编码,见式 (1)
其中,n0~n7代表了当前边缘点周围8邻域范围内的像素点是否是边缘点,如果是边缘点则为1,如果不是则为0。图像中像素点Pi的8邻域范围内像素的分布和编码表如图5所示。在对所有边缘点编码完毕后,通过查询当前点在细化表deletemark[256]中的位置即可完成细化。其中查询表为:
图5 编码表与8邻域Fig.5 Encode table and eight neighborhood
边缘细化前后效果如图6所示。
图6 边缘细化前后效果图Fig.6 Pre-effect and post-effect charts of edge thinning
对初始帧目标边缘检测及细化后的局部图像采用Hough变换完成初始帧局部目标区域图像中轮廓直线的提取,分别选取目标轮廓四方向最优的直线参数作为最终目标轮廓直线获取的效果,并采用梯度最大法则实现两两求交获取的轮廓特征的优化提取。后续根据相邻图像前后帧动态变化的关联性,通过局部处理实现剩余序列图像轮廓部分区域特征的连续跟踪。所需处理的目标区域大幅减小,干扰少,轮廓提取效果好,能够有效提高目标轮廓特征提取的实时性和稳定性。
边缘细化后的局部边缘多且乱,存在较多噪声干扰,不利于后续特征的提取及解算。本文先采用8邻域深度优先搜索递归调用法对边缘细化后的局部图像进行处理,消除噪声及非闭合的数据,形成分段连续的边界链码,完成初始边段的提取;然后对初始边段进行边界排序,剔除较短的边段,并对筛选后的边段依次进行角点及拐点检测,完成边界分割处理,获得最终用于Hough变换的边界[10]。
Hough变换的步骤如下:
1)设定Hough平面累加器(ρ,θ),其中,(w、h为图像宽度和高度);
2)对处理区域所有点进行Hough变换:依次将θ代入直线极坐标方程ρ=xcosθ+ysinθ中进行计算,每次计算得到的(ρ,θ)在累加器相应位置处单元计数+1;
3)Hough变换处理后,设定合适的阈值T,累加器中大于T的单元对应的(ρ,θ)作为检测出的直线。经过大量的现场试验,取阈值T和最大投票数Amax满足T=0.5Amax的关系。
通过对Hough变换检测出的直线进行分类合并拟合,根据拟合后的直线到所有相对应边缘点的距离误差最小为准则,剔除一些不合理的直线,获取最终目标直线的提取。
利用获取的目标直线,对不同直线两两求交获得四方向的轮廓顶点,分别任取不同方向的点顺序连接成不同的四边形,选取内角接近直角,且满足梯度最大的四边形作为四边形轮廓粗提取的结果。
然后利用梯度最大化原则对目标粗提取轮廓进行优化。轮廓优化先生成一幅梯度强度图像,然后以轮廓周围的梯度平均值最大为目标修正轮廓线的初值,从而提高轮廓提取的精度。轮廓线寻优示意图及轮廓优化提取前后效果图如图7和图8所示,轮廓线寻优具体步骤如下:
1)根据轮廓顶点初始坐标和梯度图像,利用坐标轮换法逐点进行调整并更新轮廓顶点坐标,进行下一个轮廓顶点寻优,迭代求解;
图7 轮廓线寻优示意图Fig.7 The diagram of the contour line optimal
2)如图7所示,以P1为例,首先沿直线P1P2方向,以一定步长得到若干离散点P'1,计算直线P'1P3的梯度平均值,找到梯度最大的位置P'1。然后沿直线P3P'1搜索离散点,找到与P2连线且具有最大平均梯度的点,记为新的轮廓顶点P1_New,再进行下一点寻优。
图8 轮廓优化提取前后效果图Fig.8 The effect chart of the contour feature optimal extraction
在目标逼近过程中,结合连续帧图像间目标尺度动态变化的关联性,根据初始帧提取目标轮廓特征的先验信息,确定目标在第二帧图像中的轮廓位置,并依次根据相邻上一帧图像的轮廓位置信息定位目标在当前帧所在区域,通过局部处理实现剩余序列图像轮廓区域特征的连续跟踪[11-12]。在目标逼近过程中,序列图像轮廓区域连续跟踪效果如图9所示。轮廓特征跟踪的具体实现过程如下:
图9 目标逼近过程中序列图像轮廓区域连续跟踪效果图Fig.9 Continuous tracking effect chart of the contour region of the sequence image during target approaching phase
1)根据所描述的初始帧目标轮廓直线的参数信息对应确定该4条直线在第二帧图像中的全局坐标,分别扩大4条直线所在的目标区域的范围,抠取第二帧图像中目标大致局部区域的图像;
2)对抠取的第二帧图像的边缘,检测图像(上下左右)四方向内外一定区域的边缘,采用Hough变换,完成第二帧局部目标区域图像中轮廓直线的提取,获取目标轮廓直线的参数;
3)根据序列图像前后帧之间的关联性,依次根据上一帧图像的直线参数扩充一定的区域,完成相邻下一帧图像中目标区域局部图像的抠取,并利用Hough变换、通过局部处理实现剩余序列图像轮廓直线特征的连续跟踪。
本文提出了一种空间目标快速轮廓特征提取与跟踪技术,是实现后续空间目标姿态估计的前提保证;并通过地面实验模拟验证了空间目标在近距离逼近过程中目标实时轮廓特征连续跟踪的有效性。实验结果表明,相对于传统的序列图像前后帧无关联的全局轮廓跟踪图像处理算法,其能够有效克服由目标图像较多边缘的干扰导致的轮廓提取效果差及处理速度慢的缺点。采用先全局处理初始帧图像,后续对包含目标的场景局部图像或图像序列进行局部处理,实现其余序列图像特征的连续检测及提取的方法,具有实时性好的优点;结合帧间图像变化信息,利用前一帧图像的轮廓信息搜索估计,确定目标在当前帧图像中的位置的技术特征,具有鲁棒性强的优点;采用梯度最大法则实现两两求交获取的轮廓特征的优化,具有特征提取精度高的优点,为后续空间在轨操控任务的顺利实施提供了技术支持。