基于自适应上下文信息的目标相对定位方法

陈世伟，杨小冈，张胜修，王雪梅

（火箭军工程大学控制工程系，陕西　西安 710025）

基于自适应上下文信息的目标相对定位方法

陈世伟，杨小冈，张胜修，王雪梅

（火箭军工程大学控制工程系，陕西西安 710025）

针对成像末制导中地面固定目标识别难度大的问题，基于最稳定极值（maximally stable external region，MSER）区域提出一种新的相对定位识别算法。提取基准图中目标周围具有尺度和仿射不变特性的MSER特征，根据权重指数自适应选取一定数量的MSER特征作为上下文地标。提取实时图中的MSER特征，与上下文地标基于规则化互相关准则进行特征匹配，利用双层匹配矫正策略减少误匹配，得到匹配特征对。提取匹配特征对的中心点作为参考点求解基准图与实时图之间的空间映射关系，进而利用最小二乘拟合一次多项式计算实时图中目标的位置坐标。实验结果表明，针对复杂地面场景，该方法的最大相对定误差不大于3个像素。基本满足成像末制导对自动目标识别算法稳健性好、识别精度高、抗干扰能力强等要求。

上下文地标；相对定位；最稳定极值区域；目标识别

网址：www.sys-ele.com

0　引　言

目标自动识别是成像末制导过程中的一个技术难点，尤其是针对地面复杂背景下的目标识别，存在目标形态各异、背景遮挡，特征适应性差等诸多困难［1-2］。文献［3］提出利用目标图像的仿射梯度方向直方图特征进行目标直接识别，针对简单背景，该方法具备很好的旋转不变性和错切不变性。文献［4］提出以目标的三维模型为基础来制作匹配模板图像，在一定信噪比的前提下，可实现目标的有效识别。以上这些算法都是利用目标自身的特征信息来进行识别，因此这些方法通常只适用于简单背景下的高大、显著目标，而对于背景复杂、距离远、低矮、存在遮拦等情况下的目标则很难或者不能直接识别。针对这一问题，文献［5］提出了改进的光电混合联合变换相关器对遮拦目标进行探测和识别，虽然取得不错的效果，但本质上仍然依赖目标自身的特征信息。文献［6］提出一种上下文不变性的机场检测方法，摆脱了对目标自身信息的依赖，但没有实现目标的精确定位。文献［7］提出了一种相对定位方法，其思想是首先选择目标附近的高大、显著、容易识别的“上下文地标”进行识别，进而利用它与直接目标之间在实时图中的相对位置关系对直接目标进行相对定位，从根本上摆脱了对目标特征信息的依赖。但是，该方法的运用也存在一些问题：目标周围需要有高大、容易识别的上下文地标，这就限制了算法的适用范围；需要探测器的位置和姿态信息进行三维坐标变换计算，这直接将飞行器的中制导误差引入到目标相对定位中，并且无法消除。

针对上述两个问题，本文提出一种新的地面固定目标相对定位识别方法。基本思想是利用目标区域的遥感侦查图像作为基准图，自适应提取目标周围的MSER特征区域作为上下文地标，并与实时图中提取的最稳定极值（maximally stable external region，MSER）特征区域进行匹配识别，得到一定数量的匹配特征点对，最后利用直接目标与特征点对的相对位置不变性，计算直接目标在实时图中的位置。具体流程如图1所示。

图1　目标相对定位算法流程图

1　相对定位技术

1.1相对定位原理

设t1（u，υ）为实时图上一点，t2（x，y）是基准图上的对应点，两者的坐标之间存在一种非线性变换f，即

理论上，实时图与基准图上所有的共同点都应该满足这种空间映射关系。由于拍摄位置、角度不同，两幅图像之间会存在一定的几何畸变，相对定位的本质上也是一种空间坐标的几何校正［8-9］。

用多项式逼近表示式（1）即为式（2）。

式（2）即为最终的像素相对定位计算式，其中n为多项式阶次，一次变换式只能校正线性失真，如刚性变换、仿射变换，二次多项式可以校正径向畸变，而三次多项式不仅可校正上述几何畸变，还可消除透视效果［1011］。

1.2相对定位误差分析

影响相对定位精度的误差可以分为两类：一类为随机误差，主要是由匹配点对的定位随机误差决定；另一类为方法误差，主要是由多项式的阶次决定，多项式的阶次越高越逼近真实模型。针对随机误差因素，为了避免个别匹配点对的随机定位误差影响所求坐标变换方程系数的精度，通常采用多选匹配点对而后按最小二乘法求解系数，使拟合误差平方和ε为最小，也就是使

式中，L为选取的匹配点对的个数；n为多项式阶次，其中s= 0，1，…，n；t=0，1，…，n-s。

通过求解式（4），即可求出aij。同理可求出bij，再将其代回式（2）就可实现两个坐标系之间的变换。

针对相对定位的方法误差，理论上选择的多项式阶次越高，定位精度越高，但同时需要的匹配点对也越多，计算量也越大。下面通过实验进一步分析各误差因素对相对定位精度的影响，为保证结论的有效性，取一组飞行器实飞序列图像来进行误差分析。文中假设探测器视场张角为3.4°× 4.3°，图像大小为320×256。实验中选择第1帧图像为基准图，依次间隔100帧共取8幅图像作为实时图。在基准图与实时图上取12组匹配点对，并加入2～3个像素的匹配点随机定位误差。另外，在第7幅实时图上设置两个误匹配点。图2给出了相对定位误差仿真曲线。其中，横坐标表示图像帧序列，与飞行器向目标飞行的过程一致；纵坐标表示相对定位的距离误差在图像上表现的像素个数；L 1代表采用最小二乘拟合一次多项式，L2代表采用最小二乘拟合三次多项式，L 3代表采用一次多项式。从实验结果可以看出，采用最小二乘拟合多项式系数可以很好地抑制随机误差，而采用多项式的阶次对定位误差的影响并不明显；从第7幅实时图的定位误差结果可以看出，误匹配对定位精度的影响很明显；综合上述情况，采用最小二乘拟合一次多项式对定位误差的抑制效果最好。因此，本文采用最小二乘拟合一次多项式作为相对定位计算模型。

图2　相对定位误差曲线

2　上下文地标自适应选取算法

根据相对定位原理［12］，首先需要在目标附近寻找易识别且具有不变特征的上下文地标作为基准参考点。2005年文献［13］对6种主流局部不变特征检测子进行比较，发现使用MSER方法检测出的局部特征在视角变换、尺度变换、光照变换、图像压缩和图像模糊这五种情况下具有更好的不变性。因此，这里采用MSER特征区域作为上下文地标。

2.1最稳定极值区域

文献［14］在研究宽基线图像匹配问题时提出了最稳定极值区域算法。该方法通过给定的一系列阈值分割得到一组二值图像，接着分析前后相邻阈值图像间的连通区域，最终得到若干个MSER。这些MSER分为MSER+和MSER-，可以理解为图像最暗与最亮的区域。

当灰度图像通过0～255的256个阈值时，记录从0开始的大于阈值的像素点，这样记录下的相邻点就形成了极值区域。那么对于比较宽的阈值范围内形状保持稳定的区域就形成了MSER+。通过同样方法（使灰度图像通过255～0的阈值）可以得到MSER-。MSER具有良好的稳定性、抗噪性和仿射不变性，并且计算简单高效。

2.2上下文地标的自适应选取

最稳定极值区域作为一种不规则的仿射不变区域，这不利于特征描述操作。通常需要对这些不规则的特征区域进行拟合，如椭圆拟合、多边形拟合、凸包围拟合等。由于特征区域协方差矩阵的特征值和特征向量唯一确定一个椭圆，因此这里采用椭圆拟合方法。如图3（a）所示。

提取后的MSER特征区域数量很多，其中一些特征区域并不适合作为上下文地标。因此，如何选取自动选取上下文地标非常关键。如果设置固定的面积阈值，一方面可能会造成符合条件的特征区域过少甚至没有，另一方面可能造成特征区域过多从而增加后续的匹配识别工作量。从识别的角度分析，上下文地标应该具备面积较大、特征显著、目标附近、数量适当等特点。因此，这里采用比例选取、总量控制、就近取点的策略来选取上下文地标。具体方法如下，首先计算每一个特征区域的选择权重指数，然后将所有特征区域按选择权重指数从大到小排序，最后取前10个作为上下文地标，如图3（b）所示（图中黑色框体表示直接目标）。

图3　上下文地标提取

选择权重指数λi可以通过式（5）得出。

式中，Si为特征区域面积；Li为特征区域拟合椭圆中心与直接目标中心的距离。

上下文地标选取之后，需要将它们进行逐一的编号、定位，并建立与直接目标对应的位置变换关系矩阵，最后将这些数据作为基准数据模板储存起来用于后续的目标匹配识别。

3　上下文地标的匹配定位

通过第1.2节的相对定位误差分析可知，影响相对定位精度的主要原因是上下文地标的定位误差。因此实现上下文地标的精确匹配定位是相对定位技术的关键所在。

3.1基于规则化互相关的MSER特征匹配

在末制导阶段，飞行器虽然按照预定的航迹和姿态进入目标成像区域，但是成像过程仍然会受到视角、拍摄距离等因素影响，同一场景的实时图与基准图会出现复杂的形变。如何对实时图与基准图提取的MSER特征进行关联匹配是一个关键问题。互相关性在特征匹配中有较好的应用，但是不能抗旋转、尺度等畸变影响，因此不能直接应用。

特征区域规则化就是将不同尺寸的MSER特征椭圆区域映射为某个固定大小的圆形区域。假设椭圆的中心在点Xo处，特征区域规则化的数学描述为：对于椭圆上的点X=（x，y）T，寻找一个2×2的变换矩阵A，使得式（6）成立。

式中，r为规则化后的圆半径。因为点X在椭圆上，故有

式中，U为协方差矩阵。

由式（6）和式（7）可得

通过变换矩阵A，可将椭圆区域映射至一个固定大小的圆形区域。特征区域规则化结果如图3（c）所示。

归则化后的MSER区域可以消除扭曲变形、尺度大小和旋转方向上的差异。针对MSER区域这一优点，引入特征区域之间的互相关性指标corr作为匹配量度。两个特征区域之间的互相关性指标可以通过式（9）得出。

式中，MSERm（i，j）和MSERn（i，j）分别代表两幅图像中的MSER区域的灰度值。

由于在参考图上设定的相对定位点数量有限，且互相关性指标计算简单，因此采用穷尽搜索法来寻找实时图上的匹配特征区域。

3.2双层匹配矫正

当特征区域之间灰度信息区别明显时，直接采用相关性指标，设置恰当的阈值时即表示实现正确匹配。但对于复杂地面复杂背景，出现区域灰度信息接近的概率很高，因此会出现一对多的误匹配情况。针对这个问题，文献［15］提出采用随机采样一致性（random sample consensus，RANSAC）算法［16］来消除误匹配。但RANSAC算法的迭代次数没有上限。对于存在较多误差的观测数据集，寻找支撑点集需要的迭代次数非常高，将会浪费很多的时间。

针对以上不足，本文设计了一种双层匹配识别策略。首先对匹配特征对进行预检测，即利用位置权重指数μ来消除大量一对多的误匹配情况，对于每组一对多匹配，只取权重指数最大的一对，然后再采用RANSAC算法进一步剔除误匹配特征对，从而实现上下文地标的精确匹配识别。位置权重指数μ可由式（10）计算得出。

式中，corr为互相关性指标；d*为每对匹配特征区域拟合椭圆中心的2-范数。

4　实验结果与分析

4.1实验结果的评价指标

根据相对定位原理，正确识别上下文地标的个数越多，相对定位精度越高，相反如果出现了误识别，将会影响目标的相对定位精度。因此，本文以整体像素误差∂为相对定位精度的评价指标，来直接反映目标的相对定位精度；以相对误识别率（relative error recognition probability，RERP）作为单次识别实验的评价指标，来间接反映目标的相对定位精度；将绝对误识别率（absolute error recognition probability，AERP）作为多次识别实验的评价指标，来考察算法的稳健性。

式中，Ni为第i次单次识别实验中误识别个数；Mi为正确识别个数；Oi为不能识别个数。

从式（11）～式（13）可以看出∂越小，RERP越小，则直接目标的定位精度越高；AERP越小，算法稳健性越好。

4.2实验结果及分析

实验环境为：因特尔酷睿1.7 GHz处理器，4 GB内存，Windows 8操作系统，Matlab R2014a计算平台。实验选取10组不同类型的复杂地面场景图像，分别采用MSER特征和尺度不变特征变换（scale-invariant feature transform，SIFT）特征作为上下文地标，进行目标相对定位实验，其中图像分辨率320×256，MSER特征区域中取拟合椭圆中心作为匹配点，基准图中提取的SIFT特征点中随机选取目标周围的10个作为上下文地标。

表1给出本次实验的数据对比结果。从实验结果可以看出，上下文地标的误匹配率对直接目标相对定位精度的影响很大，SIFT特征不具有仿射不变性，出现了很高的误匹配率，而MSER特征具有较好的仿射不变性，误匹配率较低；匹配点对的定位误差也对相对定位精度有一定影响，MSER特征采用拟合椭圆中心作为匹配点，存在一定的定位随机误差，因此即使没有误匹配的情况下也会存在一定的相对定位误差。另外，由于SIFT特征点较多，计算复杂性较大，相对于MSER特征实时性相对较差。

表1　实验数据对比结果

图4～图6给出3组MSER特征和SIFT特征用于相对定位的对比实验结果。其中，每组实验结果中分图（a）、分图（c）为上下文地标匹配识别结果，分图（b）、分图（d）为直接目标相对定位结果，每幅图像中左半部分为基准图，右半部分为实时图。这3组实验考虑了成像末制导过程中可能出现的尺度、旋转、平移等各种图像畸变情况，充分考察算法的适应能力和鲁棒性。从实验结果可以看出，本文算法的目标相对定位误差最大不超过3个像素，图4（a）中出现一个误匹配点对，但并没有对相对定位结果产生明显影响，这说明算法具有较好的鲁棒性。图6（a）中尽管没有误匹配现象，但图6（b）仍然出现了3个像素的相对定位误差，这样也说明匹配点对存在一定的随机定位误差。考虑到本文算法对上下文地标的选取原则，限定在目标周围随机选取10个SIFT特征点，这样就增加了SIFT特征点的误匹配几率。因此，采用本文的相对定位策略，利用SIFT特征的相对定位精度很低。

图4　尺度变化目标相对定位实验结果

图5　旋转变化目标相对定位实验结果

图6　平移变化目标相对定位实验结果

5　结　论

（1）通过自适应提取、识别目标周围的MSER特征形成上下文地标，进而利用相对定位技术对目标进行定位识别，解决了前视成像末制导中针对背景复杂、距离远、低矮、存在遮拦等情况下的地面固定目标的识别定位问题。

（2）相对于文献［7］中的相对定位方法，文中选用MSER特征作为上下文地标，摆脱了对目标周围高大显著地标的依赖，隔离了飞行器的制导误差。另外，实验过程中对比了SIFT特征，MSER特征具有更高的匹配识别成功率。实验结果表明，针对复杂地面建筑场景，文中算法的最大相对定位误差不超过3个像素，基本满足了成像末制导对目标识别精度的要求。

（3）从实验结果可以看出，本文算法的目标相对定位精度还有进一步提高的空间。改进的措施主要有两个：一是提高MSER特征区域的中心拟合精度，二是提高上下文地标的正确匹配识别率。这也将是下一步工作的重点研究内容。

［1］Jia P，Xu N，Zhang Y，et al.Automatic target recognition based on local feature extraction［J］.Optics and Precision Engineering，2013，21（7）：1898-1903.（贾平，徐宁，张叶，等.基于局部特征提取的目标自动识别［J］.光学精密工程，2013，21（7）：1898 1903.）

［2］Ratches J A.Review of current aided automatic target acquisition technology for military target acquisition tasks［J］.Optical Engineering，2011，50（7）：1-8.

［3］Song D，Tang L B，Zhao B J.The object recognition algorithm based on affine histogram of oriented gradient［J］.Journal of Electronics&Information Technology，2013，35（6）：1429 1434.（宋丹，唐林波，赵保军.基于仿射梯度方向直方图特征的目标识别算法［J］.电子与信息学报，2013，35（6）：1429-1434.）

［4］Yang X Y，Zhang T X.Method of target recognition from images based on complex natural scenes［J］.Systems Engineering and Electronics，2011，33（1）：13-16.（杨校余，张天序.一种基于复杂地物背景图像的目标识别方法［J］.系统工程与电子技术，2011，33（1）：13-16.）

［5］Hua M，Chen Y，Wang W S.Research on the technology of partial masked target recognition［J］.Key Engineering Materials，2013，552：560-566.

［6］Firat O，Tursun O T，Vural F T Y.Application of context invariants in airport region of interest detection for multi-spectral satellite imagery［C］//Proc.of the Signal Processing and Communications Applications Conference，2012：1-4.

［7］Li Z J，Liu Y，Chen Z P.Relative positioning technology of FLIR ground targets in terminal guidance［J］.Infrared and Laser Engineering，2012，41（11）：2861-2864.（李志军，刘洋，陈曾平.前视红外地面固定目标末制导相对定位技术［J］.红外与激光工程，2012，41（11）：2861-2864.）

［8］William K P.Pratt digital image Process［M］.3rd ed.New York：Wiley，2001.

［9］Lin W，Wang Z Q，Gao F D.Real time digital correction for distortion in photoelectronical measuring system［J］.Opticsand Precision Engineer，2007，15（2）：277-282.（凌伟，王志乾，高峰端.光电测量系统畸变的实时数字校正［J］.光学精密工程，2007，15（2）：277-282.）

［10］Shah S，Aggarwa J K.A simple calibration procedure for fisheye lens camera［C］//Proc.of the IEEE International Conference on Robotics and Automation，1994：3422-3427.

［11］Castleman K R.Digital image processing［M］.2nd ed.Upper Saddle River：Prentice Hall，1996：387-418.

［12］Zhang G G，Wei Z.A novel calibration approach to structured light 3D vision inspection［J］.Optics&Laser Technology，2002，34（5）：373-380.

［13］Mikolajczyk K，Tuytelaars T.A comparison of affine region detectors［J］.International Journal of Computer Vision，2005，65（2）：43-72.

［14］Matas J，Chum O，Urban M，et al.Robust wide-baseline stereo from maximally stable external regions［J］.Image Vision Computing，2004，22（10）：761-767.

［15］Chen B，Zhao Y G.A new approach to scene matching during

electro-optical imaging terminal guidance［J］.Acta Optica Sinica，2010，30（1）：163-165.（陈冰，赵亦工.一种新的光电成像末制导景象匹配方法［J］.光学学报，2010，30（1）：163-165.）

［16］Hartley B，Zisserman A.Multipleυiew geometry in computer υision［M］.2nd ed.Cambridge：Cambridge University Press，2003：290-293.

Relative positioning method of target based on adaptive context information

CHEN Shi-wei，YANG Xiao-gang，ZHANG Sheng-xiu，WANG Xue-mei
（Department of Control Engineering，Rocket Force Uniυersity of Engineering，Xi'an 710025，China）

According to the difficulties of the recognition for the ground stationary target in imaging terminal guidance，a new localization and recognition approach based on the maximally stable external region（MSER）is proposed.MSER features which are scale and affine invariant are extracted respectively around the target in the reference image.A certain amount of MSER features are adaptively selected as context landmarks according to the weighting exponent.The matching feature pairs between the MSER features extracted from the real-time image and the context landmarks are obtained based on the normalized cross correlation criterion.The double matching correction strategy is used to reduce the probability of mismatching.The center points taken as the reference points are extracted from the matching feature pairs to solve the space mapping relation between the reference image and the real-time image.The position coordinate of the target in the real-time image is calculated according to a polynomial based on the least squares fitting.In view of the complex ground scene，the experiments demonstrate that the maximum relative error location probability of the method is less than 3 pixels.It can satisfy the imaging terminal guidance for automatic target recognition algorithm requirements of higher precision and rapid speed，as well as strong anti-jamming and stabilization.

context landmark；relative position；maximally stable external region（MSER）；target recognition

TP 394.1

A

10.3969/j.issn.1001-506X.2016.05.02

1001-506X（2016）05-0984-06

2015-04-22；

2015-10-19；网络优先出版日期：2015-12-23。

网络优先出版地址：http://www.cnki.net/kcms/detail/11.2422.TN.20151223.1019.008.html

国家自然科学基金（61203189）；二炮院校青年基金（2014QNJJ023）资助课题

陈世伟（1979-），男，讲师，博士研究生，主要研究方向为机器视觉、先进控制理论。

E-mail：cshw3876@tom.com

杨小冈（1978-），男，副教授，博士，主要研究方向为机器视觉、精确制导。E-mail：yangxiaogang@163.com

张胜修（1965-），男，教授，博士，主要研究方向为先进控制理论、精确制导技术。

E-mail：ZSHX@tom.com

王雪梅（1968-），女，教授，主要研究方向为精确制导技术。

E-mail：WXM1968@163.com