基于仿射不变性映射的不显著目标间接定位

孙大为，王仕成，杨东方，李永飞

（火箭军工程大学，西安 710025）

对目标的准确识别定位是精确制导武器末制导寻的阶段的关键问题，当前的研究和应用主要针对与背景特征差异明显的显著目标，采用模板匹配的方法，实现目标的定位和识别。文献[1]提出一种基于边缘匹配的前视红外目标识别算法，对建筑物和冷凝塔等典型目标进行匹配，是一种基于模板匹配的方法，具有良好的匹配性能，但该算法对尺度不变性的适应性较差。文献[2]中提出的方法也是对冷凝塔等具有建筑规范的特殊建筑物目标进行的识别定位，该方法一定程度降低了模板制备过程对基础保障数据的依赖。文献[3]提出的基于形状模板匹配的方法是对油库、火电厂、建筑物、雷达站、水塔等典型地物目标进行识别，提出采用多尺度的感兴趣区域检测和基于模糊集的形状特征提取，用改进的 Hausdorff距离进行匹配，但是该方法并未考虑目标受背景干扰等导致目标不显著情况下的目标识别。上述方法的研究对象都是具有显著特征的目标，均采用直接识别定位目标的策略。

然而，在实际应用中，针对不显著目标的识别和定位更加具有研究价值和现实意义。当目标被遮挡、受到背景干扰或者目标尺度较小、目标相似度较高等情况下，以及受图像拍摄尺度、视角、光照条件等因素的制约时，目标特征往往就变得并不显著，对这类不显著目标采用直接识别定位的方法通常是不可行的。文献[4]提出通过匹配得到地标在实时图中的位置，并且已知地标在大地坐标系下的位置偏差，反过来解算目标在实时图中的位置，即采取先捕获目标所在场景中具有显著特征的地物结构，再间接定位到感兴趣目标，从而达到对感兴趣目标的间接定位与识别。这种方法更符合人类视觉导航的特点，但是该方法需要成像姿态参数作为保障，而对于载有惯性导航系统的武器而言，由于陀螺仪漂移的存在，导致角度参数的误差随时间积累，从而使得计算结果的精度难以保证。另外，算法需要地标的多尺度、多视点特性视图,这也限制了其在武器系统中的应用。

针对上述问题，本文提出一种基于仿射不变性映射的不显著目标间接定位方法，该方法借鉴了文献[4]中提出的间接定位策略，但与文献[4]的方法不同，本文提出的方法不依赖于地标的多尺度视图，同时为了克服前述定位算法对角度参数的依赖，本文的算法则是通过解算实时图与基准图之间的变换关系，实现对复杂地面背景中的不显著目标的识别定位。

1 基本原理

在飞行器寻的制导阶段，匹配算法使用的参考图像通常是由遥感卫星拍摄得到的卫星图像或由高空侦察机拍摄得到的航空图像，实时图像则是由机载设备在实时飞行时拍摄，因此，目标识别定位问题可归结为图像的匹配问题，就是要在待定位的图像中寻找与模型图像的最佳匹配。图1给出了算法的流程，主要包括三个部分：1）显著区域检测和匹配；2）仿射变换和特征点匹配；3）基于仿射不变性的不显著目标定位。

图1中的红框标识的区域为显著区域，通常是显著性较强的地标式建筑等，并非末制导最终要识别定位的目标，而“十字叉”标记的不显著目标才是识别定位的对象。算法的第一阶段是显著区域的检测和匹配，目的是为了检测实时图所拍摄的区域是否进入了参考图所示的区域，如果显著区域检测匹配成功，则程序进入第二阶段，否则，飞行器继续飞行，更新实时图，重复第一阶段；第二阶段是仿射变换和特征点匹配阶段，该阶段的主要任务是在实时图和参考图成功匹配的显著区域内提取ASIFT特征点，利用特征点的匹配来估计显著区域之间的仿射变换矩阵H，从而得到图像之间的一一对应关系；最后是对不显著目标的识别定位阶段，已知参考图中不显著目标的位置信息，利用仿射变换矩阵估计实时图中的不显著目标的位置信息，从而实现对不显著目标的间接识别定位。

图1 不显著目标的间接定位Fig.1 Flowchart of insignificant targets indirect location

上述算法的实施需要满足一个前提条件，即实时图和参考图之间的变换是一个三维仿射变换。事实上，成像系统在远距离情况下，由于成像距离远远大于摄像机的焦距，此时被摄图像中的场景可近似认为在同一平面内，即图像之间的变换可以用一个三维空间的仿射变换来近似，而这种条件下，三维空间的仿射变换可以用二维的射影变换来表示。基本的二维平面变换如图2所示，包括平移、旋转、相似、仿射和射影变换。

射影变换又称透视变换，是更为一般的图像变换模型，可以描述摄像机的平移、旋转、缩放、水平扫动和垂直扫动等运动。二维平面的刚性变换、相似变换和仿射变换都是射影变换的特例，用二维空间中的点(,)xy˜˜、(,)xy分别表示变换后和变换前的点，则二维射影变换的齐次坐标表示满足：

其中：H是一个3×3的射影变换矩阵，有8个自由度，且 r ank （ H ） =3；η表示齐次坐标之间相差的常数非零因子。

图2 图像二维平面基本变换关系Fig.2 Basic transformations in 2D planes

2 显著区域检测和匹配

为了判断视场中的显著特征是否在实时图和参考图中同时出现，需要对图像进行显著区域的检测和匹配。显著区域检测是依据视觉注意机制建立的模型，人眼根据这种机制可以在海量信息中快速捕获到最容易引起注意的区域，并且将响应强度作为该图像的显著性度量。近年来，显著区域检测得到了快速的发展，被广泛应用于目标检测[5-9]、图像分割[10-11]、目标识别[12-14]和目标跟踪[15-17]等领域。

显著区域检测依据的视觉特征可以分为底层特征和高层特征，其中底层特征包括对比度、颜色、方向、形状等，而高层特征则包括转移性、返回抑制性、排他性等。本文应用的显著区域检测算法模型是由Achanta等在文献[13]中提出的显著图生成算法，该算法是一种频率调谐的方法，利用颜色、亮度等底层的视觉特征的“中心—周围”估计，自底向上地构建显著图，可以很好地突出显著区域的边缘，并且是一种全分辨率的算法。为了得到图像I的显著图S，定义显著值为

式中：(x,y)为像素点坐标；Iμ为图像像素的算术平均值； Iωhc为高斯卷积后的图像；差值的绝对值表示显著值，强调二者之间的差异程度，即显著性。若用颜色和亮度的向量作为视觉特征，可以将式(2)扩展改写为

其中：Iμ为图像特征均值的向量；Iωhc为对应特征的高斯卷积后的图像；·为2范数；采用Lab颜色空间，每一个像素的位置是一个［L a b ］T向量。通过对原始图像所有像素点计算其显著值，从而生成显著图。

为了将显著区域分割出来，还需要对显著图进行二值化。比较简单的是采用阈值分割的方法，即显著值大于一个显著性阈值的区域属于显著区域。首先用Mean-shift算法对图像进行分割，然后选择一个自适应阈值作为显著性阈值检测显著区域。该自适应阈值定义为图像显著值均值的2倍，即满足

其中：W和 H分别为显著图的像素宽度和高度；S(x,y)为在(x,y)位置的像素的显著值。将显著图二值化后的图像，通过匹配可以确定显著特征是否同时出现在参考图和实时图中。当显著区域匹配时，则表明飞行器实时采集的图像已经在参考图所表示的区域内，反之则需要继续探测，更新实时图。

3 基于仿射不变性映射的间接定位

该部分包含了算法的第二和第三阶段。为了得到实时图和参考图之间的映射关系，需要对二者进行匹配，利用图像的不变特征匹配是常用的方法。所谓的图像不变特征主要是指对于图像的旋转、平移、尺度和视角的变化等能够保持稳定的局部区域及其特征描述。David Lowe在总结基于不变特征检测方法的基础上，提出了一种基于尺度空间不变提取算法以及基于该特征的描述符，即尺度不变特征变换（Scale Invariant Feature Transform），简称SIFT算法[18]，并将其进行完善[19]。尺度不变特征具有在旋转、缩放、平移甚至部分仿射变换条件下保持不变的特点，SIFT算法可以较好地解决旋转、缩放、视角变化以及场景部分遮挡等情况下的特征提取。

然而，SIFT算法只对仿射变换中的四个参数具有完全不变性，即平移、缩放和旋转，对剩下的两个参数不具有完全不变性。文献[20]针对这一问题在SIFT算法的基础上提出了ASIFT算法，即仿射尺度不变特征变换。该算法具有完全仿射不变性，后又不断被改进并拓展应用[21]。本文将ASIFT方法应用到飞行器的目标定位过程中，使其对视角变化大的图像仍然能够进行匹配。

3.1 仿射不变特征的提取

数字图像是摄像机将空间景物平面透视投影而成的，其透视投影模型可以用下式描述[20]：

如果景物与摄像机光心的距离远大于摄像机焦距时，可将拍摄景物所在位置看作一个平面，故式(5)中的0u是景物平面，T表示由摄像机运动引起的刚性变换，A表示对景物平面的透视变换，1G表示模拟光学模糊的高斯卷积，1S表示标准的采样操作子，u为得到的数字图像。

如前所述，飞行器的目标定位过程中，由于摄像机距离目标较远，此时针孔摄像机模型可以简化为一个仿射变换模型。事实上，仿射相机模型是透视投影模型在参考点邻域内的一阶泰勒近似，在景物表面分段光滑的情况下，可以在局部用仿射模型来近似代替投影透视模型，也即是所有由摄像机运动引起的局部透视投影成像都可用仿射变换来描述，即

其中：λ＞0，λt是A的行列式，R1、R2为旋转矩阵，φ∈ [ 0 ,π)； Tt表示倾斜，是一个对角阵，并且其第一个特征值为t(t ＞ 1 )，第二个特征值为1。公式(7)满足奇异值分解，其几何解释如图3所示。仿射变形是由摄像机光轴的方向发生变化引起的，由两个参数来决定：经度角φ和纬度角θ，满足 θ = a rccos1t ，ψ表示摄像机光轴的自转角，λ表示尺度。摄像机位置发生变化时，相应的参数也发生变化，从而模拟摄像机的仿射变换。

图3 ASIFT算法的几何解释Fig.3 Geometric interpretation of ASIFT

ASIFT算法是在SIFT算法的基础上，通过模拟摄像机的运动，从而实现完全仿射尺度不变。由于该算法采用SIFT算法生成特征描述符，既保留了SIFT算法的优点，又克服了受视角变换影响的缺点，达到更好的匹配效果，因此ASIFT算法大致分为两个阶段：

1）模拟所有可能的仿射变形来实现图像的变换。对纬度角θ的采样，由倾斜度参数t来决定，图像按照t = 1 ,a,a2,… ,an等比数列取值，通常取 a = 2，n =5。对于每一个倾斜度t，经度角φ按照等差数列0,bt,…,kbt进行采样，通常取b≈72°，k是满足kbt＜ 1 80°的最大正整数。对于数字图像，在采样前需要抗混叠滤波，即用标准差为 c t2- 1 的高斯核进行卷积，SIFT算法中取 c = 0 .8，能确保很小的重叠误差，更具体的细节可参阅文献[20]。

2）对所有生成的仿射变换图像运用SIFT算法进行特征点检测和匹配，匹配过程中应剔除一对多或者多对一匹配的特征点。

为了提高算法的实时性，特征提取的过程中采用图像降采样，而且对于参考图特征点的提取可以离线计算，以减少算法的时间消耗。

3.2 不显著目标的间接定位

根据极几何理论中单应矩阵约束思想可知，一张图像上的任意一点可以映射到另一张图像上的唯一一条直线[21]。该直线是唯一确定的，对应点可以是直线上的任意一点，但还不能唯一确定。然而，在目标定位应用中，往往需要从已知参考图像中的一点找到实时图像上的对应点，这里可以借助于两视图几何中的单应变换原理。在飞行器对地目标寻找过程中，由于飞行器和目标之间距离较远，因此，目标所处的位置相对于空间摄像机而言可以近似为在一个平面上，即具有相近的景物深度。此时，可以利用仿射成像的约束条件，对极几何关系进行进一步限制，得到相应的映射关系。

考虑摄像机关于空间平面π的投影。空间点X在摄像机P的作用下，其图像点是 m = PX，以空间平面π为世界坐标系的 O - xy平面，则平面π上点X的坐标为 X =(x,y ,0,1)T，因此：

当通过摄像机光心时，平面π的投影是一条直线，这条直线是平面π与像平面的交线；当平面π不通过摄像机光心时，H是一个秩3的矩阵。因此它是从平面π到像平面二维射影变换，通常称矩阵H为平面π到像平面的单应矩阵。

现假设π是不通过两摄像机任一光心的空间平面，它在两个摄像机下的图像分别记为 I1、 I2。令X是平面π上的任一点，它在两个摄像机下的像分别记为 m1、 m2，则根据式(9)可知空间平面π与两个像平面之间存在两个单应矩阵 H1、H2，使得 m1=H1X，m2=H2X。由于平面π不通过两摄像机的任一光心，所以 H1、 H2实现平面π到对应的像平面之间的二维射影变换。因此， m1、 m2之间也存在一个二维射影变换 H = H2H1-1，使得：

即平面在两个摄像机下的图像之间的关系也是二维射影变换。矩阵H实现第一个像平面与第二个像平面的一一变换。根据式(10)利用单应矩阵H，从一幅图像上的点可以得到另一幅图像上的对应点，这正是本文所提算法的核心思想。一般情况下，实时图和参考图在图像采集过程中，摄像机距离被摄景物距离较远，被摄景物可以近似看作在一个平面上，所以两图像上对应的点满足式(10)。由于H是一个33×的矩阵，且有8个自由度，因此为了求解H至少需要知道4对匹配点对应才可以计算出单应矩阵，如果大于4对，可以采用最小二乘法求解。

对参考图和实时图进行ASIFT特征点检测和匹配后，得到多对匹配的特征点对应，将其用齐次坐标表示为矩阵形式，用最小二乘法求得参考图与实时图对应的单应矩阵H，这时如果已知参考图中不显著目标的齐次坐标为，利用式(10)可以得到m2=Hm1。将 m2提取一个因子η转化为齐次坐标即为实时图中不显著目标的坐标位置，即实现了对不显著目标的定位。

4 实验验证及分析

本文设计了三个实验来验证算法的有效性。

实验一：近距离拍摄，图像中的目标完全共面的情况。

如图4所示，图中有一张平面的海报，两图像均为近距离拍摄的可见光图像，分别模拟参考图和实时图。两图像是严格意义上的目标完全共面的情况，满足所提算法的条件，此时，利用ASIFT对两图中红框标识的区域提取特征点并匹配，可以得到138对匹配点，图4中用蓝色直线连接了部分匹配点对。根据这些匹配点对应的坐标，求解得到单应矩阵H。

对于参考图中海报上的任一点，就可根据式(10)求得实时图中海报上的对应点，结果如图5所示。

图4 实验一的显著区域ASIFT匹配Fig.4 ASIFT matching of salient regions in Experiment 1

图5 实验一的不显著目标定位Fig.5 Insignificant targets location in Experiment 1

实验一中由于海报上的点都是在一个平面内,因此可以准确求得两幅图像中的对应点。

实验二：远距离拍摄，图像中的目标近似共面的情况。

参考图和实时图均为飞行器远距离拍摄的红外图像。首先进行对图像进行显著区域检测，得到结果如图6(a)所示，左图为参考图的二值化显著图，右图为实时图的二值化显著图。通过两显著图的匹配，可以表明飞行器实时拍摄的区域就在参考图表示的区域范围。实验二图像中的场景并非严格意义上的共面，但是由于拍摄距离远大于摄像机焦距，可以近似看作是共面，从而满足算法的条件。然后利用ASIFT算法对显著区域提取特征点并匹配，可以得到99对匹配点，并用蓝色线条连接对应匹配点，如图6(b)所示，并解算得到单应矩阵H。对参考图中的不显著目标，可根据式(10)求得实时图中不显著目标的对应点，结果如图6(c)所示。

实验二的结果实现了对不显著目标的定位，验证了算法的有效性，但从结果看，存在一定的定位偏差，这是由于其单应矩阵的计算是根据显著区域计算的，而不显著目标和显著区域并不严格在同一平面，只是近似看作在一个平面，因此存在定位偏差。

图6 实验二结果Fig.6 Results of Experiment 2

实验三：远距离拍摄，实时图存在仿射畸变的情况。参考图与实验二是同一幅图，而实时图是在实验二的实时图的基础上平移、缩放和旋转后得到，即两实时图之间产生了仿射畸变。实验的方法步骤同实验二，实验结果如图7所示，从实验结果可以看出，即使图像存在仿射畸变的情况，算法依然能够实现对不显著目标的定位，表明算法具有仿射不变性。

图7 实验三结果Fig.7 Results of Experiment 3

5 结 论

在飞行器寻的过程中，由于机载摄像机距离拍摄对象较远，得到的图像中的景物具有相近的景深，可以用一个三维的仿射变换来描述图像之间的变换关系。本文基于这一原理，提出一种对不显著目标的间接定位方法，该方法可以应用于目标被遮挡、受到复杂背景干扰或目标相似度较高等情况下，经实验验证表明：

1）当图像中景物具有相同或相近景深时，仿射不变性成立，可以求得变换矩阵H。

2）近距离拍摄且目标完全共面的情况下，利用本文的方法可实现对不显著目标的准确定位。

3）远距离拍摄时，在目标近似共面情况下仍然可以利用本文的算法实现对不显著目标的定位，但会存在一定的定位偏差。不显著目标与显著区域的景深越接近，定位偏差越小，反之则会越大。

4）当飞行器实时拍摄的图像存在仿射畸变时，利用本文算法仍然可以实现对不显著目标的定位。

（

）：

[1] 苏娟, 徐青松, 刘刚. 一种基于边缘匹配的前视红外目标识别算法[J]. 兵工学报, 2012, 33(3): 271-277.Su J, Xu Q S, Liu G. A forward looking infrared target recognition algorithm based on edge matching[J]. Acta Armamentarii, 2012, 33(3): 271-277.

[2] 明德烈, 田金文. 红外前视对一类特殊建筑目标识别技术研究[J]. 宇航学报, 2010, 31(4): 1190-1194.Ming D L, Tian J W. Automatic infrared condensing tower target recognition using gradient vector features[J].Journal of Astronautics, 2010, 31(4): 1190-1194.

[3] 高晶, 孙继银, 吴昆, 等. 基于形状模板匹配的前视红外目标检测方法[J]. 北京工业大学学报, 2012, 38(9):1359-1365.Gao J, Sun J Y, Wu K, et al. FLIR target detection algorithm based on shape template matching[J]. Journal of Beijing University of Technology, 2012, 38(9): 1359-1365.[4] Wang D W, Zhang T X. Building recognition based on indirect location of planar landmark in FLIR image sequences[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2011, 25(3): 431-448.

[5] 赵爱罡, 王宏力, 杨小冈, 等. 基于极端学习机背景预测的红外小目标检测算法[J]. 中国惯性技术学报,2016, 24(1): 36-44.Zhao A G, Wang H L, Yang X G, et al. Infrared smalltarget detection algorithm based on background prediction by extreme learning machine[J]. Journal of Chinese Inertial Technology, 2016, 24(1): 36-44.

[6] Zhang L, Li J H, Lu H C. Saliency detection via extreme learning machine[J]. Neurocomputing, 2016, 218: 103-112.[7] You J, Zhang L H, Qi J Q, et al. Salient object detection via point-to-set metric learning[J]. Pattern Recognition Letters, 2016, 84: 85-90.

[8] Chen Z H, Liu Y, Sheng B, et al. Image saliency using Gabor texture cues[J]. Multimedia Tools and Applications,2016, 75(24): 16943-16958.

[9] Xu F, Liu J H. Ship detection and extraction using visual saliency and histogram of oriented gradient[J]. Optoelectronics Letters, 2016, 12(6): 473-477.

[10] Ramadan H, Tairi H. Robust segmentation of moving objects in video based on spatiotemporal visual saliency and active contour model[J]. Journal of Electronic Imaging, 2016, 25(6): 061612(1-10).

[11] Bai X Z, Wang P, Zhou F G. Pedestrian segmentation in infrared images based on circular shortest path[J]. IEEE Transactions on Intelligent Transportation Systems, 2016,17(8): 2214-2222.

[12] Kulshreshtha A, Deshpande A V, Meher S K. Time-frequency-tuned salient region detection and segmentation[C]//IEEE International Advance Computing Conference.Ghaziabad, 2013: 1080-1085.

[13] Achanta R, Hemami S, Estrada F, Susstrunk S. Frequency-tuned salient region detection[C]//IEEE Conference on Computer Vision and Pattern Recognition.Miami, 2009: 1597-1604.

[14] 马岩. 基于视觉注意机制的红外图像识别与定位[D],沈阳: 沈阳理工大学, 2013.Ma Y. Research on infrared image detection and location based on visual attention[D]. Shenyang: Shenyang Polytechnic University, 2013.

[15] 黎万义, 王鹏, 乔红. 引入视觉注意机制的目标跟踪方法综述[J]. 自动化学报, 2014, 40(4): 561-576.Li W Y, Wang P, Qiao H. A survey of visual attention based methods for object tracking[J]. Acta Automatica Sinica, 2014, 40(4): 561-576.

[16] 张巧荣, 张慧娟. 基于视觉注意机制的目标跟踪方法[J]. 计算机工程与科学, 2014, 36(8): 1549-1554.Zhang Q R, Zhang H J. Object tracking based on visual attention[J]. Computer Engineering & Science, 2014,36(8): 1549-1554.

[17] Wei W, Liu X H, Zhou B B, et al. Sea surface target detection and recognition algorithm based on local and global salient region detection[C]//Applications of Digital Image Processing. San Diego, 2016: 99712U(1-8).

[18] Lowe D G. Object recognition from local scale-invariant features[C]//International Conference on Computer Vision.1999: 1150-1157.

[19] Lowe D G. Distinctive image features from scaleinvariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[20] Morel J M, Yu G S. ASIFT: a new framework for fully affine invariant image comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 438-469.

[21] Fu H, Xie D H, Zhong R F, et al. An improved ASIFT algorithm for indoor panorama image matching[C]//9th International Conference on Digital Image Processing.Hong Kong: SPIE 2017: 104201C(1-18).