陈世伟,杨小冈,张胜修,王雪梅
(第二炮兵工程大学303教研室,陕西西安710025)
目标自动识别是成像末制导过程中的一个关键环节,也是当前的一个技术难点,尤其是对于地面复杂背景下的目标识别,存在目标形态各异、背景复杂,特征描述困难,模板图像不宜制作等诸多困难[1]。宋丹等[2]提出了一种基于仿射梯度方向直方图特征的目标识别算法,具备很好的旋转不变性和错切不变性,但是对目标信息保障要求过高。杨校余、张天序等[3]以及刘婧等[4]均以目标的三维模型为基础来制作匹配模板图像。这些方法通常只适用于背景较为简单、高大、显著目标,而背景复杂、远距离、低矮、存在遮挡等情况下的目标则很难或者不能直接识别。针对这一问题,李志军等[5]提出了一种相对定位方法。其思想是在制定末制导策略时,选择对直接目标附近的高大、显著、容易识别的“相对定位目标”进行识别,进而利用它与直接目标之间在实时图中的相对位置关系对直接目标进行相对定位。但是,该方法的运用也存在一些问题:相对定位目标的选取数量和质量人工很难把握;对于选取的目标进行识别依然存在诸多困难。
针对上述问题,本文提出一种新的基于最稳定极值区域的相对定位目标选取与识别方法。具体流程如图1所示,首先根据目标区域航拍侦察得到的基准图像进行MSER特征区域提取,再通过一定策略自适应选取相对显著的特征区域作为相对定位目标,再利用仿射椭圆对MSER特征区域进行拟合,制成基准数据模板。当飞行器按照预定航迹进入末制导目标自动识别阶段时,对实时图采用同样的方法进行MSER区域提取拟合,并与基准数据模板进行规则化处理,然后根据互相关性准则提取确定基准数据模版和实时图像间匹配的MSER特征区域对,最后根据双层匹配矫正策略剔除误匹配,从而实现相对定位目标的检测识别。
图1 相对定位目标选取与识别算法流程图Fig.1 Flow diagram of image selection and recognition
2004年,J.Matas等人在研究宽基线图像匹配问题时借鉴分水岭思想提出了最稳定极值区域算法[6]。该方法具有良好的稳定性、抗噪性和仿射不变性,计算简单高效。2005年,K.Mikolajczyk等人对六种主要的仿射无关局部特征点检测子进行了比较[7],其中一个很重要的比较结果就是使用MSER方法检测出的局部在视角变换、尺度变换、光照变换、图像压缩和图像模糊这五种情况下在重现性和区分性方面处于领先的位置。
下面给出MSER区域特征提取的具体步骤:
(1)预处理。对输入的灰度影像采用Bin-Sort算法,按灰度值对所有像元进行降序或升序排序;
(2)极值区域合并与选取。基于上步排序后的影像使用合并-查找(Union-Find)算法构造部件树,并详细记录像素是否放入操作域地图(Operating Region Map,ORM)中,在ORM中的位置以及合并-查找索引。在形成的部件树上,从某个节点开始向上搜索分支,同时利用阈值对灰度影像进行二值化聚类操作,不断查找与合并极值区域,并根据适当的判决条件进行极值区域的选取;
(3)MSER区域检测。通过上步可以获得该图像所对应的全部极值区域序列,针对每一个极值区域序列,计算区域变化率q(i)=|Qi+△-Qi-△|/|Qi|。当且仅当 q(i)在 i*处取得局部极小值时,极值区域Qi才被作为最大值稳定区域提取出来。此时,仅提取出了最小灰度MSER+,为提取最大灰度的MSER-,需要将原始图像灰度值进行反转:I反=Imax-I,重复步骤(2)、(3),提取出MSER-。
最稳定极值区域作为一种不规则的仿射不变区域,这不利于特征描述操作。通常需要对这些不规则的特征区域进行拟合,如椭圆拟合、多边形拟合、凸包围拟合等。由于特征区域协方差矩阵的特征值和特征向量唯一确定一个椭圆,因此这里采用椭圆拟合方法。
根据相对定位原理[8],理论上只要识别出一个相对定位目标就可以对直接目标进行定位计算。考虑到飞行中获得的实时图与提前侦察获得的基准图之间会有一定的变化,提取后的MSER特征区域不可能完全相同,其中一些特征区域并不适合作为相对定位目标。另外,还需要有一定数量的相对定位目标,这样才能保证有较高的识别概率。因此,如何自动选取相对定位目标非常关键。如果设置固定的面积阈值,一方面可能会造成符合条件的特征区域过少甚至没有,另一方面可能造成特征区域过多从而增加后续的匹配识别工作量。从识别的角度分析,相对定位目标应该具备面积较大、特征显著、目标附近、数量适当等特点。因此,这里采用比例选取、总量控制、就近取点的策略来选取相对定位目标。具体方法如下,首先计算每一个特征区域的选择权重指数,然后将所有特征区域按选择权重指数从大到小排序,最后取前十个作为相对定位目标。选择权重指数λi可以通过公式(1)得出:
其中,Si为特征区域面积;Li特征区域拟合椭圆中心与直接目标中心的距离。
为了便于关联特征间进行特征匹配,需要将提取的MSER特征区域进行规则化处理,即将不同尺寸的椭圆拟合区域映射为某个固定大小的圆形区域,从而消除尺度缩放和平移等因素的影响。互相关性在早期模板匹配中有较好的应用,但是不能抗旋转、扭曲等畸变影响,而归则化后的MSER区域原理上可以消除扭曲变形、尺度大小和旋转方向上的差异。针对MSER区域这一优点,引入特征区域之间的互相关性指标corr作为匹配量度。两个特征区域之间的互相关性指标可以通过式(2)得出:
式中,MSERm(i,j),MSERn(i,j)分别代表两幅图像中的MSER区域的灰度值。
由于在基准图上设定的相对定位点数量有限,且互相关性指标计算简单,因此采用穷尽搜索法来寻找实时图上的匹配特征区域。
当特征区域之间灰度信息区别明显时,直接采用相关性指标,设置恰当的阈值时即表示实现正确匹配。但对于复杂地面建筑物图像,出现区域灰度信息接近的概率很高,因此会出现一对多的误匹配情况。针对这个问题,文献[9]中采用RANSAC算法[10]来消除误匹配。但是,RANSAC算法计算参数的迭代次数没有上限,寻找这样的支撑点集需要的迭代次数非常高,将会浪费很多的时间。针对以上不足,文中设计了一种双层匹配识别策略。首先对匹配特征对进行预检测,即利用位置权重指数μ来消除大量的误匹配情况,对于每组一对多匹配,只取权重指数最大的一对,然后再采用RANSAC算法进一步剔除误匹配特征对,最后实现相对定位目标的精确匹配识别。这种双层匹配矫正策略既能减少RANSAC算法的迭代次数加快速度,又能进一步保证识别精度。位置权重指数μ可由公式(3)计算得出:
其中,corr为互相关性指标;d*为每对匹配特征区域拟合椭圆中心的2-范数。
根据相对定位原理,在相对定位目标识别过程中如果误识别个数大于或等于正确识别个数时,理论上将不能正确定位直接目标。因此,本文以相对误识别率RERP作为单次识别实验的评价指标,来反映直接目标的定位精度;将绝对误识别率AERP作为多次识别实验的评价指标,来考察算法的鲁棒性[11-12]。
其中,Ni为第i次单次识别实验中的误识别个数;Mi为正确识别个数;Oi为不能识别的个数。
实验环境为:Intel酷睿1.7 G处理器,4G内存,Windows 8操作系统,MatlabR2014a计算平台。实验选取10组不同类型的复杂地面场景图像采用MSER特征和SIFT特征进行相对定位目标的选取与识别对比实验。表1给出本次实验的对比结果。可以看采用SIFT特征算法的误识别率和平均耗时都高于本文算法。
表1 误识别率统计结果Tab.1 Statistic result of error recognition probability
图2和图3分别为利用可见光和红外前视图像进行相对定位目标识别仿真实验的结果。其中,图中左半部分为基准图,右半部分为实时图,用椭圆表示提取的特征区域。基准图中用本文算法在直接目标(矩形框)周围自适应选取的10个特征区域作为相对定位目标。图2中实时图与基准图存在较大的视角差异和一定的旋转变换,实时图共提取了18个特征区域,采用本文算法进行匹配识别,正确识别出7个相对定位目标,没有误识别,实验测重考察算法的抗旋转畸变能力。图3中基准图和实时图存在较大的尺度差异,并带有一定的横向偏差,实时图共提取了61个特征区域,最终正确识别出6个相对定位目标,没有误识别。实验主要考察算法的抗尺度变化能力。
图2 可见光图像识别Fig.2 Recognition of optical images
图3 红外图像识别实验Fig.3 Recognition of infrared images
本文提出了一种新的相对定位目标选取与识别方法。算法利用具有仿射不变性的MSER特征区域作为相对定位目标,根据MSER特征的选择权重指数自适应选取具有较好显著特性的区域作为相对定位目标,解决了成像末制导相对定位技术中相对定位目标选取质量难于控制的问题。基于MSER特征选取的相对定位目标对尺度变化和图像旋转具有不变性,解决了基准图像与实时图像之间可能存在尺度和旋转角度差异而造成的误识别问题。根据互相关性准则进行有效的特征粗匹配,利用双层匹配矫正策略剔除误匹配,实现了对相对定位目标的准确识别。实验结果表明,针对复杂地面建筑场景,该方法的相对误识别率最大为0.125,绝对误识别率仅为0.028。基本满足相对定位技术的要求,为相对定位技术在成像末制导上的应用提供了有利的条件。
[1] MING Delie,TIAN Jinwen.Automatic infrared condensing tower target recognition using gradient vector features[J].Journal of Astronautics,2010,31(4):1190-1194.(in Chinese)明德烈,田金文.红外前视对一类特殊建筑目标识别技术研究[J].宇航学报,2010,31(4):1190-1194.
[2] SONG Dan,TANG Linbo,ZHAO Baojun.The object recognition algorithm based on affine histogram of oriented gradient[J].Journal of Electronics & Information Technology,2013,35(6):1429-1434.(in Chinese)宋丹,唐林波,赵保军.基于仿射梯度方向直方图特征的目标识别算法[J].电子与信息学报,2013,35(6):1429-1434.
[3] YANG Xiaoyu,ZHANG Tianxu,LU Ying.Building recognition based on geometric modeling FLIR images sequences[J].Journal of Infrared,Millimeter,and Terahertz Waves,2009,30(5):468-483.
[4] LIU Jing,SUN Jiyin,ZHU Junlin,et al.FLIR scene matching algorithm for complex ground target[J].Application Research of Computers,2010,27(1):350-352.(in Chinese)刘婧,孙继银,朱俊林,等.复杂地面目标前视红外景象匹配算法[J].计算机应用研究,2010,27(1):350-352.
[5] LI Zhijun,LIU Yang,CHEN Zengping,et al.Relative positioning technology of FLIR ground targets in terminal guidance[J].Infrared and Laser Engineering,2012,41(11):2861-2864.(in Chinese)李志军,刘洋,陈曾平,等.前视红外地面固定目标末制导相对定位技术[J].红外与激光工程,2012,41(11):2861-2864.
[6] Matas J,Chum O,Urban M,et al.Robust wide-baseline stereo from maximally stable external regions[J].Image Vision Computing,2004,22(10):761-767.
[7] K Mikolajczyk,T Tuytelaars,et al.A comparison of affine region detectors.IJCV,2005,65(1-2):43-72.
[8] ZHANG Guangjun,WEI Zhenzhong.A novel calibration approach to structured light 3D vision inspection[J].Optics & Laser Technology,2002,34(5):373-380.
[9] CHEN Bin,ZHAO Yigong,et al.A new approach to scene matching during electro-optical imaging terminal guidance[J].Acta Optica Sinica,2010,30(1):163-165.(in Chinese)陈冰,赵亦工,等.一种新的光电成像末制导景象匹配方法[J].光学学报,2010,30(1):163-165.
[10] R Hartley,A Zisserman.Multiple view geometry in computer vision[M].2nded.Cambridge:Cambridge University Press,2003:290-293.
[11] ZHANG Shengchong,CAI Jun,et al.Algorithm to reduce false alarm of IR small targets detection in complex background[J].Laser & Infrared,2015,45(2):221-224.(in Chinese)张晟翀,蔡军,等.复杂背景下减少红外小目标检测虚警率的算法[J].激光与红外,2015,45(2):221-224.
[12] CHENG Xiangzheng,ZHAO Wei,et al.Registration method between high-low resolution images based on calibration information[J].Laser & Infrared,2015,45(2):214-220.(in Chinese)程相正,赵威,等.基于标定信息的高低分辨率图像配准方法[J].激光与红外,2015,45(2):214-220.