基于图像信息的坦克目标姿态估计技术研究

刘泓佚，胡林亭，史圣兵，侯习平

（中国白城兵器试验中心，吉林 白城 137001）

基于图像信息的坦克目标姿态估计技术研究

刘泓佚，胡林亭，史圣兵，侯习平

（中国白城兵器试验中心，吉林 白城 137001）

信息化条件下的战争要求坦克具有网络化打击的能力，能自主完成威胁评估和火力分配任务。这些任务以获取敌方目标的火力指向、攻防状态等信息为前提，与姿态信息相关联，因此，研究坦克姿态估计技术意义重大。对现有的一些单目姿态估计方法进行分类；讨论了部分方法估计坦克姿态的可行性；阐述了坦克姿态估计存在的问题和难点；对姿态估计技术提出了建议，供后续的研究参考。

图像信息，坦克，姿态估计

0 引言

目前，战争形态正由机械化向信息化转变，坦克用分队形式实施网络化协同作战是重要的战争发展方向。网络化协同作战要求坦克火控系统和分队指控系统之间的链路通畅。指控系统在充分利用各个单车信息的基础上，实现全局的武器目标自动分配，这种分配不会受到人员生理条件、经验、战场环境等因素的影响。武器目标自动分配的前提是战场态势分析和目标的威胁评估。态势分析和威胁评估需要获取目标的类型和目标的状态，其中目标状态中的姿态信息对威胁评估来说很重要。敌方坦克目标的姿态信息包括坦克车体的朝向、炮塔的朝向以及炮管的俯仰角度。当敌方坦克的炮塔朝向己方时，威胁更大，需要率先消灭；车体的姿态除了反应坦克的运动方向外，还反应了坦克防御能力的强弱，同一发炮弹击中坦克正面对其毁伤效果很小，而击中其侧面即可以直接摧毁它。目标的姿态信息是威胁评估的关键环节，没有姿态信息作为支撑，威胁评估和态势分析难以完成，武器目标的自动分配也难以实现。

从图像中获取坦克姿态信息是一种被动手段，能在不暴漏己方位置的前提下，达到估计和感知敌方坦克姿态的目的，但从图像中获取坦克姿态的专项研究并不多，目前基于图像信息的姿态估计方法不能很好地达到估计坦克姿态的目的。本文对现有的一些姿态估计技术进行归纳总结和评述，对技术的难点进行分析，对技术的发展进行展望。

1 姿态估计方法的分类

基于图像信息的姿态估计方法涉及很多领域，通过查阅文献将其分为基于识别和基于测量的两大类方法。

1.1 基于识别的方法

一般的目标识别，要为分类器找寻合适的机器学习算法，学习目标在所有观察视角下的特征，从而在不同类别的物体之间进行分类；而基于识别方法的姿态估计，是学习或者存储目标在特定姿态下的特征，用分类器或其他手段在同一目标的众多姿态中识别出特定姿态，或者在不同类目标中找到具有特定姿态的特定目标［1-13］。粗略分为3个方面：构建特征并采用某些分类策略或某些学习算法（如SVM、级联分类器、神经网络等）进行识别分类；用距离法在构建的模版库中寻最优解；利用主成份分析的方法。分别对应下面3个段落。

范彬［2］等对红外图像去噪，用免疫算法选出最适于识别的特征，将特征送入支持矢量机（SVM），与事先建立的多个姿态模板进行匹配，以达到检测目标和姿态估计的目的。但是此方法仅使用红外图像，红外图像携带的信息有限，因此，只能对姿态进行粗估计。孙思佳［6］等利用飞机多边形顶点个数、最长线段两侧顶点个数、同底三角形面积比这些特征不变量对目标进行描述，并制作了匹配的策略以完成姿态的分类匹配。李新德［11］等提取目标Hu矩、归一化转动惯量、仿射不变矩、轮廓离散化参数和奇异值特征5个特征量，利用PNN网络和DSmT组合规则对姿态进行分类识别，有良好的实时性和识别准确率。文章侧重于对不同类飞机进行识别，而且每一类飞机中的姿态数目较少。飞机有高度对称性，而且其形状在不同姿态下有显著地特点，但是坦克目标的特征没有飞机的特征明显，坦克姿态发生变化时其外轮廓变化并不大，无法使用同底三角形面积比等适合于描述飞机的特征。

除了训练分类器外，也有人直接通过距离法在构建的模版库中寻最优解来完成对姿态的分类。胡薇［12］等采用奇异值分解和欧式距离判决法，建立了类别库和多个姿态库，将分解后的图像送入类别库找到与之距离最小的类别，然后送入这一类别对应的姿态库匹配姿态，达到姿态识别的目的。徐超［13］等构建了坦克不同姿态下庞大的模版库，为了提高匹配时的速度，对库中的图片进行聚类分析，形成有32个类的一级模版库，用类内中心距选取本类中具有代表性的图片，将众多代表性的图片构成二级模版库。选取SIFT特征进行匹配，匹配时先在二级模版库中搜索，然后在对应的一级模版库中搜索。目的是从空中识别坦克目标，不过其实验用的样本坦克不是真实的，坦克也不在自然的环境中，除此之外使用的所有样本坦克的炮塔和车体都是朝同一个方向，没有考虑炮塔的姿态变化。

Yoshimura［14］对旋转模版集做主成份分析提取特征图像，在计算归一化相关性时用特征图像的线性组合代替模版，然后使用多分辨率图像结构来减少旋转模版的数量和位置搜索区域，在低分辨率图像层中，位置和角度在大的范围中获取，在下一层中，不仅仅是目标位置的搜索范围，模版旋转角度的范围也会被限制在先前结果的范围中。Hiroshi［15］制作一些目标在不同光照和姿态下的图片集，通过主成份分析和一系列方式构建降维的全局空间和目标姿态空间，将训练目标集投影到空间中，对离散点使用三次样条插值，计算不同目标和特定目标姿态在空间中的超曲面（全局空间中不同目标的超曲面可能存在交叉和缠绕），通过两个空间的超曲面来判断目标类型和姿态。鲍毅［16-17］构建单个特征空间识别特定目标，构建多个姿态空间识别特定目标姿态。Leonardis［18］提出了一种自组织的框架，在训练集中建立低维多特征空间，其中使用了“特征空间生长”和“特征空间选择”。

1.2 基于测量的方法

1.2.1 姿态（精确）测量方法

当对姿态估计的精度要求较高时，可以考虑采用姿态（精确）测量的方法［19-26］，这种方法目前广泛用于飞行器交会对接的姿态估计中。它涉及到坐标系转换和摄像机标定，需要解算姿态方程，分为单目、双目测量。应用姿态测量方法需要满足下面两个条件之一，第一是待测目标上有明显的数字或者其他标记，并且这些标记是按照测量需求排布的（这类目标称为合作目标），第二是待测目标上没有按照需求排布的标记或数字，但是目标上有明显的特征，可能是直线、曲线区域（这类目标称为非合作目标）。满足第一个条件时的单目测量解法有三点法、四点法、N 点法、POSIT 法［23］（Pose from Orthography and Scaling with Iteration）。Long Quan［24］提出用四点法对目标进行姿态估计的解法。张彗星［25］等采用五点法对航天器的姿态进行测量。Meshoul提出用蚁群算法解N点法，估计目标姿态。满足第2个条件时的单目测量解法主要有基于点特征的姿态解算法和基于直线的姿态解算法。傅丹［26］对基于直线特征的非合作目标与空间平台的相对位姿测量方法进行了研究。在识别坦克的姿态时，不可能在敌方坦克上作明显的标记，因此，针对合作目标的姿态测量方法无法使用，坦克上也没有从任何角度都可以观察到的明显直线和曲线特征，因此，非合作目标的姿态测量方法也无法使用。

1.2.2 基于投影变换的姿态估计方法

如果目标的特征明显，能够从目标形状中提取对称轴方向，并且目标到观测点的距离已知时，能够采用直接投影变换的方式对目标的姿态进行估计。张凯［27］等提出一种基于几何解算的飞机姿态计算方法，此方法不需要建立大量的模板，不需要在飞机上定义特征点，对特征信息的要求低，抗衰减能力也较强，计算速度快。由于飞机具有高度对称的形状，作者对飞机图像上的轮廓进行主分量变换求出飞机二值图像中对称轴的方向向量，再通过三角变换得到偏航角。已知机身长度和飞机到观测点距离的情况下，可以得到机身在飞机参考平面平行成像条件下的长度，经过三角变换求出俯仰角。这种方法需要获取目标的距离，而且对目标的规则度和形状有特殊的要求，不适合识别坦克的姿态。

1.2.3 基于直线特征检测的姿态估计方法

当待测目标形状简单并且具有明显的直线特征时，可以利用直线检测的方法进行姿态估计，检测到直线的斜率和长度，再通过一定的计算就能得到目标的姿态。以炮弹为例，它有两条平行线，能够利用直线检测的方式完成姿态估计。张娅丽［28］等人采用去噪、边缘提取和霍夫变换的方法在高速电视拍摄的炮弹图中计算炮弹的俯仰角，偏航角和滚动角。炮弹的结构很特殊，它的边缘是两条平行线，根据检测出的直线特征即可判断姿态。但是炮弹是混在背景中的，抑制背景和正确地找到炮弹边缘直线是很难的工作。王峰［29］等人采用canny算子提取边缘直线，canny算子没有普适性，在不同的环境中需要手动变换参数，否则会检测出很多不相关的直线。这类方法需要解决的问题有两个，一是如何在检测出的众多直线中找到目标边缘的平行线；二是如何强化目标边缘的同时抑制背景的边缘。这一方法可应用在对坦克炮管的识别中，炮管的结构和炮弹类似，通过炮管的边缘线斜率和长度就能计算炮管的姿态。

2 坦克姿态估计的难点和存在的问题

目标识别是在不同类型的目标中找到特定目标，检测到特定目标的任何姿态，都可以作为将目标锁定的判据。姿态估计是通过目标的内部纹理、外部轮廓和结构关系等特征，在众多姿态中寻找特定的姿态。而同一个目标的不同姿态之间相似度可能较高，不易区分，因此，在估计姿态前，往往需要增强目标轮廓和目标内部发生变化的区域，使不同姿态的目标在观察处的差异增大，并且由于自然背景中目标周围的环境和光照会发生变化，估计姿态时也对使用的增强或者分割等手段提出了一定的要求。

坦克处在复杂的地面背景中，背景会对坦克姿态估计，尤其是火炮身管的姿态估计带来很大的干扰，因此，需要突出坦克目标和身管并抑制背景。如果有理想的分割方法能将目标从背景中分离，会使问题简化。可是由于地面背景复杂多变，目前基于阈值、区域和轮廓的三大类分割算法，不能完全适用于所有情况下的地面目标分割，在人工根据实际情况选择算法并调整参数的情况下，才勉强获得较好效果。如果采用目标分割的方式，要求算法有较好的普适性，能自动完成分割、突出目标区域、抑制或消除背景。

目前对于坦克姿态识别的研究，大部分都以软件生成的坦克模型图和拍摄的模型坦克图作为素材，模型的仿真无法完全模拟自然环境中观测真实坦克时受到的光照、天气等因素的影响，因此，获得的结论和结果的参考价值有限。

目前有一些估计飞机、船舶等姿态的方法，飞机等物体形状特殊，特征易于描述，并且背景简单（甚至研究某些对象时不考虑背景），因此，姿态估计容易实现，并且供选择的方法也很多，但是无法直接将其用到识别地面的坦克目标。目前研究坦克姿态估计技术的文献较少，哪些特征适合描述坦克，哪些方法适合用于坦克的姿态识别还需要探索。

3 建议与展望

将复杂的问题简单化是一种研究思路，坦克的整体模型复杂，难以让计算机全面理解。可以通过寻找部分简单结构的特点来判断姿态，如在跟踪框中寻找炮管的平行线，炮管的平行线特征明显，便于用计算机语言描述。

坦克待打击的目标较远，需要许多手段增强成像设备中获取的图像，受启发于生物视觉而构建的模型有着良好的增强效果，如视网膜模型，视觉注意模型等等，可以借鉴仿生学的发现来构造模型，提高待处理图像的质量。即使能得到清晰度和对比度较高的坦克图片，让计算机估计出坦克的车体和炮塔朝向也很困难，完全将姿态估计技术应用在信息化网络化的战争中，还有很多工作要做。

通过深度学习方式构建的分类器检测坦克目标或者估计姿态，从方法原理上看优于一般的识别检测方式。通过CNN（卷积神经网络）建立特征图，较为完整地保留了图像本身的信息，而传统方法在使用人为构建的特征，会损失部分信息。Faster-Rcnn、YOLO［30-31］等相关方法在姿态估计中的应用值得探索。

［1］赵军.基于模型的飞机识别方法研究［D］.西安：西北工业大学，2004.

［2］范彬.地面战车红外图像自动目标识别关键技术研究［J］.光电子技术，2012，32（3）：175-179.

［3］曹建.一种运用角点特征的快速目标姿态估计算法［J］.小型微型计算机系统，2014，35（1）：159-163.

［4］王国刚.仿射不变子空间特征及其在图像匹配中的应用［J］.红外与激光工程，2014，43（2）：659.

［5］王斌.一种基于轮廓线的形状描述与匹配方法［J］.电子与信息学报，2008，30（4）：949-952.

［6］孙思佳.改进的基于模型匹配的快速目标识别［J］.电子设计工程，2013，21（11）：190-193.

［7］陈拓.几何不变性及其在3D物体识别中的应用［J］.中国图形图像学报，2003，8（9）：993-1000.

［8］李兴唐.仿射变换的飞行器识别［J］.光学精密工程，2009，17（2）：402-408.

［9］许强.基于物体特征轮廓的单类判别方法［J］.计算机辅助设计与图形学学报，2009，17（2）：402-408.

［10］李凯永.地面红外目标图像识别方法研究［J］.电光与控制，2009，16（3）：71-74.

［11］李新德，杨伟东，DEZERT J.一种飞机图像目标多特征信息融合 识 别 方 法 ［J］. 自 动 化 学 报 ，2012，38（8）：1298-1307.

［12］胡薇.基于子空间的3D目标识别和姿态估计方法［J］.红外与激光工程，2004，33（6）：592-596.

［13］徐超.单目图像中姿态角估计的坦克目标测距方法［J］.光子学报，2015，44（5）：0512002-1-0512002-8.

［14］YOSHIMURA S，KANADE T.Fast template matching based on the normalized correlation by using multiresolution eigenimages［C］//Ieee/rsj/gi International Conference on Intelligent Robots and Systems'94.'Advanced Robotic Systems and the Real World'，IROS.IEEE，1994（3）：2086-2093.

［15］MURASE A H，NAYAR S K.Parametric eigenspace representation for visual learning and recognition［C］//Proceedings of SPIE-The International Society for Optical Engineering，1993，2031.

［16］鲍毅.三维目标离面旋转识别研究［D］.南京：南京师范大学，2008.

［17］鲍毅.三维目标离面旋转和非线性光照识别研究［J］.仪器仪表学报，2007，28（8）：1440-1444.

［18］LEONARDIS A.Multiple eigenspaces［J］.Pattern Recognition，2002，35（11）：2613-2627.

［19］尚洋.基于视觉的空间目标位置姿态测量方法研究［D］.长沙：国防科学技术大学，2006.

［20］赵玉华.合作目标的飞行器姿态测量方法及其误差补偿模型的建立［J］.电机与控制学报，2010，14（9）：36-40.

［21］李晶.基于多点合作目标的多线阵CCD空间物体姿态测量［J］.光学精密工程，2013，21（6）：1635-1641.

［22］张冲.基于颜色标记的三维目标姿态估计研究［D］.秦皇岛：燕山大学，2014.

［23］赵连军.基于目标特征的单目视觉位置姿态测量技术研究［D］.北京：中国科学院大学，2014.

［24］LONG Q.Linear N-point camera pose determination［J］.Ieee Transactions on Pattern Analysis and Machine Intelligence，1999，21（8）：774-780.

［25］张慧星.一种基于目标特征的航天器间相对姿态测量方法［J］.装备指挥技术学院学报，2004，15（2）：55-58.

［26］傅丹.基于直线特征的空间目标三维结构重建和位姿测量方法研究［D］.长沙：国防科学技术大学，2008.

［27］张凯.基于几何解算的飞机三维姿态测量方法［J］.火力与指挥控制，2012，37（7）：43-46.

［28］张娅丽.基于投影匹配的姿态测量方法研究［D］.北京：中国科学院研究生院，2010.

［29］王锋.飞行目标姿态测量中的图像处理方法［J］.光子学报，2006，35（11）：1780-1783.

［30］REN S，HE K，GIRSHICK R，et al.Faster R-cnn：towards real-time object detection with region proposal networks［J］.Computer Science，2015，25（9）：1-1.

［31］REDMON J，DIVVALA S，GIRSHICK R，et al.You only look once：unified，real-time object detection［J］.Computer Science，2015，21（3）15-21.

Research Summary on Pose Estimation of Tank Target Based on Image Information

LIU Hong-yi，HU Lin-ting，SHI Sheng-bing，HOU Xi-ping
（Baicheng Ordnance Test Center of China，Baicheng 137001，China）

The form of war under the conditions of informatization requires the functions of networked attack on the tank fire control system，which shall independently complete threat assessment，fire distribution and other tasks.The realization of these tasks are on condition of mastering the conversion of attack and defense，the direction of guns and other status information.As the information is concerned about target estimation，consequently，it is significant to study the technique of tank pose estimation.In this paper methods for attitude estimation using monocular vision measurement are classified；the feasibility of part methods which estimate tank posture is discussed；the difficulty of the estimation problems are set forth；finally the personal suggestions of this field are given for follow-up studies.

image information，tank，pose estimation

TP391；TJ811

A

10.3969/j.issn.1002-0640.2017.11.01

1002-0640（2017）11-0001-04

2016-09-05

2016-11-07

刘泓佚（1990- ），男，吉林省吉林市人，硕士。研究方向：计算机视觉，图像处理。