基于神经网络分类的异类传感器目标关联算法

孟藏珍 袁定波 许 稼 彭石宝 王晓军

①(清华大学电子工程系 北京 100084)

②(中国人民解放军空军预警学院 武汉 430019)

③(北京理工大学信息与电子学院 北京 100081)

1 引言

相比于单传感器，多源信息融合系统可以在时间、空间、属性等层面提供更多维度的目标信息，能够满足日益复杂的用户要求。在民用、军事领域中得到广泛应用，如多传感器组合导航系统[1]、C4ISR 系统[2]、雷达组网系统[3,4]等。由于异类传感器能提供不同类型目标信息，实现信息互补[5]，在军事领域更是备受关注。目前，雷达与红外传感器是主要的异类传感器融合系统[6,7]。两类传感器可安置在运动或静止的平台上。当红外传感器安装在高速动态平台上而雷达放置地面上时，将构成军事领域中有着特殊用途的融合系统。因此，也备受关注。但是该类融合系统中，由于红外传感器缺少距离信息且平台高速运动，使得数据融合过程中系统误差的补偿及目标关联变得异常复杂。本文将就该问题进行讨论，并给出一种有效的解决方法。

多源信息融合按照同步方式可以分为同步融合和异步融合[8,9]。本文讨论同步融合情况。同步融合一般包括空时配准、系统误差补偿、目标关联等[10]关键环节。经典的处理流程中，系统误差补偿是目标关联的基础，补偿精确与否直接决定关联的质量；而系统误差精确补偿又以目标正确关联为前提，因此，实际系统中系统误差补偿与目标关联是紧密耦合在一起的，这给问题的研究和解决带来了极大的挑战。系统误差一般包括随机误差和系统偏差两部分[11]。随机误差可以通过滤波方法进行平滑，而系统偏差是慢变、相对稳定的误差，需要通过估计方法来补偿[12]。目前，主要系统误差补偿方法有实时质量控制法[13]、最小二乘法[14]、极大似然法[15]、广义最小二乘法[16]、精确极大似然法[17]等。上述方法多研究的是同质传感器间的系统误差补偿且需要距离信息，而红外传感器却只能提供精确的角度信息，因此，不能满足条件。另外，由于红外传感器在高速动态平台上，平台的姿态角在空间配准过程中会引入新的随机误差，最终导致在动态平台惯性坐标系下，系统误差变化呈现出一定的随机性。在下文，将根据数据分析给出一个直观的结果。在该融合系统目标关联中，主要的经典算法有匈牙利算法[18,19]、拍卖算法[20]、蚁群算法[21]、最近邻算法[22]等，但是在本文讨论的融合系统中，由于系统误差难于估计和补偿，上述关联方法很难奏效。

为解决上述问题，本文通过对大量系统误差数据进行了分析，统计发现该类融合系统中系统误差的变化局限在一个邻域内。根据此特点，本文提出了基于模式分类的目标关联方法。该方法避开了在该系统中，因为红外传感器缺少距离信息致使系统误差难以估计的问题，直接进行目标关联，简化了融合处理中间环节，提高了关联效率，而且对一定范围内变化的系统误差有很好的容忍度。本文采用BP神经网络进行分类，实验结果表明，平均目标正确关联概率大于86%。

本文内容安排如下：第2节主要对该融合系统中系统误差的特性进行分析；在此基础上，第3节介绍基于模式分类的目标关联算法；第4节给出本文方法的实验结果，最后是本文的结论部分。

2 系统误差特性分析

2.1 系统误差描述

图1 系统误差示意图

以雷达组网系统为例，经典的系统误差描述可用图1来表述。假设(ra,θa,rb,θb)为两传感器对目标的观测向量，设(xa,ya,xb,yb)为两传感器在全局坐标系中观测向量，则通过对Δra,Δθa,Δrb,Δθb进行一阶泰勒级数展开后，可以得到式(1)[11]从式(1)中可以看出，1个目标可以提供2个方程，2个目标或1个目标的2次量测即可提供4个方程，即可通过引言中提到的多种方法求解出(Δra,Δθa,Δrb,Δθb)，完成对系统误差的估计。但是在本文讨论的异类传感器融合系统中，rb或(xb,yb)是无法得到的，因此不能得到式(1)，现有经典的系统误差估计方法失效。

2.2 动态平台融合系统系统误差分析

对于高速动态平台上的红外传感器构成的异类传感器融合系统，其融合过程是在动态平台上完成的，因此需要将雷达观测数据同步到动态平台惯性坐标系中。该过程中空间的配准更为复杂，需要动态平台的姿态角参数。设雷达坐标系为北天东坐标系(North Universe East,NUE)，红外传感器为动态平台惯性坐标系，如图2所示。

空间配准可以通过3次欧拉角的旋转来实现，如图3所示。

假设SNUE为雷达对目标在雷达北天东坐标系NUE中的观测，PNUE为雷达对动态平台在坐标系NUE中的观测，均为转化为直角坐标下的数据，根据图3可得空间配准式(2)

图2 两传感器坐标系定义

图3 坐标转换示意图

SDT为动态平台惯性直角坐标系下数据，假设为SDT=(x,y,z)，因红外只有角度信息，所以需要转换至极坐标系下，如式(3)所示。

从式(2)、式(3)可以看出，在动态平台下系统误差除了传感器本身因素外，还引入了平台的姿态误差，同时因为红外传感器缺少距离信息，难以得到如式(1)一样的简明解析式。但是，可以尝试通过数据分析的途径来寻求解决方法。本文通过对大量观测数据统计分析，获得了系统误差的变化特征。图4是某雷达/红外融合系统中，两传感器观测数据时空配准后，在动态平台惯性极坐标系下系统误差的变化曲线。

从图中可以看出，因为上述因素的影响，系统误差表现出时变的特点，而且在同一时刻因为目标位置不同，系统误差对其角度误差的影响也不同，这样，通过数据实时估计系统误差难以实现。但是，从图中可以看出，对已确定的异类传感器融合系统，无论是方位角还是俯仰角，其系统误差总是在一定范围内变化。这个变化特性为目标的关联提供了新的契机。

图4 系统误差变化曲线

3 基于分类的目标关联算法

3.1 算法思想

由上文分析，可假设系统误差是在领域U(x0,δ)内变化。为讨论方便，假设已经过时空配准。设雷达目标观测为集合A,A={x0i,x1i,x2i,…,xni},i为观测时刻，n为雷达观测到的目标数。红外传感器目标观测为集合 B,B=,m是红外传感器观测到的目标数，m可以与n不等，即可能存在雷达传感器与红外传感器观测的目标数是不相同的。假设xk,i与分别表示雷达和红外传感器在观测时刻i对第k个目标的观测值。由误差变化特性可知，同一目标的两个量测之间的误差应该满足式(4)。

而来自两传感器不同目标之间的差值，除了系统误差Δx外，还有两目标间的相对位置差Δy，如图5所示。因此，一般情况下是不满足式(4)的，即

图5 目标间相对位置差示意图

根据式(4)、式(5)，即可将两传感器目标量测分为来自同一目标或不是同一目标。如式(6)所示。

通过式(6)即可实现对异类传感器融合系统中的目标关联，而且无需预先进行系统误差的估计和补偿。该方法将数据融合系统中目标关联问题转化为目标分类问题，实现了数据融合中系统误差估计补偿与目标关联的联合处理，大大简化了融合处理流程。对于参数维度不同的异类传感器(如本文中，雷达可提供3维参数距离、方位、仰角，而红外传感器只能提供 2维参数方位角和俯仰角)构成的融合系统中，实现目标关联有着特有的优势。

但是该方法在实际应用中，需要通过实验预先获得大量的训练样本，统计出系统误差变化曲线，用来获取目标分类的分界面。这在一定程度上制约了它的使用范围。另一方面，从图4可以看出，当目标之间距离相隔很近且有位置混淆时，使得Δ x+Δy ∈ U(x0,δ)时，即满足式(4)，而式(5)却不成立。此时，经分类处理后，可能出现两种结果：，这时关联正确的概率就只有50%。在这种情况下，如最近邻等方法也有类似的缺陷。

3.2 算法实现

目标分类实质上是模式识别问题。分类的方法有很多，本文选用BP网络来实现，充分利用神经网络强的非线性映射能力、容错能力，提高分类效率[23]。本文选用BP网络共3层，第1层是输入层，第2层是隐含层，共10个神经元，第3层是输出层，输出函数为线性函数。信号处理流程如图6所示。

图6 基于BP分类的目标关联处理流程

算法实现分两步进行：

Step1：BP网络分类器训练。如图6 中虚线指示的部分，先根据收集到的训练样本对上述构建的BP 网络进行训练。由式(6)可知，最终目标关联可简化为二分问题，因此，BP网络输出可定义为“1”或“0”，“1”表示该时刻两传感器观测数据是来自同一个目标，即目标关联正确；“0”表示该时刻两传感器观测数据不是来自同一个目标，即不能进行关联。用神经网络进行分类，其最终分类效果与训练的样本集有密切关系。因此，在此步骤中，要尽可能收集多的误差样本，尽可能覆盖系统误差的变化范围。网络训练可以离线处理。

Step2：实时目标关联。该过程为图6中实线部分，雷达观测数据经过空间配准后，与红外观测数据进行时间配准，做好目标关联的预处理。系统误差序列模块将两传感器经时空配准的数据相减得到误差序列，将误差序列输入到BP 网络分类器中进行分类识别，根据分类器输出是“1”或“0”，即可确定此时刻两传感器观测值是否来自同一个目标，完成目标的关联处理。

4 算法仿真

4.1 仿真数据

该系统中红外传感器安装在高速飞行的弹道导弹上，仿真中共选择了6个场景，每个场景中红外传感器观测到了4个目标，分别为2个目标群，每个群中有2个目标。雷达传感器观测到16个目标，分别为8个目标群，每个群中有2个目标。融合在两传感器时间交叠部分进行，要将雷达观测到的目标与红外观测到的目标进行关联，同一目标的观测关联在一起，认为关联正确，否则错误。

4.2 仿真结果及分析

以雷达目标1与红外目标关联为例，关联结果如表1所示。表2为6个场景中目标关联后，统计得出的平均正确关联概率。从表1中可以看出，雷达目标1在观测时刻99.9 s,100.1 s和100.3 s时的观测值与相对应时刻的红外传感器目标3的观测值关联上了，发生了错误关联。原因是在上述3个时刻红外传感器观测到的目标1和目标3的观测值很近，位置发生了混淆，导致在分类时不能满足式(4)，从而发生错配。除这3个时刻的观测值关联错误外，其他都是正确的。为评价本文所提出的方法的性能，实验中采用多组测试样本进行了验证，并给出了统计性能分析，如表2所示。从表2可以看出，在6个场景中23个目标(其中一个目标的数据用做训练数据)的关联统计结果看，平均正确关联概率大于86%。

表1 雷达目标1与红外目标关联结果

表2 雷达目标与红外目标关联成功概率

5 结束语

本文重点讨论了由高速动态平台上红外传感器与地基雷达组成的融合系统中，系统误差估计与补偿、目标关联等问题。由于在该融合系统中，红外传感器不能提供距离信息，使得现有基于距离信息建立误差模型的系统误差估计方法失效；另外，由于载荷平台高速运动，在数据融合中空间配准环节引入了平台的姿态误差(含有随机噪声)，使得系统误差的缓变特性被破坏，呈现出随机变化的特征。基于上述原因，在该融合系统的数据融合中，系统误差估计与补偿、目标关联问题变得异常困难。针对上述问题，本文通过对系统误差数据的统计分析，得出其变化范围局限在一个邻域内的特征。基于上述特征，本文提出了一种基于模式分类的目标关联方法。该方法将系统误差估计与补偿、目标关联等问题进行联合处理，大大简化了融合处理环节，而且对一定范围内变化的误差有较好的容忍度。最后，本文对该方法进行了实验验证，文中采用BP神经网络进行分类，实验结果表明了方法的有效性，通过统计分析得出平均正确目标关联概率大于86%。

[1]衣晓,何友.多传感器组合导航系统评述[J].火力与指挥控制,2003,28(4): 1-4.Yi Xiao and He You.Comments on multisensor integrated navigation system[J].Fire Control & Command Control,2003,28(4): 1-4.

[2]朱德成,刘俊先,罗雪山.基于仿真的 C4ISR 系统需求开发[J].火力与指挥控制,2009,34(3): 22-25.Zhu De-cheng,Liu Jun-xian,and Luo Xue-shan.Simulationbased requirement development of C4ISR system[J].Fire Control & Command Control,2009,34(3): 22-25.

[3]向龙,丁建江,吕金建.雷达组网系统抗复合干扰效果动态评估研究[J].现代雷达,2010,32(10): 22-29.Xiang Long,Ding Jian-jiang,and Lv Jin-jian.A study on dynamic evaluation of anti-complex jamm ing effect of radar netted system[J].Modern Radar,2010,32(10): 22-29.

[4]陈永光,李修和,沈阳,等.组网雷达作战能力分析与评估[M].北京: 国防工业出版社,2006.Chen Yong-guang,Li Xiu-he,Shen Yang,et al..Radar Networking Combat Capability Analysis and Evaluation[M].Beijing: National Defence Industry Press,2006.

[5]Dai Ya-ping and Wang Jun-zheng.Asynchronous data fusion of two different sensors[J].Journal of Beijing Institute of Technology,2001,10(4): 402-405.

[6]尹继豪,崔炳喆.雷达/红外数据融合的机动目标跟踪算法综述[J].航空兵器,2009,(5): 39-43.Yin Ji-hao and Cui Bing-zhe.Radar/IR data fusion algorithm for maneuvering target tracking[J].Aero Weaponry,2009,(5):39-43.

[7]郜丽鹏,叶方,司锡才,等.基于雷达、红外的数据融合算法研究[J].信息技术,2005,29(5): 8-10,67.Gao Li-peng,Ye Fang,Si Xi-cai,et al..Study on data fusion algorithm of radar and IRI[J].Information Technology,2005,29(5): 8-10,67.

[8]Bar-Shalom Y and Li Xiao-rong.Multitarget-Multisensor Tracking: Principles and Techniques[M].Storrs,CT: YBS Publishing,1995.

[9]Mallick M,Karant J,and Bar-Shalom Y.Multi-sensor multitarget tracking using Out-of-Sequence measurements[C].IEEE Proceedings of the 5th International Conference on Information Fusion,Annapolis,MD,USA,July 2002:135-142.

[10]彭冬亮,文成林,薛安克.多传感器多源信息融合理论及应用[M].北京: 科学出版社,2010.Peng Dong-liang,Wen Cheng-lin,and Xue An-ke.Multisensor Multi-source Information Fusion Theory and Application[M].Beijing: Science Press,2010.

[11]石章松,刘忠,等.目标跟踪与数据融合理论及方法[M].北京: 国防工业出版社,2010.Shi Zhang-song,Liu Zhong,et al..Method and Thoery of Target Tracking and Data Fusion[M].Beijing: National Defence Industry Press,2010.

[12]韩崇昭,朱洪燕,段战胜,等.多源信息融合[M].第2版,北京: 清华大学出版社,2010.Han Chong-zhao,Zhu Hong-yan,Duan Zhan-sheng,et al..Multi-source Information Fusion[M].Second Edition,Beijing:Tsinghua University Press,2010.

[13]陈春丽,杨红雨,李磊.基于自适应 Kalman滤波的改进RTQC算法[J].计算机工程与设计,2009,30(24): 5733-5735.Chen Chun-li,Yang Hong-yu,and Li Lei.Improved RTQC-algorithm based on adaptive Kalman filtering[J].Computer Engineering and Design,2009,30(24): 5733-5735.

[14]Leung H and Blanchette M.A least squares fusion of multiple radar data[C].Processings of RADAR,1994,Paris,France,1994: 364-369.

[15]Sokkappa B G.TOS# 16: Registration computation for RTQC.The MITRE Corporation,WP-7681,1971.

[16]Bar-Shalom.Multitarget-Multisensor Tracking: Applications and Advances[M].Boston: Artech House,1990.

[17]Zhou Y F and Leung H.An exact maximum likehood registration algorithm for data fusion[J].IEEE Transactions on Signal Processing,1997,45(6): 1560-1572.

[18]宋业新,陈绵云,张曙红,等.两类多目标广义指派问题的有效算法及其应用[J].华中科技大学学报(自然科学版),2001,29(1): 70-72.Song Ye-xin,Chen Mian-yun,Zhang Shu-hong,et al..An efficient algorithm for solving two multi-object generalized assignment problems and its application[J].Journal of Huazhong University of Science and Technology,2001,29(1):70-72.

[19]Gottschalk T D.Concurrent implementation of Munkres algorithm[C].Proceedings of the 5th Distributed Memory Computing Conference,April 1990: 52-57.

[20]柳鹏,高杰,刘扬.基于拍卖算法的目标分配问题优化[J].兵工自动化,2008,27(9): 22-24.Liu Peng,Gao Jie,and Liu Yang.Target distribution optimization based on auction algorithm[J].Ordnance Industry Automation,2008,27(9): 22-24.

[21]黄树采,李为民,李威,等.多传感器管理的目标分配问题蚁群算法研究[J].空军工程大学学报(自然科学版),2005,6(2): 28-31.Huang Shu-cai,Li Wei-min,Li Wei,et al..Multisensor management with ant colony algorithm for solving target assignment problem[J].Journal of Air Force Engineering University(Natural Science Edition),2005,6(2): 28-31.

[22]田宏伟,敬忠良,胡士强,等.基于多速率运动模型的多帧最近邻数据关联算法[J].上海交通大学学报,2005,39(3):413-416.Tian Hong-wei,Jing Zhong-liang,Hu Shi-qiang,et al..Multiple scan nearest-neighbor data association algorithm based on multirate kinematic model[J].Journal of Shanghai Jiaotong University,2005,39(3): 413-416.

[23]史忠植.神经网络[M].北京: 高等教育出版社,2009.Shi Zhong-zhi.Neural Network[M].Beijing: Higher Education Press,2009.