赵捍东,马焱,,张玮,张磊,李营,李旭东,
1中北大学机电工程学院,山西太原030051
2海军研究院,北京100073
判断空中目标的战术意图是舰艇对空作战的重要任务之一,是舰艇指挥员正确进行对空战指挥决策的前提条件[1]。空中目标攻击意图预判模型是舰艇威胁评估模型的组成部分。对于水面舰艇编队而言,面对空中多个来袭目标,急需在短时间内正确预判其来袭意图,并采取相应的反击或防护措施。
空中来袭目标意图预判实质是已知属性类别的分类问题,也是典型的模糊不确定问题。王昊冉等[2]应用多实体贝叶斯网络描述军事领域知识,然后构建了态势明确的贝叶斯网络模型动态地进行空中目标意图识别,但多实体贝叶斯网络需要大量主观知识,并且对于复杂问题,难以描述不确定对象的不确定关系。伍之前等[3]提出了基于直觉模糊产生式规则推理和多属性决策的空中目标攻击意图判断模型,但基于知识推理的方法需要有大量的知识储备,其计算量巨大,难以满足时效性要求。
机器学习方法是人工智能方法中的重要组成部分,它可以将现实复杂问题看成一个“黑箱”模型,利用以前的经验或历史数据,建立起复杂问题的模糊关系系统。为解决类似于空中来袭目标意图预判这种识别、分类问题,学者们提出了Skohonen神经网络、极限学习机、学习矢量化(LVQ)神经网络、随机森林、决策树等机器学习方法。纪野等[4]利用已有车型数据库,使用Skohonen神经网络对车型尺寸特征进行了分类,实验结果表明,Skohonen神经网络的分类方法具有较高的车型识别精度。郭欣等[5]将Kohonen和Skohonen神经网络算法应用到了大腿截肢者残肢侧的步态识别中,结果表明Skohonen神经网络算法平均识别率较高。裘日辉等[6]通过优化训练策略,利用单分类思想对极限学习机算法进行优化改进,将极限学习机优化分类算法应用于工业Tennessee Eastman(TE)过程的故障识别中,结果表明,极限学习机优化分类算法具有极快的训练速度,分类准确率较高。王路等[7]提取了叶片的几何特征和纹理特征,然后应用LVQ神经网络进行植物种类的识别,该方法对植物种类的识别效率较高。邓生雄等[8-9]提出使用随机森林分类模型对雷达高分辨率距离像进行目标识别,结果表明随机森林的识别性能和计算效率较高。这些机器学习方法都有较好的性能,但需要有一定数量的训练样本。为减小获取训练集的前期成本,实际问题中的训练样本往往较小。为能对空中来袭目标意图做出高效的预判,针对这一小训练样本问题,本文拟采用集成学习的思想,综合几种不同的机器学习方法,通过对小样本的训练,得到较高精度的分类效果。
集成学习因其能显著提高一个学习系统的泛化能力而受到广泛关注。其中,最经典的是AdaBoost算法和Boosting算法。基于AdaBoost算法技巧和思想衍生出了很多分类算法,如Real AdaBoost算法、Gentle AdaBoost算法、多标签集成学习算法、代价敏感分类集成算法等,其在多分类、代价敏感分类、不平衡分类、模糊分类等问题中得到了很好的应用[10]。集成学习仅使用多个学习器,没有利用好无标记样本,因此有学者提出了半监督集成学习算法[11],使得半监督和集成学习可以相互帮助,进一步改善学习器性能。为进一步改善集成学习机的预测效果,提高预测速度,降低存储需求,张春霞等[12]提出了“选择性集成”的概念,即从已有的基学习机中将作用不大和性能不好的基学习机剔除,只选择一些基学习机用于构建集成。本文也将使用“选择性集成”的思想。
集成学习通过将多个学习器进行结合,常可获得比单一学习器显著优越的泛化能力[13]。鉴于前人采用传统方法进行意图预判存在精度不够和时效性不佳的问题,本文拟应用异质集成学习器来解决该模糊不确定性分类问题。分别选取极限学习机、决策树、Skohonen神经网络和LVQ神经网络4种子学习器,使用集成学习结合策略构建异质集成学习器,然后利用该异质集成学习器训练测试已知分类结果的训练样本100次,得到训练集100次的分类实验平均准确率和计算时间。依据分类结果考虑是否进行集成修剪,以重新构建效率更高的异质集成学习器。
集成学习通过构建并结合多个学习器来完成学习任务,异质集成中的个体学习器由不同的学习算法生成。集成学习的结果通过投票法产生,即“少数服从多数”。要获得好的集成,个体学习器应“好而不同”[13]。集成学习的关键之处是如何设计泛化能力强、个体差异大的基分类器,形成多分类系统[14]。
极限学习机学习速度快、泛化性能好、调节参数少;决策树分类器原理简单、计算量小、泛化能力较好、对数据要求不高;Skohonen网络能够识别环境特征并自动聚类;LVQ神经网络无需对数据进行预处理,更加简单有效。这几种学习器都有较好的性能,并且各学习器之间差异较大。故本文先分别选取该4种子学习器,构建异质集成学习器。
极限学习机是一种单隐含层前馈神经网络,由输入层、隐含层和输出层组成,输入层与隐含层、隐含层与输出层神经元间全连接[15],如图1所示。设输入层与隐含层、隐含层与输出层间的连接权值分别为w和β。则具有N个输入的网络输出T为
式中,H为神经网络的隐含层输出矩阵。
目前已有很多种决策树[9,16-17]生成算法,这里采用C 4.5算法,该算法主要利用信息熵原理,选择信息增益率最大的属性作为分类属性,采用递归方法构造决策树的分支,完成决策树的构造。
采用信息增益率作为选择分支属性的标准,克服了信息增益选择属性时偏向选择取值多的属性的不足。
Skohonen是有监督自组织竞争型神经网络,其结构包含输入层、竞争层和输出层,竞争层节点呈二维阵列分布,输出层节点个数与数据类别相同,每个节点代表一类数据。输出层节点和竞争层节点通过权值全相连,当数据输入Skohonen网络,在权值调整时,不仅调整输入层与竞争层优胜节点邻域内节点的权值,而且调整竞争层优胜节点邻域内节点与输出层节点的权值[12]。在学习过程中,Skohonen神经网络的权值修改学习速率和神经元领域均在不断减小,使同类神经元逐渐集中,从而实现数据的有效聚类。Skohonen网络训练步骤参见文献[15]。
LVQ神经网络是一种用于训练竞争层的有监督学习方法的输入前向神经网络,其由输入层、竞争层和线性输出层构成,输入层与竞争层之间采用全连接的方式,竞争层与线性输出层之间采用部分连接的方式。LVQ神经网络算法可分为LVQ1算法和LVQ2算法两种,这里使用LVQ1算法,该算法的基本思想及步骤见文献[15]。
学习器结合可能从3个方面带来好处:由于学习任务的假设空间往往很大,可能有多个假设在训练集上达到同等性能,此时若使用单学习器可能会因误选而导致泛化性能不佳,结合多个学习器则会减小这一风险;学习算法往往会陷入局部极小点,有的局部极小点所对应的泛化能力可能很糟糕,而通过多次运行之后进行结合,可降低陷入糟糕局部极小点的风险;某些学习任务的真实假设可能不在当前学习算法所考虑的假设空间中,此时若使用单学习器则肯定无效,而通过结合多个学习器,由于相应的假设空间有所扩大,有可能学得更好的近似[13]。
选择好个体差异大的基分类器后,将不同类型的学习算法应用于同一数据集上,得到异质类型的基分类器,再对输出进行决策融合。
对同一组训练数据,分别采用不同的学习算法来训练得到不同的基分类器,然后再将它们组合,形成最终的分类器。
假定训练数据样本集X={x1,x2,…,xM},集合包含T个基学习器H={h1,h2,...,hT},其中hi在样本x上的输出O1为hi(x)。对分类任务来说,学习器hi将从类别标记集合中预测出一个标记,最常见的结合策略是使用投票法,这里使用相对多投票法。通过该决策融合方法,便可得到异质集成学习器。构建的异质集成学习器可高效地通过未分类数据样本,得到预测分类结果O。为便于讨论,我们将hi在样本x上的预测输出表示为一个N维向量,其中是hi在类别标记cj上的输出。决策融合的思路如图2所示。
构建异质集成学习器时所用到的相对多投票法可表示为
在集成子学习器后,再试图通过去除一些个体学习器来获得较小的集成,进行集成修剪。这有助于减小模型的存储开销和预测时间开销。去除部分学习器的原则是剔除精度低或耗时长的学习器。
假设水面舰艇编队由1艘导弹驱逐舰和4艘导弹护卫舰组成,其中导弹驱逐舰为指挥舰。编队在某海域巡逻时,仅依靠自身雷达对空中目标进行探测。但因有数据链,所以编队中任意一艘舰发现目标,其余舰都可以共享信息,并由指挥舰统一指挥各舰进行防御。编队通过雷达探测到不同时刻目标所在的经度、纬度和高度,然后通过计算转换成目标对应的方位角、距离、水平速度、航向角、高度等信息。本文运行环境为Windows 7系统,使用Matlab R2010b版软件进行仿真计算。
表1所示为已知意图的15批空中目标数据,该15组数据构成训练集。表2为探测到的未知意图12批可疑空中目标信息,该12组数据为待分类数据集。数据库中包含了空中目标的7个量化特征(方位角、距离、水平速度、航向角、高度、雷达反射面积和目标属性),这些特征与目标意图有着密切的关系。为了量化样本特征,分别用数值1,2,3表示目标属性大、中、小;用数值1,2,3,4,5分别表示侦察、攻击、掩护、监视和其他这5种意图类型。将空中目标的7个量化特征值作为学习器的输入,目标意图量化值作为输出。用训练集数据对设计的学习器进行训练,然后对待分类数据集进行分类测试。
利用异质集成学习器(包含极限学习机分类器、决策树分类器、Skohonen网络分类器和LVQ神经网络分类器4个子学习器),训练测试已知意图的15批空中目标数据100次,得到该训练集100次分类实验的平均准确率为93.267%,所用计算时间为2 186.83 s。此时得到12组未知意图的测试集分类结果为[其他其他其他其他侦察侦察攻击其他其他攻击侦察侦察]。集成学习并没有表现出较好的性能,计算时间太长,因此考虑进行集成修剪,以减小模型的预测时间开销。
为了去除部分精度低或耗时长的学习器,分别使用4个子学习器对训练集各进行100次训练测试,得到了各子学习器的平均分类准确率和计算时间,仿真实验结果见表3。
由表3可知,决策树分类器和LVQ神经网络分类器的分类准确率较低,Skohonen神经网络分类器和LVQ神经网络分类器分类耗时较长。该4个子分类器集成后并没有提高性能,反而使集成学习结果变得更差。这是因为要获得更好的集成,个体学习器应该“好而不同”,即每个学习器不能太差。由于LVQ神经网络分类器不仅精度低,而且耗时长,因此在集成修剪时将LVQ神经网络分类器剔除,只使用剩下的3种子学习器重新构成异质集成学习器。
表1 已知意图的15批空中目标数据Table 1 Data for 15 batches of air targets with known intention
表2 未知意图的12批待分类空中目标数据Table 2 Data for 12 batches of air targets with unknown intention
表3 各子学习器100次仿真实验结果Table 3 Results of 100 simulation experiments in each sub-learner
利用修剪后的异质集成学习器(包含极限学习机分类器、决策树分类器、Skohonen网络分类器这3个子学习器),训练测试已知意图的15批空中目标数据100次,得到训练集100次分类实验的平均准确率为99.93%,所用计算时间为224.78 s。此时得到12组未知意图的测试集分类结果为[其他其他其他其他侦察其他攻击其他其他攻击侦察侦察]。异质集成学习器修剪前后的训练样本实验分类结果如图4和图5所示;待分类样本预判结果对比如图6所示。可见修剪后的异质集成学习器分类准确率得到了较大的提升,分类精度基本上满足了军事要求;计算时间较修剪前缩短了将近一个数量级。
尽管修剪后的异质集成学习器预判精度很高,但预判所用时间还是较长,不能满足军事决策快速反应的要求。之所以集成学习器计算所用时间长,是因为构成它的Skohonen网络子分类器训练样本时耗时较长。为解决该问题,本文提出“线下训练、线上调用”的方法,即在水面舰艇编队通过雷达探测到空中目标之前,在线下计算机上训练历史采集的已知意图训练集,得到该复杂问题的“黑箱模型”,然后在有预判任务时,直接通过线上计算机调用事先已经训练好的模型,得到预判结果。使用该思想,得到改进后的仿真结果如表4所示。
表4 改进后学习器100次仿真实验结果Table 4 Results of 100 simulation experiments in improved learner
由表4可知,利用“线下训练、线上调用”思想,改进后的Skohonen神经网络子分类器的计算时间约缩短到原计算时间的1/2 000,改进异质集成分类器预判时间也缩短到原计算时间的1/45左右。从探测到空中目标到预判出各来袭目标意图总用时为4.972 s,预判精度为99.93%,很好地满足了精度和实时性要求。
空中目标来袭意图预判对于海上作战意义重大,就水面舰艇编队而言,急需能在短时间内正确预判空中各来袭目标的攻击意图,并采取相应的反击或防护措施。本文采用集成学习思想,综合4种不同的机器学习方法,提出了决策融合思想和相对多投票法,通过小样本的训练,得到了较高精度的分类效果。本文主要结论如下:
1)由极限学习机、决策树、Skohonen神经网络和LVQ神经网络4种学习器构建的异质集成学习器试验得到的平均准确率和计算时间欠佳,需要进行集成修剪,重新构建效率更高的异质集成学习器。
2)剔除LVQ神经网络后,由剩余3种子学习器构建而成的异质集成学习器的试验精度较高,但计算耗时长。由此提出对Skohonen神经网络子分类器进行“线下训练、线上调用”的改进方法,在保持高精度的前提下,很好地解决了时效性问题。
3)本文所用方法也为小样本分类识别问题提供了一种较好的实现途径。
[1]冷画屏,吴晓锋,王慕鸿.空中目标战术机动类型的实时识别[J].火力与指挥控制,2011,36(1):64-66.LENG H P,WU X F,WANG M H.Real-time recognition of air target tactical maneuvering type[J].Fire Control&Command Control,2011,36(1):64-66(in Chinese).
[2]王昊冉,老松杨,白亮,等.基于MEBN的战术级空中目标意图识别[J].火力与指挥控制,2012,37(10):133-138.WANG H R,LAO S Y,BAI L,et al.Tactical air target intention recognition based on multi-entities Bayesian network[J].Fire Control&Command Control,2012,37(10):133-138(in Chinese).
[3]伍之前,李登峰.基于推理和多属性决策的空中目标攻击意图判断模型[J].电光与控制,2010,17(5):10-13.WU Z Q,LI D F.A model for aerial target attacking intention judgment based on reasoning and multi-attribute decision making[J].Electronics Optics&Control,2010,17(5):10-13(in Chinese).
[4]纪野,李玉惠,李勃,等.有监督Kohonen网络的车型识别方法[J].传感器与微系统,2016,35(8):12-14,19.JI Y,LI Y H,LI B,et al.Research on vehicle type identification method based on supervised Kohonen network[J].Transducer and Microsystem Technologies,2016,35(8):12-14,19(in Chinese).
[5]郭欣,王蕾,宣伯凯,等.基于有监督Kohonen神经网络的步态识别[J].自动化学报,2017,43(3):430-438.GUO X,WANG L,XUAN B K,et al.Gait recognition based on supervised kohonen neural network[J].Acta Automatica Sinica,2017,43(3):430-438(in Chinese).
[6]裘日辉,刘康玲,谭海龙,等.基于极限学习机的分类算法及在故障识别中的应用[J].浙江大学学报(工学版),2016,50(10):1965-1972.QIU R H,LIU K L,TAN H L,et al.Classification algorithm based on extreme learning machine and its application in fault identification of Tennessee Eastman process[J].Journal of Zhejiang University(Engineering Science),2016,50(10):1965-1972(in Chinese).
[7]王路,张蕾,周彦军,等.基于LVQ神经网络的植物种类识别[J].吉林大学学报(理学版),2007,45(3):421-426.WANG L,ZHANG L,ZHOU Y J,et al.Computer-aided plant species identification based on LVQ neural network[J].Journal of Jilin University(Science edition),2007,45(3):421-426(in Chinese).
[8]邓生雄,雒江涛,刘勇,等.集成随机森林的分类模型[J].计算机应用研究,2015,32(6):1621-1629.DENG S X,LUO J T,LIU Y,et al.Classification model based on ensemble random forests[J].Application Research ofComputers, 2015, 32 (6) :1621-1629(in Chinese).
[9]姚莉娜,吴艳敏,崔光照.基于随机森林的雷达高分辨距离像目标识别新方法[J].郑州大学学报(工学版),2014,35(4):105-108.YAO L N,WU Y M,CUI G Z.A new radar HRRP target recognition method based on random forest[J].Journal of Zhengzhou University(Engineering Science),2014,35(4):105-108(in Chinese).
[10]付忠良.通用集成学习算法的构造[J].计算机研究与发展,2013,50(4):861-872.FU Z L.A universal ensemble learning algorithm[J].Journal of Computer Research and Development,2013,50(4):861-872(in Chinese).
[11]蔡毅,朱秀芳,孙章丽,等.半监督集成学习综述[J].计算机科学,2017,44(增刊1):7-13.CAI Y,ZHU X F,SUN Z L,et al.Semi-supervised and ensemble learning:a review[J].Computer Science,2017,44(Supp 1):7-13(in Chinese).
[12]张春霞,张讲社.选择性集成学习算法综述[J].计算机学报,2011,34(8):1399-1410.ZHANG C X,ZHANG J S.A survey of selective ensemble learning algorithms[J].Chinese Journal of Computers,2011,34(8):1399-1410(in Chinese).
[13]周志华.机器学习[M].北京:清华大学出版社,2016:171-191.
[14]张雁,林英,吕丹桔.集成学习在遥感分类中的应用[J].计算机与数字工程,2013,41(5):697-699.ZHANG Y,LIN Y,LV D J.Application of ensemble learning in remote sensing image classification[J].Computer&Digital Engineering,2013,41(5):697-699(in Chinese).
[15]王小川,史峰,郁磊,等.MATLAB神经网络43个案例分析[M].北京:北京航空航天大学出版社,2013.
[16]OLARU C,WEHENKEL L.A complete fuzzy decision tree technique[J].Fuzzy Sets and Systems,2003,138(2):221-254.
[17]王黎明.决策树学习及其剪枝算法研究[D].武汉:武汉理工大学,2007.WANG L M.Research on decision tree induction and pruning algorithm[D].Wuhan:Wuhan University of Technology,2007(in Chinese).