基于人工智能的光电搜跟技术

张勇 李甜田 周军华 徐娜

(中国电子科技集团公司第二十七研究所 河南省郑州市 450015)

1 概述

光电搜跟技术主要是利用红外、微光、可见光、激光等光学探测设备，实现对车辆、行人、船舶、飞行器等地面、水面及空中目标的自动搜索、捕获、识别，同时通过计算脱靶量控制伺服机电控制系统运动，实现对目标的实时跟踪。

作为光电搜跟系统中需要解决的核心问题之一，基于光电信息的目标检测和智能识别一直是该领域的重要研究方向。早期的目标检测算法大多是基于滑动窗口的手工特征构建的，Viola-Jones 检测器，НOG 行人检测器，可变形部件模型等。但是，由于传统检测方法在识别问题上存在的对复杂环境识别精度低，模型构建通用性不强等特点，这些方法并不能得到广泛的应用。2012年卷积神经网络在ImageNet 分类任务中取得了巨大成功，2013年Girshick 等[1]人率先提出了区域卷积网络目标检测识别框架（Regionswith CNN features，R-CNN），自此人工智能技术在光电探测、搜索、识别和航迹关联方面的应用研究开始快速发展。

2 光电搜跟技术体制

2.1 传统工作模式

传统搜跟系统搜索部分通常由雷达作为目标探测捕获的信息源，通过雷达对光电跟踪设备引导指示进行精细化跟踪，传统的雷达-光电搜跟系统通常由这两部分构成。雷达作为“眼睛”，可以宽视场大范围实现对目标的广角探测预警，光电系统是在光频对目标进行精确跟踪，便于观察确认目标。指挥部决策者通常可以依据该系统，实现对目标探测-跟踪-决策一体化快速管控。

在传统搜跟体制下实际中虽然取得了广泛的应用，但也存在着雷达主动探测体制容易被电子对抗设备发现和打击、杂波干扰，成本造价高等弱点。近些年来光电探测器成像探测能力（宽天候、全天时）、探测作用距离、高效人工智能图像信号处理技术的快速发展，使得光电搜跟技术逐渐成熟并成为工程应用的热点。

2.2 光电搜跟技术工作模式

光电搜跟技术是集光、机、电、控制与信号处理于一体的多技术手段集成体制，通过光学探测目标、经图像处理检测与识别得到目标脱靶量，控制伺服运动机构实时运动，实现对目标的有效捕获与跟踪[2]。同时，由于综合信息处理能力的提升，在对疑似目标探测搜索过程中，可有效记录多种类、多数量疑似目标特征的图像特征及运动特征，结合真实目标的先验知识，可实现精准化目标检测识别及伪目标剔除、实现对真实目标的有效跟踪。

该体制下的目标探测判别决策功能可完全依赖于被动探测及自身信息处理，真正实现“搜索—跟踪—决策”一体化工作模式，实现人在环外，依靠人工智能等技术进步实现系统功能的高度智能化、自动化、精准化。光电搜跟工作流程图如图1 所示。

3 人工智能在搜跟技术中的应用

3.1 人工智能在图像识别领域的发展与应用

图1：光电搜跟工作流程图

人工智能技术在光电搜跟一体化体制中的应用主要包括人工神经网络、深度学习、大数据处理等多种相关技术。从2012年开始，随着技术的快速发展人工智能在图像识别方面得到了广泛应用。相关领域的研究人员解决了图像识别技术的发展和应用问题，人工智能在光电搜索识别跟踪领域迎来了广阔的发展空间。

无论是在军事还是民用领域，如车辆检测、行人检测、人脸识别、威胁目标识别预警、威胁目标特征识别等，一系列基于光电探测的数据识别分析，使人工智能在相关领域得到了快速发展和应用。

3.2 人工智能在搜跟技术中的应用研究

3.2.1 智能图像识别技术在光电搜跟技术中的应用研究

在运用图像处理技术处理图像时，人工智能其实与人的处理方法是相似的。传统光电搜跟系统通过雷达引导和人为修正实现目标的捕获跟踪。而实现人工智能目标捕获使得该项技术的运用形式也是与计算机处理过程类似。搜跟技术系统信息处理过程如下：

（1）通过图像探测获取场景信息，然后将获取的信息转化成数字电路信息进行传输，再调用相关的程序和工具对信息进行处理。

（2）对图像的存储实现之后就可以调用相关预处理技术对图片进行简单的处理，将图片的重要信息做锐化处理，使图片信息更加突出。

（3）使用相关的人工智能技术可以提取场景图片的相关目标信息，其中包括目标图像特征，相对大小，目标相对位置，以及帧间目标的相关运动特征等等，针对预设或预选的关键信息和需求对图片进行进一步的处理。

（4）依据识别提取到的目标相对位置信息和类型特征信息，人工智能决策处理系统可以自动存储一系列捕获的目标数据信息，并且通过自动选取或人工干预选取实现目标脱靶量控制伺服机电系统的速度闭环。

作为识别决策核心的人工智能图像处理技术，在搜跟系统处理过程中与人在环路的处理过程方法是非常相似的。人工智能中的图像处理技术也需要先存在图片才能对图片进行后续工作，类似于人工发现目标识别。不同的是人工智能中的图像处理技术相比于传统图像处理方法更加智能化，对于技术实现来说人工智能中的图像处理技术更加方便，操作更加可靠和更加简单。

图2：多目标跟踪航迹处理流程图

同时，随着相关领域应用不断进步，人工智能中的图像处理技术会进一步发展成通用性更强的一项处理技术，提升图像处理计算的复杂性，并且能够实现同样的多功能性，提升技术用性易。因此，基于人工智能中的图像处理技术将会是继传统图像处理技术之后的更好的识别技术，是实现搜跟系统一体化实现的基础技术保障。

3.2.2 人工智能结合图像识别技术在搜跟系统中的优势分析

人工智能中的图像识别技术中的应有，使光电搜跟一体化技术体制具备了智能化、自主化的优势，该特征使其在军事领域中具有极高的应用价值。

在人工智能的图像识别技术中，最突出就是处理视频信息时的智能化，智能化的处理也体现出了与传统图像处理技术的区别。人工智能的处理形式就是体现在处理图像时能够实现目标智能识别和选择，这就为搜跟技术系统提供了信息原动力，同时，智能化不仅仅实现了简单的目标识别，还能实现敌我行为分析和辅助决策等功能，赋予相关装备应用系统的高度自主化，具备相当程度的自动化响应能力。

智能图像技术的应用一定程度上决定了光电搜跟系统的实用化，使其能以更小的成本和良好的实用性与原有系统形成互补和兼容，更自主、高效的完成装备建设使命。

4 搜索跟踪中目标轨迹处理的数据决策

4.1 基于人工智能的多目标轨迹关联

4.1.1 多目标跟踪算法的发展

多目标跟踪（MTT）这一概念最早是由N.Wax 于上世纪50年代中期提出的，最初的目的是用于从雷达测量数据中得到飞机的飞行轨迹[3]。到了1960年，R.E.Kalman 提出了著名的Kalman 滤波，为目标跟踪的航迹维持提供了简单、高效的算法[4]，在此技术基础上经几十年的不断改进，多目标跟踪问题中的数据关联和滤波预测得到不断完善。

在多目标跟踪中，数据关联的大计算量一直都是系统处理的主要负荷。目前比较成熟的算法如最近邻域法[5]，选择距离跟踪门中心最近的候选目标对目标航迹进行更新，适合于高信噪比环境下的数据关联。1972年，Y.Bar-shafom 和A.J.Jafer 等提出了概率数据关联（PDA）滤波算法[6]，对所有在跟踪门内的测量数据进行概率意义上的加权平均作为滤波输出，优化航迹，并获得更多的后验信息。该方法的关键是计算量测j 属于目标t 的后验概率 ，滤波的输出为：

其中，m（k）为k 时刻跟踪门内目标i 的候选量测数目。

此后在PDA 方法的基础上，针对多目标跟踪门相交的情况引入了有效矩阵的概念，推出了联合概率数据关联（JPDA）[7]，此后在多目标跟踪处理方面又出现了最优联合数据关联算法、快速联合概率关联算法[8]、次优联合概率数据关联算法[9]和综合概率数据关联算法[10]，多假设跟踪算法(MНT)[11]等。

“青”与“白”是日本古代的基本色，在经历了平安到桃山的浓丽色彩风格后，由于禅宗的影响，日本人的色彩意识从绚烂归于平淡，转而追求自然色，并更进一步迈向佛教境界的“无色”。芭蕉回避浓艳的色彩无疑在色彩审美上继承了日本传统，也表现了个人在艺术风格上的追求。

在点目标跟踪技术方面，随着现代数学如小波分析、神经网络等的发展，Нong.L 和chengНongwei 等分别利用小波变换的多尺度特性将一定时间长度的测量数据分解成分辨率不同的低频分量和高频分量，而目标的机动信息特点可以在两个分量中得到不同的体现，则目标在时域和空域的机动性信息可以通过这些分量之间的“与”逻辑操作求解出来[12-13]。同时，通过合理的设计滤波器可利用这些分量对测量信号进行重构，以达到从测量数据中提取感兴趣的信息的目的。

随着计算机技术的发展，通过航迹间的融合,甚至是传感器间的数据融合来降低多目标跟踪虚警率的研究也得到了快速发展。尤其是s.spain,D.senguPta 和R.M.Kuczewski 等人将人工智能和人工神经网络技术应用于多目标跟踪，取得了可喜的成果[14]。

4.1.2 光电搜索中的多目标跟踪

光电搜跟技术的主要目的是通过全方位大范围的搜索，找出视场内潜在的威胁目标并进行跟踪。红外搜索的过程就是首先设定搜索俯仰角的上下限，后从下到上进行360 度周视扫描，在搜索的过程中对进入视场的红外图像进行目标检测，并将目标检测结果送入终端处理计算机。在实际过程中由于设备的转速与帧率很高，在短时间内会产生大量的目标，就需要运用目标航迹关联技术。利用航迹关联技术实现多目标跟踪主要有两大过程，一是从众多的目标数据中根据目标的特征和距离信息进行度量，找出真实并且正确的目标运动轨迹。二是提前关联数据,通过关联的数据对此时刻的目标状态进行滤波估计并预测下一时刻目标的位置,即预测与滤波。

由图2 可以看出，多目标跟踪是一个边扫描边跟踪的随时间递归的系统[15]。

首先将检测得到的小目标与已存在航迹中跟踪门内数据进行关联。如果确定与某一航迹匹配,则进入继续跟踪环节，如果判定为新目标,则建立新航迹，如果确定某一航迹对应的目标消失或飞出视界,则进入跟踪终结环节,如果连续几次匹配中失配或关联性较差,就删除该航迹。最后在已有的维持状态的航迹中，根据其中目标的速度、方向等,预测下一时刻目标的位置状态,并确定跟踪门的大小,等待下一批目标数据进行新一轮的循环递推。

4.2 跟踪过程中基于人工智能的跟踪策略决策

4.2.1 航迹的初始化

航迹关联需要在红外搜索的过程中进行，也就是边搜索边关联。当红外搜索系统将检测出来的目标信息送入航迹关联模块时，就开始启动航迹关联。航迹的初始化分为两种情况，一是当航迹个数为零时，对当前图像送进来的每个目标建立初始航迹。二是当此次送过来的目标没有与已知存在的航迹关联上时，就为该目标创建新的航迹。每完成一次航迹的初始化，系统就会建立一条以单个目标为起始点的航迹。

4.2.2 航迹的更新与维持

航迹在建立之后，在后续有目标送进来时，就需要根据新的目标对航迹进行更新，航迹更新为航迹关联算法的核心。航迹更新时，首先对当前帧图像检测出来的新目标，分别将每个目标与每条航迹进行关联。关联时，首先要看新目标是否落在航迹的跟踪门内，如果落在跟踪门内，就利用相应的距离特征进行决策，判断新目标与航迹是否满足相应的阈值，若满足，选择与该条航迹距离最小的目标，说明其与该航迹关联，并用新目标更新该航迹中的最新点。

4.2.3 航迹跟踪门限

航迹更新时，需要用到跟踪门。跟踪门是当前航迹中最新点周围的一个子区域，用来确定下一帧进行数据关联的区域范围，这样只需要对落在跟踪门内的目标进行关联就可以，计算量有效的减少。跟踪门限的大小取决于两方面：一是确保目标在跟踪门的概率大，二是确保算法概率高效；不能为了提高目标落在跟踪门的概率而忽略的算法本身的效率，这样会影响跟踪的实时性。

4.2.4 航迹更新判定准则

当有目标点进入航迹跟踪门内时，就要对目标点和航迹中的点进行匹配，判断他们是否关联，并选取最佳匹配点对。影响匹配的参数包括目标的图像几何特性、目标的运动特性、中心位置坐标等，相可用形状相关度、位置相关度来度量。

令Bi为航迹与i 目标的形状相关度，由航迹与目标的几何尺寸计算，计算公式为：

其中，S0(i)、C0(i)、W0(i)、Н0(i)分别为当前目标的面积、周长、宽度和高度，St、Ct、Wt、Нt分别为航迹中点的面积、周长、宽度和高度。计算结果为两者之间的特征距离。

令Ri为航迹与i 目标的位置相关度，由航迹与目标的位置计算，计算公式为：

其中，Xco(i)、Yco(i)为当前目标的水平中心和垂直中心，Xct、Yct为航迹中点的水平中心和垂直中心。最终的判断准则要结合特征距离和位置距离一起来看，所以令距离w=αB+R，其中α 为二者所占的权重比值。

4.2.5 航迹的预测

维持状态下的航迹中至少存在两个点，这时候需要对航迹进行预测，预测下一个目标所在的位置，还可以根据预测目标的情况来确定跟踪门。

小目标的运动速度和方向的变化近似高斯分布,即目标在短时间一般作匀速直线运动。根据这一原则,同时考虑算法的简洁和系统的实时性，通过采用标准卡尔曼滤波建立小目标运动模型和量测模型。预测时，根据目标的方位俯仰位置和速度等运动信息，预测新目标的位置、速度和相应的目标特征。

5 展望与总结

光电搜跟技术技术作为新一代武器装备建设的重要项目，能够实现搜索告警与跟踪定位等功能，具有隐蔽性强、费效比高、适装性好等优点。未来需重点在提升低空复杂背景弱小目标检测、地面目标识别、运动平台稳定控制、航迹关联与预测处理等方面进行研究，并结合偏振成像、计算成像、相干探测等新型光电探测手段，积极探索一体化、智能化、轻量化、信息化系统集成新途径，形成与现有侦察预警、火控引导等雷达设备的有效互补，提升我军在新质对抗体系下的生存作战能力。