周正浩,曹 兵
(南京理工大学 机械工程学院,江苏 南京 210094)
图像处理技术是利用计算机对图像信息进行处理的技术,其热门研究课题——目标识别已在航天和航空技术、生物医学工程、通信工程、工业和工程、军事和公安、文化与艺术等方面获得了广泛的应用。红外跟踪技术通过检测目标的红外辐射,能自动、实时地实现对目标物的定位。将红外跟踪技术应用于军事领域,使武器装备不仅能探测目标,更能识别、追踪目标,大大增强了武器装备的智能化特性。
当前,出于人道主义的考虑,为了减少战斗人员的伤亡及更为精准有效地打击目标,世界各军事强国均把高新技术装备作为研究重点进行攻关,大力推进其智能化与信息化的发展。对图像处理技术在军事领域的应用情况进行梳理总结,是智能武器相关技术继续发展的基础。本文主要介绍了目标识别与跟踪技术的发展现状与其在军事领域内的具体应用场景,并对未来图像处理技术的军事化应用做了展望和建议。
作为当代网络信息传递的主要载体之一,图像是对实体对象直观且真实的描述。根据记录方式的不同,图像又可被分为数字图像和模拟图像。数字图像由模拟图像数字化得到,由大量基本元素——像素组成,信息量巨大,可以用数字计算机或数字电路进行存储和处理。随着时代的进步,人工处理图像信息的效率和准确度已无法满足高科技行业的要求,计算机图像处理技术应运而生。与人类识别图像的过程相似,计算机图像识别能够自动提取图像中的相关重要信息,并与预设的处理规则进行比对分析,以便进行后续操作[1]。除此之外,计算机图像处理技术还具有处理速度快、准确度高、灵活性好等人工手段难以媲美的优势[2],目前在智能交通、生物医疗、农业生产、工业制造等领域都有较为广泛的应用。
1.2.1 目标识别概述
目标识别是指将一个特定目标从其他目标中区分出来的过程,它既包括了两个极为相似的目标的识别,也包括不同类别的目标之间的识别等。在计算机视觉领域,目标识别作为其基本目的和研究热点,已经得到越来越成熟的发展。
目前目标识别的算法主要基于两种思路,一种是不依赖于先验知识,直接从图像序列中检测到运动目标并进行识别,另一种是基于运动目标的建模,在图像序列中实时找寻相匹配的运动目标。此外,计算机图像识别技术具有信息存储量大、关联性强、人为因素影响较大等特点[3]。
目标识别的主要过程包括以下几个部分:
(1)获取信息资料。现代智能传感器的广泛应用使得图像信息的获取更为便捷高效,清晰完整的信息资料是进行有效目标识别工作的基础。
(2)图像预处理。为了增强图像的可读性,尤其是在复杂背景下的图像识别率,需要进行图像预处理工作,使其重要特征显露出来。常用的预处理方法有滤波、灰度变换、二值化、图像复原、图像增强、平滑去噪、轮廓提取等。
(3)提取选择特征。复杂背景下,不同时间点获取的待识别目标很可能以不同的亮度、对比度、大小、姿态呈现。随着科技与生产力的飞速发展和个性化需求的激增,如车辆、服装、武器装备等识别目标的形式朝着多样化发展,使得构建泛化模型的难度也越来越大。提取特征的方法可分为人工特征提取和自动学习特征提取。传统的人工特征提取手段是在选定的感兴趣图像区域内进行手工设计提取目标特征;而近年来快速发展的自动学习特征提取则是通过大量的训练样本自动学习后进行特征提取。除此之外,针对具有多重类型特征的目标,应在进行分类器设计之前根据目标本身的特点对各特征加以选择。
(4)设计分类器。建立特征空间训练集后,分类器是解决目标识别问题的有效手段。常用的分类器有最小距离分类器、贝叶斯网络分类器、神经网络分类器、支持向量机以及传统的模板匹配分类法等[4-7]。
1.2.2 目标识别常用算法
目前在目标识别中应用较为广泛的算法主要有卷积神经网络(Convolutional Neural Networks,CNN)算法、深度迁移学习算法等。
作为深度学习的代表算法之一,CNN 是一种仿照生物视知觉构建的、由多种算法层组成的、具有平移不变特性的前馈神经网络,一般由输入层、卷积层、池化层、全连接层和输出层等组成。输入层可以处理多维数据,但数据或其他特征输入前一般需进行标准化处理,以提升算法的运行效率和学习表现。卷积层由大量卷积单元组成,可以获取图像较为完整的特征信息。池化层接收卷积层运算所得图像特征并进行筛选剔除,保留有效正确的信息。全连接层类似于前馈神经中的隐含层,主要起各层间的传递作用,在某些CNN 中也可由全局均值池化代替其部分功能。输出层的工作原理和功能与传统前馈神经中相似,在不同的工作要求和环境下,输出层输出不同的结果。由于其具有稀疏连接性质、表征学习能力和生物学相似性等特点,CNN 被广泛地应用于多种领域[8-9]。
CNN 是深度学习的重要组成部分,虽然其在图像处理领域表现优异,但训练过程中需要大量数据信息及硬件资源,影响了应用的实时性和实用性。迁移学习是一种运用已有知识求解其他相关领域问题的新型机器学习方法,在目标域进行模型训练时,可借助从源数据和特征中提取的信息,实现在相似或相关领域内的复用和迁移,使得传统的零基础学习转变为积累型学习,强化了深度学习的效果。在深度学习基础上进行优化的深度迁移学习,较好地解决了可用数据不足情况下的可应用性[10]。
除此之外,图像识别领域使用较多的算法还有不变矩算法和语义分割算法等。不变矩算法以二阶中心和三阶中心为理论依据,通过创建不变矩来实现图像平移、旋转、缩放过程中数学特征保持不变,一般将其与D-S 理论配套使用。图像的语义分割指的是对图像进行像素级的理解,并对每个像素点进行标签标注和分类,从而达到识别图像内每个物体的目的。分割过程中一般需使用阈值法、像素聚类法、图像边缘分割法等方法[11-12]。
1.2.3 常用算法优劣势分析
传统的模板匹配算法根据目标特征进行遍历匹配,算法简单,识别率高,能解决众多实际工程应用问题;但识别速度较慢,且应用于复杂背景下目标识别问题时需要庞大的模板数据库,增加了识别难度。深度学习的出现与发展便较好地解决了传统识别方法的不足。CNN 作为目前最为常用的深度学习知识模型,其最大的特点就是可以自动从大量数据中学习目标特征,省去了传统算法中繁琐的特征提取与选择步骤。虽需经过大量训练生成数据训练集,训练时间较长,但可以保证目标识别的实时性与鲁棒性,提高识别的准确度。此外,CNN 算法的识别系统性能可持续提升,这也是传统的模板匹配难以企及的。在此基础上,将迁移学习与神经网络结合,生成深度神经网络模型,将极大提升复杂目标的识别准确率和识别速度,且由于迁移学习基于预训练的源模型,在目标域训练集上的学习收敛速度提高,网络训练时间也随之减少。因此,结合了迁移学习的算法往往能获得较好的泛化性能,再加上众多研究机构已发布了基于超大数据集的模型,使得源模型的选择更为方便,在一些小样本工程问题中应用广泛。值得注意的是,迁移学习只在源模型深度特征为泛化特征时才能起作用,自行开发源模型较为困难。
1.3.1 红外跟踪技术概述
作为计算机视觉领域另一大研究热点——目标跟踪的一种形式,红外跟踪技术是指通过探测目标的红外辐射,获取其二维空间角坐标,形成误差信号,通过跟踪回路使光轴实时、自动地瞄准辐射源或对辐射源进行定位的过程、装置和技术。红外目标跟踪可大致分为点源非成像跟踪和成像跟踪两类,也可按照目标截获过程不同分为人工和自动两种形式。红外技术最先应用于军事方面,随着社会的发展,其在建筑、工业制造、航空航天、医疗、农业、火灾探测、气体检测、社会安全、交通等领域也得到了广泛的应用,红外技术同样也随之得到不断的丰富和提升。图1 所示为红外跟踪示例。
图1 红外跟踪示例图
1.3.2 红外跟踪常用算法
Kalman 滤波算法是一种在线性高斯环境下,通过观测系统的输入与输出数据,对系统进行最优估计的滤波算法。作为目前应用最为广泛的滤波方法,Kalman 滤波在通信、导航、制导、控制等领域都得到了较好的应用,在目标跟踪和状态估计方面也占据着重要地位。具体来说,Kalman 滤波根据一较为准确的初始值不断进行修正估计,从而使得修正值逐步接近真实值,其中数据质量直接影响到滤波效果。而跟踪目标时容易受到噪声、杂波、复杂背景以及其他不利因素的影响,难以得到准确的观测值,从而削弱滤波效果。故在针对弱小目标或复杂背景下,直接利用Kalman 滤波器进行精确的红外目标跟踪变得难以实现。然而,若使用Kalman 滤波器对弱小目标位置进行初步定位及预估,再借助其他手段对预估区域内的运动目标再次匹配,则有望提高跟踪目标定位的准确性。
Mean-Shift 算法是一种密度函数梯度估计的非参数聚类算法,通过迭代逼近,在样本密度高的区域找到概率分布的极值,以此来确定目标位置。其具体算法思想是假设不同簇类的数据集概率密度分布也不相同,找到任一样本点密度增大的最快方向,样本密度高的区域对应于该分布的最大值,这些样本点最终会在局部密度最大值处收敛,而收敛到相同局部最大值的点被归为同一簇类。由于其具有可以处理各种形状的簇类、参数设置简单、算法结果稳定等优点,该算法在目标跟踪问题中也得到了广泛的应用[13]。
1.3.3 两种算法对比分析
Kalman 滤波是一种优秀的线性系统状态估计和预测算法,在解决目标快速运动或受到干扰、遮挡等情景时能发挥较好的功能;但应用于非线性系统时,处理速度会显著降低,且针对于运动目标状态发生变化的情况,如转弯、加减速等,往往无法取得令人满意的效果。相比较而言,由于Mean-Shift 算法依据相似性最大化原理,在目标物发生严重遮挡或速度过快时容易丢失目标,但对于运动物体尺寸和形状的变化有优良的适应性。若将两种算法结合使用,即无遮挡时采用Mean-Shift 算法,遮挡时引进Kalman 滤波器,则可有效地弱化单一算法产生的弊端。
基于机器视觉的传统匹配方法和基于CNN的深度学习方法等是目前国际上常用的两类目标识别方法。随着云计算与大数据等概念的出现与发展,基于CNN的深度学习方法逐渐成为目标识别技术中的主流。对于环境复杂的军事目标识别,深度学习更是有着传统计算机视觉方法无法企及的优势。
与我国相比,一些发达国家在军事目标识别领域的建树颇丰,理论更成熟,落地项目更多。比如搭载在美国福特号航母上的宙斯盾系统以及爱国者反导系统,可以实现对敌方导弹的定位追踪并预测其飞行轨迹;俄罗斯的米-28 武装直升机可以实现对空中飞行目标的自动识别;一些欧美国家研制的战术侦查车,均可以完成在较远距离探测范围内实时跟踪强机动性目标物。我国在侦查探测与目标识别方面起步较晚,技术水平相对落后,很多技术手段还停留在理论构想与实验测试阶段,列装部队的目标识别平台也少之又少,具有良好识别准确率与稳定性的军事目标识别系统亟需深入研究[14]。
军事目标可分为海、陆、空三大类,现代战场复杂的环境对海、陆、空目标识别技术都提出了严峻的挑战。
首先,海陆空三大领域的目标识别技术难点略有不同,主要表现为:
(1)海上军事目标主要指海军舰船。识别舰船时可能会受到海面波浪、空中云层的影响,同时低灰度值的舰船目标将造成目标与背景对比度过低,对于目标特征提取与精确识别提出了考验。海战中复杂的电磁环境也是影响舰船目标识别的一大因素,因此,今后对于目标识别中抗电磁干扰技术的研究会成为提升海洋目标识别的关键问题。
(2)地面军事目标主要包括人员、卡车、坦克、装甲车、火炮等武器装备。随着现代战争的发展,军事目标的伪装变形已成为常态,是否能正确且快速地识别真假目标是评价目标检测系统有效性的一个重要考量。此外,根据地面目标的特性,针对地面弱小目标的识别以及目标发生遮挡时的处理手段也会成为未来的重点研究方向。
(3)空中军事目标主要指军用飞机、无人机、导弹等。由于空中目标通常进行快速移动且会出现状态快速变化的情形,如转向、翻滚、加减速等,这对军用目标识别技术的实时性提出了较高的要求。研究高效的图像预处理方法,并提高数据处理速度,对于确保识别的实时性具有重大意义。
其次,出于保密性考虑,公开的军事目标数据资料稀少,难以进行大规模的数据训练。为此,革新现有技术,研究面向小样本的识别算法,或是利用深度迁移学习将成熟的源模型应用至军事领域变得至关重要。
除此之外,由于军事伪装变形技术的广泛应用与各种反识别、反侦察手段的日渐成熟,战场信息呈现出一定的模糊性与欺骗性。另有一点值得注意的是,目标识别需遵循国际军事目标识别原则,对于不从事敌对活动或具有攻击豁免权的对方目标应准确判断,避免陷入国际战争伦理问题。利用图像处理技术消除军事目标识别中的不确定性,是完善军用目标识别系统,提高其识别准确度与稳定性的关键所在。
最后,军方研究人员通常根据军事目标特性及军事应用实例进行识别算法的开发与研究,其算法的普适性不高。为了方便军事领域其他分支的迁移应用,可对初始算法模型进行深入挖掘,提高其泛化特性,同时完善现有的目标识别评价体系,提升目标识别算法的质量,以推动目标识别技术在军用领域的快速发展。
在军事领域中,目标跟踪技术对于加强国防力量建设具有重要的意义[15]。基于目标跟踪的视频监控可以帮助我方更快地掌握战场环境并对敌方单位进行搜索与跟踪,了解敌方动态,以求在战争中抢占先机,处于主导地位。除此之外,融合了目标跟踪技术的机器人视觉导航系统也是一个值得研究的方向。可灵活移动的云台将使得目标跟踪的智能化与实时性大大增强。最后,目标跟踪中的智能视频监控手段也能快速侦测到边防的敌对分子或其他不利情况,为保护我国军事机密提供技术支持。
目前国际上已有大量武器装备应用了目标跟踪技术,主要包括应用于高炮、导弹、坦克等武器装备的火控系统以及一些红外搜索系统等。坦克火控系统自诞生至今其功能逐步完善,目前部分装备了稳像式火控系统的三代主战坦克已具备目标跟踪功能,配合驾驶员人工操作可以显著提升坦克装备在行进期间跟踪和打击运动目标物的能力。例如,美国的M1A2SEP 型坦克在加装雷神公司研制的目标跟踪模块后,已成为美军现役最先进的数字化坦克;德国的豹2A6 坦克已部分装备FLP-10/EMES-18 型火控系统,以便车长和炮长在全天候条件下进行目标捕捉。
受到计算机技术水平的限制,国内对军事目标跟踪技术的研究起步较晚。20 世纪90 年代以后,随着国内计算机水平的大跨步发展,国内各高校和科研机构在目标识别与跟踪等图像处理技术上进行了大量科研工作并深入挖掘其在军事领域的应用场景。21 世纪初期,我国在某型主战坦克上首次实现了视频图像目标的自动跟踪,装备了稳像式火控系统后,该型号坦克可以在行进间对机动目标进行攻击,炮手发现目标并按下跟踪按钮后,系统可自动完成目标锁定追踪至发射火炮的全过程,已基本达到国外先进的坦克用目标跟踪系统水平[16]。
军事目标跟踪以目标识别为前提,除了需要应对目标识别过程中产生的挑战,还要解决如下几点难题。
首先,战场中虚假、伪装目标干扰严重,单特征跟踪已无法适应现代战争的复杂环境。为保证目标跟踪的鲁棒性,可以进行多特征信息融合算法的研究。其中,如何完成特征融合准则的有效设计以实现最佳融合和利用多传感器组网技术获取目标的深度特征是两个值得研究的方向。
其次,单目标跟踪已无法满足现代战争的需求,能够兼顾准确性与实时性的多目标跟踪技术将成为未来军事目标跟踪的发展趋势。目标局部或完全遮挡、目标数目随机性、强机动性目标难跟踪等问题将成为制约多目标跟踪发展的几个重点难题,亟需予以攻关。
最后,基于多目标跟踪研究的基础,可将其迁移至民用监控安防等领域,届时如何解决密集目标重叠、咬合问题及大数量目标检测与跟踪将会成为新的热点。
图像处理技术与军事武器装备的融合将成为未来武器装备发展的潮流,为此,对现有图像处理技术的不足之处进行优化改良将会成为未来几十年的重点难题。重点解决海陆空目标识别难题,应对样本稀缺、信息不确定、算法普适性不高等挑战,以及基于多信息融合和多目标跟踪的研究,是军事目标识别与跟踪技术发展的重要助推力。深化图像处理技术在军事领域的应用,对于提升我军作战能力,提高我国国防科技实力意义重大。