新一代步兵班组的多源图像侦察信息融合*

张露莹，王 鹏，景雅琪，闫星星

（1.北方自动控制技术研究所，太原 030006；2.解放军32381 部队，北京 100072）

0 引言

未来的战场环境越来越向网络化和信息化发展，在信息化的背景下，网络化侦察有着越来越重要的地位。在当前高度信息化的作战环境下，综合利用各种有源、无源、宽频域覆盖的军事传感器获取敌我双方目标情报信息并进行融合处理，形成高层决策信息已成为信息处理领域的研究热点［1-3］。在未来步兵班组的侦察概念中，由于空中、地面微型无人侦察平台的加入，侦察班组的构成将发生重大变化，大规模以人为主的侦察将不再是步兵班组侦察作战的主要方式，而将被有人/无人协同侦察方式所替代。图像信息是最直观的侦察信息，可以对目标快速识别，方便士兵直观地了解目标属性，对目标威胁程度的判断更加精准，对班组指挥员进行行动决策有着至关重要的作用。随着技术的发展，班组内各有人/无人侦察要素获取的图像侦察信息将越来越丰富，对多源图像侦察信息进行融合，为班组及上级指挥员提供全面、直观、准确的战场情报，将在未来的班组侦察作战中发挥越来越重要的作用。

1 新一代步兵班组的侦察体系

相较于传统的步兵班组，未来步兵班组将强化有人/无人侦察平台的协同侦察。未来步兵班组的侦察组织结构关系可以按照战场实时情况进行编配，上级侦察任务下达后，班组指挥员根据作战环境以及侦察任务，分别从单兵、地面无人侦察装置、空中无人侦察装置中选择适宜的侦察装备实施协同侦察，构成如图1 所示的侦察班组，完成侦察任务。单兵手持侦察装备与空中/地面侦察装置进行有效配合，具有多角度战场侦察、全方位精确目标识别等侦察能力。

图1 未来步兵班组侦察组成

2 新一代步兵班组的图像侦察场景

2.1 步兵班组典型侦察流程

基于步兵班组侦察组成及多种典型作战模式，根据作战任务、作战要素的不同，可以设计出多种典型作战场景。在班组指挥员进行侦察筹划后，侦察班组根据指挥员制定的侦察计划进行侦察任务。下页图2 是包含士兵、无人作战装备等要素的典型协同侦察流程。

图2 步兵侦察班组侦察流程

可疑目标出现时，班组指挥员根据侦察实际场景判断无人侦察平台或单兵是否可以独立完成侦察任务，可以独立进行侦察时，班组指挥员选择最佳侦察单元，将任务指派给指定的侦察单体，单体受领任务进行独立任务，对可疑目标进行多角度拍摄，再将拍摄图像进行融合，把最终融合信息传送给班组指挥员，班组指挥员根据实时目标状态信息判定威胁程度。

若侦察班组根据情势判定侦察平台或单兵无法独立完成侦察任务，指挥员将侦察目标信息发送给整个侦察班组，班组接收侦察指令进行协同侦察。将侦察视频、目标方向、距离参数等实时侦察数据上报班组指挥员，班组指挥员可根据汇总数据判定目标的距离、形状、大小等信息，显示实时态势图，得出可疑目标属性信息，判定威胁程度。

新一代步兵班组的多源图像融合侦察方式可以有效克服传统侦察方式的不确定性和局限性，提高实时精确探测和识别能力。

2.2 步兵班组多源图像融合场景

在收到班组指挥员的协同目标侦测指令时，以对地目标侦测为例，步兵班组的侦察流程如下。

2.2.1 目标一致

图3 目标一致的图像融合过程

班组指挥员在检测到可疑目标时，对空中无人侦察机发出定位指令，无人机对可疑目标进行追踪，通过平台上的综合侦察设备，获取目标的图像及方位距离信息，并传送给地面侦察装置。班组内的士兵和地面无人侦察车接收信息后，向可疑目标方向前进。通过两者拍摄到的实时图像信息，首先判断侦察目标是否一致，确认一致后，将两个平台获得的图像进行融合，得到融合图像。班组指挥员通过融合图像，得到目标的属性数据，判断其威胁程度。

[18]罗兰·巴尔特：《写作的零度》，《罗兰·巴尔特文集》，李幼蒸译，北京：中国人民大学出版社，2008年，第4页。

2.2.2 目标不一致

当士兵和地面无人侦察车拍摄到的目标相似百分比很低时，请求友邻班组协助，对目标进行二次侦察，与侦察班组拍摄图像进行相似度百分比对比，确认目标，融合有用图像信息，得到目标融合图像。在多源图像融合场景中，基于侦察数据，对多源图像进行有价值信息的筛选融合，生成实时的融合图像，为单兵了解目标属性，步兵班组进一步地侦察作战提供重要信息。

3 新一代步兵班组的多源图像信息处理

图4 目标不一致的图像融合过程

图像融合技术由军事需要而产生和发展，军事领域的需求是图像融合技术发展的重要动力来源［5］。由图1 可知，未来步兵班组的侦察信息形态有数据、音频、动态图像等多种形式。其中，图像信息相比其他侦察信息，对侦察目标的判断更加直观全面。在对可疑目标的侦察中，步兵班组的多源图像信息处理，通过不同侦察角度、不同侦察平台拍摄的源图像对比融合，实现基于图像信息的目标快速检测、定位与识别，使步兵班组对可疑目标有更加直观的了解。步兵班组将拍摄图像传送回班组指挥员，班组指挥员通过处理的图像融合，将目标属性、实时态势等信息分发给士兵终端实现情报展现。

3.1 步兵班组图像信息处理平台

步兵班组图像信息处理平台主要由士兵信息终端、地面/空中无人侦察平台及相应的软件组成，如图5 所示。

图5 步兵班组图像信息处理平台

士兵信息终端由步兵班组内的士兵携带，是士兵信息系统的主要设备，主要完成指挥控制、情报信息处理、态势信息处理与显示、通信网络控制、人机交互等功能。无人侦察平台信息接口包括微型地面/空中无人侦察平台的接口控制与信息处理模块、无线通信单元，完成信息的接入、处理和分发、微型地面/空中无人侦察平台控制、无线通信网络等功能。各信息平台都可独立完成目标侦察信息的获取，人机通过班组信息处理平台实现对侦察目标的信息共享。

3.2 图像信息处理流程

图6 图像处理流程图

班组多源图像处理在搭建的信息处理平台上进行。步兵班组的多源图像融合的流程一般为多源图像的预处理、图像融合、目标识别、情报分发以及情报展现，如图6 所示。图像预处理旨在提高图像增强等预处理功能，能够对接收的多源图像提供对比度调整、增强、降噪、拉伸、放大、缩小、压缩、解压缩和边缘处理等处理能力，改善拍摄图像的显示效果。图像融合能够完成多源图像融合，包括图像特征提取、图像特征匹配、图像配准等功能，其中图像匹配在下一步骤目标识别中具有十分重要的作用。目标识别能够根据目标的特征，完成目标特征的模式匹配、判别分类，实现基于多源图像融合的目标识别功能。班组指挥员的情报分发，主要用于根据作战需求和情报保障关系，对情报进行分级、分类和排序，快速及时分发情报，还支持情报信息的按需索取，实现情报信息源、情报用户、情报处理节点间的情报互通、信息共享。情报展现是完成情报态势生成，并以态势图、表格、图像、图形等多种显示方式完成情报的态势显示。

3.3 多源图像融合技术

多源图像融合技术实质上是对现实世界生物大脑综合处理图像信息功能的一种模拟［6］。步兵班组中不同传感器获取的图像信息会存在图像清晰度和完整度的互补或者互余，多源图像信息融合的基本原理就是通过对获取的多源图像进行综合整合利用，提高目标图像的可靠性，便于步兵班组进一步了解目标属性，为班组指挥员进行下一步的行动提供依据。

各侦察平台在精确的时空统一条件下进行目标信息处理，每个平台能够将目标数据进行实时融合，经过一系列相关的滤波算法，产生实时融合图像，实现快速共享。班组选择合适的情报处理软件，经过时空配准、数据关联、滤波估计等处理，建立班组内融合后的实时态势。其中，完成目标图像融合的关键技术就是图像配准。

3.3.1 图像配准方法

对班组获取的多源图像进行融合拼接，需要将不同传感器获取的有共同目标视点的成像图像进行坐标变换，将每幅图像像素的坐标X=［x，y］T投影到同一新坐标系中的某一坐标Xˆ=［xˆ，yˆ］T进行配准。首先需要确定新旧坐标之间的对应关系模型，利用该模型的参数解决图像投影问题。考虑如何准确地计算变换模型中的参数，其实质就是图像配准。

不同侦察平台使用的传感器不同，在不同条件下（侦察角度、光线等）拍摄的图像一般来说会有所不同，不同成像模式产生的图像分辨率、灰度值等也会不同，为了对拍摄目标属性进行深入分析，需要通过图像配准将不同传感器获取的多源图像数据融合起来。图像配准决定着融合效果是否理想，是多源图像融合技术的关键步骤。

图像配准就是指针对在不同条件下（时间、传感器、天气、照度、角度和摄像位置等）获得的同一目标的两幅（或两幅以上）图像进行匹配和叠加的处理过程，它是图像融合处理当中涉及到的一个基本的问题［7］。简单来说，图像配准技术就是将不同传感器获取的不同坐标的图像，以最佳的融合算法投影到同一个坐标系下形成一幅完整、清晰度较高的图像的规程。

根据图像配准利用图像的信息，可以将图像配准分为3 大类：基于区域的图像配准、基于变换域的图像配准以及基于特征的图像配准方法。基于区域的图像配准算法是不需要对图像进行预处理，利用图像的像素值直接参与到配准算法。基于变换域图像配准方法是通过傅里叶变换将图像由空域转换到频域，利用傅里叶谱完成图像的配准操作。第3种基于特征的图像配准算法的应用场景一般是，当图像之间存在无法避免克服的干扰噪声，造成成像问题，发生图像畸变时，采用其他两者图像额批准算法无法解决该问题，不能获得理想的配准结果，只能采用基于特征的图像配准算法。

表1 3 种配准方法优缺点

3.3.2 基于特征点的图像配准

步兵班组情报信息的来源主要为光电类侦察装备，信息的类型主要为不同传感器、不同来源、不同视角的图像、视频信息，各种可见光、红外图像传感器获取的异种图像具有灰度差异太大，噪声大的特点。综合考虑3 种配准方法的优缺点，基于特征点的图像配准算法较其他两种算法虽然在特征提取时会损失大量的图像信息，但是采用多传感器获取更多多源图像可以一定程度弥补这个缺点，且该方法的配准性能优于其他两种方法，对多源图像融合效果的作用更加理想，更适合步兵班组的侦察任务，所以采用基于特征点的图像配准算法更为合理。

基于特征点的图像配准算法的步骤是，首先利用Harris 算子从图像中提取特征点，这里选取角点，并获取匹配的角点对，然后根据这些匹配的角点对计算出图像之间的变换模型参数，最后通过计算出的变换模型参数实现图像的配准。

图7 图像配准过程

在进行角点匹配过程中，需要考虑误匹配和图像中角点位置不精确的情况。采用鲁棒的参数估计法——随机采样算法进行参数的估计投影变换，将源图像中的数据分为“内点”（即满足估计参数的点）和“出格点”（即不满足估计参数的点），最后用所有的“内点”反过来重新计算和估计函数的参数，利用这种方法可以有效地提高图像配准精度，完成图像的拼接变换。

图8 图像配准拼接过程

如图8 所示对同一视点从左至右依次拍摄的3幅图像进行图像拼接，图中用“●”表示提取出来的角点。然后分别对图像1 和图像2、图像2 和图像3这两对中的角点进行归一化互相关匹配，完成匹配步骤。其中含有出格点（误匹配的角点）。然后采用随机采样法进行投影变换矩阵参数估计，最终对3幅原始图像1、图像2 和图像3 进行拼接得到的一幅宽视野的全景图，如图8 所示，其中以源图像2作为统一的图像参照坐标系。

利用合适算法，采用图像融合技术，对同一场景的不同目标图像“对齐”或进行广义的匹配，从而获取目标更加广泛的图像信息，可以扩大侦察视野，增强步兵班组对侦察目标的属性分析，更加全面地了解战场环境。但是目前来看，信息融合技术仍面临诸多技术挑战，尤其针对国内现状，最终成熟运用到军事上还需克服许多困难［8］。比如不确定因素对算法的影响，在获取多幅原始图像的前提下，若出现某一传感器获取的是低分辨率图像或者黑屏图像，图像处理终端对于这些图像的处理方式，会影响算法对于全景图的拼接效果。同时，多学科知识体系的集成和应用（如人工智能技术，模式识别等）也是一大挑战。

4 结论

随着战场传感器技术的不断发展，战场多传感器数据融合系统必将在未来信息化战争中发挥更大的作用［9］。未来步兵班组将配有不同方式的侦察装置，适应多种战场侦察环境，完成多角度全方位的侦察，实现班组内成员间的信息交互与态势共享。其中多源图像的融合处理，可以充分发挥未来步兵班组的侦察能力，有助于提高目标识别的准确性和可靠性。随着各类无人侦察平台、侦察手段等要素不断发展，对图像融合概念与技术的研究需要不断深入探索，以便进一步提升未来步兵班组的作战效能，解决在复杂条件下的局部战场实时态势感知需求。总之，图像融合技术在军事上扮演着越来越重要的地位，是未来步兵班组掌握复杂战场把控能力的关键一步。