多模态信息融合处理技术研究

甘雨田

为了保证目标识别与跟踪性能，技术人员需要对不同传感器获取的信息进行融合，实现协同探测。但不同传感器不仅在安装位置、物理特性、采样频率、灵敏度、精度等方面存在差异，输出的信号形式也存在差异性。这些差异性使得多模态信息无法直接使用，需要进行信息融合处理。本文对多传感系统管理和信息融合技术进行了研究，对时间配准和空间配准进行了分析，为多模态信息融合策略提供了理论参考价值。

一、引言

多模态信息融合处理技术是一种对多源数据信息进行采集、处理、融合的综合匹配应用技术。不仅数据源存在不同格式和记录方式，而且应用源也存在不同的應用模式，不同的传感装置具备数据独立性和信息共融性。如何将不同的传感装置进行数据信息融合，得到精确度高、抗干扰性强的感知信息是数据信息融合的关键，也是本文研究的重点内容。

二、 多传感系统管理

技术人员以多传感装置为基础，将多信息综合处理模块与多数据交互模块相结合，可以实现多系统协同管理。多信号融合器将采集到的多源信号输入到系统中，将采集到的信息在系统中进行整合，完成多目标采集、处理、分析任务，数据信息的收集和处理，都是根据系统的需求进行分配的。因此，多信息综合处理模块与多数据交互模块的集成属于系统综合管理部分，是数据信息融合的核心功能模块。

多传感器系统管理功能框架（MSMF）能够将各传感器和传感网络整合在一起，从而完成对数据网络的监控和数据的管理，将传感器的信息通过传感器存储到网络中的各个节点，这样就形成了网络感应器；感应器与网络连接后，再通过通信协议进行握手互联形成综合管理功能框架。而传感器管理架构系统（SMAS）主要由传感器设备、数据存储模块、分析处理芯片等组成，其中数据存储模块负责传感器数据的临时存储和备份存储，传感器监测和故障报警则由分析处理芯片负责，传感器设备则负责数据的采集和预处理，向分析处理芯片传递原始数据，并按照要求向数据存储模块发送规定的存储信息。

三、多传感信息融合

多传感信息融合处理能够为多类传感器在不同环境下的应用提供更精确可靠的信息，多模态传感信息的采集和处理可以更好地实现系统在多场景环境下的多目标信息融合。使用多模态设备采集数据后，技术人员对采集到的数据进行预处理，然后在融合的过程中进行数据转换，最后再进行数据处理。

（一）信息融合的问题

信息融合技术是一种高集成度的数据采集处理技术，可以对多源传感器数据进行有效处理，并对数据进行整合。多传感器协同处理能够在空间和时间上对齐传感器数据，是提升系统性能的首要前提。但是，由于实际环境采集情况不是理想状态，传感器数据无论空间还是时间都存在采集和处理偏差，传感器数据在正常情况下总是无法直接对齐。

（二）信息融合技术

大多数多传感信息融合方法都是假定不同传感器的时间戳精确对齐，这其实只有通过严格的硬件同步才能保证，但对于大部分低价的感应器来说，硬件同步是没有任何作用的。在实际操作中，传感器数据的时间戳将受到时钟不同、触发机制不同、传输延迟、数据阻塞、抖动和偏移等因素的影响，出现测量时间和时间戳之间的偏移。因此，有效传感器融合的首要前提是准确的时间校准。空间特性统一就是在传感器之间确定转动和平移，其中离线校准是目前空间校准的主流方案，优点是精度高。本文从时间标定和空间标定两方面入手，为多传感融合提供数据对齐的方法。

1.时间标定

在进行数据量测时，由于传感器本身特性和人为操作原因，测量信息不同步，需要统一处理这些不同步信息使其同步，这些测量信息不能直接进行融合处理。多传感器的时间配准将不同时间、间隔的信息转化为统一的时间描述，实现不同传感器之间的配准。多传感器之间的时间配准为后续时间起点对齐做了计算处理，需要标记出不同感测器装置的启动时间；在后续处理数据时，以此时间戳为准时间。以A、B两种感应器为例，其计时校准作用如图1所示。两个感应器A和B的初始瞬间不同，经过时间校准后变为同步器。

时间配准采用按精度线性插值的方法，内插外推各传感器上传的目标初始数据，并将高精度观测时间上的数据推导到低精度观测时间点。具体步骤如下：

选择系统时间片。线性插值方法默认为同一时间片内，根据具体情况，选择时间片时应有所区别。

根据测量精度的不同，对各类不同传感器的上传数据进行增量排序。

利用选择的系统时间片，在低精度的时间点内插外推高精度观测时间上的数据，形成目标观测数据的一系列等间隔。

2.空间标定

不同的传感器在进行数据量测量时所使用的坐标系并不是一个统一的坐标系，需要进行坐标变换。同时，传感器不能完全安装在一起，各传感器的测量数据在传感器相对距离过大的情况下也会出现偏差。空间配准，就是补偿和估计不同传感器对物体在空间内不同量测信息的偏差，统一不同参考系的信息，并将其转化为相同参考系的数据。空间标定主要包含两点：一是向同一坐标系变换坐标，二是补偿量测偏差。参考的坐标系类型在不同的传感器收集数据时不一样，因此坐标系转换需要在不同传感器之间实现数据融合，在同一坐标系中转换不同坐标系下的传感器数据来表示，以坐标转换技术实现空间配准。

四、多传感目标分配

在多传感器融合处理过程中，多目标分配需要考虑多个传感器的实时信息。由此，多主体的多信息在得到信息质量保证的同时也可以得到最大程度的优化，从而达到信息融合效果的最大化。多视角计算基于层次聚类的融合算法，对多数据的收集和处理要求更高效。此外，可以将数据特征融合进行归类，再将各特征集合起来做出决定。融合方法会有不同的信息综合结果，但各数据特征是存在独立性的。采用基于特征融合的方法，可将单一目标分为多个共同特征的子目标。

在多传感器信息融合处理中，多目标分配是以特征融合为基础的计算方式，多任务处理的核心问题则是多检测点的分配和权值确定。在计算权值函数时，首先要将多源数据集分成多个子集，分别计算每个子目标的权值，以提高多点信息处理的效率，因此需要考虑多目标权数，保证多信息分块的准确性，由目标权重确定子空间的权重。如果多系统的目标都是多主体的目标，则目标识别率的高低取决于多子系统中不同对象对多信息的感知能力，多数据的感知能力强，通过多观测器获取的信息量就大。

综上所述，多传感器信息融合处理是将多数据信息进行融合，在数据集上进行特征提取，通过融合得到数据信息，再参数化处理多系统目标。在多源数据融合中，多特征信息是对象的集合，数据中包含多属性信息，多感知信息和决策信息在融合的过程中会共享信息。从多个维度组合信息，形成一个包含多个传感器的多子系统，这些传感器的每一个参数不同于所测数据的类别和种类，不同的传感器所包含的信息量也不一样，所以需要处理不同维度的传感器信息，这样才能更加精准地匹配不同传感器的融合特征参数。

五、结束语

本文通过对多模态信息融合处理技术中多传感系统管理、多传感信息融合和多传感目标分配的应用研究，阐述了多传感数据融合系统的主要工作方式和数据处理方法。通过对时间标定和空间标定的方法分析，说明了数据融合时需要对各模态传感器进行时间和空间的统一计算。基于此，在多目标识别中进行特征分类可获得数据计算权值，分配合适的权值信息则可增加多传感融合可靠性，提升多模态信息融合实际应用水平。

作者单位：甘肃林业职业技术学院