多源信息融合研究进展综述

姜长三，曾 桢，万 静

（贵州财经大学信息学院，贵阳 550025）

0 引言

随着大数据时代的到来，我们面临着越来越多种类、规模庞大的数据［1］。以往，由于技术和数据收集手段的限制，我们只能依靠单一信息源获取所需信息。随着现代科学技术的不断创新和信息采集手段的不断完善，我们能够从多个来源和不同类型的信息源中获取信息，这使得多源信息融合在实际应用中变得越来越重要。

多 源 信 息 融 合［2］（multi-source information fusion），又称为多传感器信息融合，是指将来自不同来源、不同类型、不同空间分辨率的多个信息源进行集成和处理，以获得更全面、更准确的信息。这些信息源可以是遥感数据、社交媒体数据、传感器数据等。

多源信息融合提供了比单一信息源更丰富的信息，从而提高对目标的认知能力和决策水平，并为科学研究提供更多的参考。研究多源信息融合不仅可以提高信息的准确性和可靠性，还可以增强数据的利用价值，提高决策的科学性和精准性，并促进技术的创新和发展。

1 多源信息融合概述

1.1 信息融合的功能模型

多源信息融合的功能模型主要关注信息融合的过程，包括哪些主要功能和数据库，并说明系统各组成部分之间的相互作用过程。在历史上，人们提出过许多种多源信息的融合模型，但其中最受欢迎、也最权威的是美国JDL 模型的改进版本［3］，其模型如图1 所示。其他的功能模型还包括I/O功能模型［4］、Omnibus模型［5］等。

图1 JDL多源信息融合功能模型

在信息融合系统中，预处理是指对原始数据进行过滤和处理，以提高数据质量并减少噪声和冗余。目标评估则利用特征提取和目标识别技术，将原始数据中的对象进行分类和标注，生成已知目标库。态势评估将已知目标库与其他情报信息相结合，形成全局视图，帮助用户理解当前态势和趋势。威胁评估则综合多源情报信息，包括敌方意图、能力、行动等信息，对潜在威胁进行评估和预测。过程优化包括自适应算法和决策支持系统，用以提高信息融合过程的效率和准确性。最后，数据库系统存储和管理信息融合所需的各种数据，包括传感器数据、情报信息、分析结果等，为信息共享和查询提供基础。

1.2 多源信息融合的层次结构

多源信息融合通常涉及多个层次的处理和分析，每个层次都具有不同的技术和方法，并且每个层次的输出结果又会成为下一层次的输入。通过逐层分析和处理，可以得到更综合、全面的情报图像，以支持更好地理解和应对现实世界中的复杂问题。

1.2.1 数据层融合

数据层融合是多源信息融合中至关重要的一个过程。它涉及将来自不同源的原始数据进行整合和转换，以使它们可以在相同的坐标系下进行比较和集成。其融合过程如图2所示。在数据层融合的过程中，需要考虑数据的精度、完整性、可靠性等多种因素。这个过程的特点包括多样性、大规模、时效性、去冗余性。

图2 数据层融合

数据层融合具有许多优点。首先，通过去冗余、去噪、对齐等技术，它可以提高数据质量，并更好地反映真实情况；其次，将多源数据进行整合和统一格式的转换，以便进一步分析和决策，可以提高数据价值；此外，减少数据冗余可以提高数据可用性和处理效率。

然而，数据层融合也存在一些缺点。由于各种原因可能会出现数据缺失的情况，这会影响到融合结果的完整性和精度。由于需要处理大量数据和复杂的计算任务，数据层融合需要大量的计算和存储资源，处理困难。

1.2.2 特征层融合

特征层融合是一种多源数据信息处理方法，通过提取各种数据源的特征信息，并对其进行分析和处理，从而保留足够的重要信息以期为后期决策分析提供支持。特征层融合有以下优点：①减少待处理数据量：通过提取原始数据信息的特征，特征层融合可以减少待处理的数据量，从而大大提高数据处理效率和实时性；②提高数据处理精度：将来自不同数据源的特征信息进行融合，可以得到更加全面、丰富的数据表示，从而提高数据处理精度和准确性；③支持多样化数据处理需求：特征层融合可以根据不同的数据处理需求，选择不同的特征提取算法和融合策略，从而满足各种不同场景下的数据处理需求。融合过程如图3所示。

图3 特征层融合

1.2.3 决策层融合

决策层融合是多源信息融合中的一种高层次融合，其目的是将来自多个决策器的判决结果进行整合，从而得到更加准确、可靠的决策结果。通过综合考虑多个决策器的判决结果，决策层融合可以降低单个决策器的误判率，提高决策的可靠性以及模型的鲁棒性。但决策层融合需要将来自多个决策器的判决结果进行整合，增加了计算时间和存储空间的需求。融合过程如图4所示。

图4 决策层融合

1.3 多源信息融合的系统结构

1.3.1 集中式结构

集中式结构是最简单的多源信息融合结构之一，它由一个中心节点控制所有传感器、采集设备和计算机。这个中心节点负责收集所有原始数据，并在其上进行处理、融合和分析，如图5所示。集中式结构具有以下特点：①系统管理简单，易于维护；②数据处理效率高，可以对所有数据进行实时处理；③由于所有数据都经过中心节点，因此可以保证数据的一致性和完整性。其也存在一些缺点：①如中心节点成为了系统的瓶颈，一旦中心节点出现故障，整个系统就会瘫痪；②由于所有数据都要经过中心节点，因此需要大量的带宽和计算资源。

图5 集中式融合结构图

1.3.2 分布式结构

分布式结构是将多个节点分布在不同的地方，每个节点都有自己的传感器和计算资源，并且可以通过网络进行通信和数据交换，如图6所示。分布式结构具有的特点为：①系统具有很高的可靠性，当某个节点出现故障时，其他节点可以继续工作；②数据处理效率高，每个节点都可以对其本地数据进行实时处理；③分布式结构可以根据需要进行扩展，可以添加更多的节点。而分布式结构存在的一些缺点是：①系统的管理比较复杂，需要对每个节点进行单独管理和维护；②节点之间的通信可能会受到网络带宽和延迟的影响。

图6 分布式融合结构图

1.3.3 混合式结构

混合式结构是将集中式结构和分布式结构相结合，既有中心节点，也有多个分布式节点。中心节点负责整个系统的控制和管理，而分布式节点则负责采集数据和进行实时处理，如图7所示。混合式结构具有以下特点：①同时具备集中式结构和分布式结构的优点；②可以灵活配置，根据不同的需求选择不同的结构；③可以根据需要对系统进行扩展和升级。但是，混合式结构也存在一些缺点：①如系统的管理比较复杂，需要同时管理中心节点和分布式节点；②不同节点之间的通信可能会受到网络带宽和延迟的影响。

图7 混合式融合结构图

2 多源信息融合中的方法

2.1 估计理论方法

2.1.1 卡尔曼滤波

卡尔曼滤波是一种用于估计系统状态的数学方法，其一般应用在控制理论、信号处理和导航等领域［6］，而在信息融合领域有着十分重要的应用［7］。卡尔曼滤波器会综合利用传感器测量值和系统模型来估计系统的状态，并且通过动态地调整预测和观测之间的权重，能够有效地抑制噪声和误差的影响。卡尔曼滤波器的核心思想是将系统建模为一个随机过程，并且在每一次观测时使用贝叶斯定理来更新对系统状态的估计。具体来说，卡尔曼滤波器包括两个步骤：预测和更新。

在预测步骤中，卡尔曼滤波器会基于上一时刻的状态估计和系统模型来预测当前时刻的状态，并且同时估计预测的误差。在更新步骤中，卡尔曼滤波器会将系统的观测值与预测值进行比较，并且根据它们之间的差异来调整状态估计和误差估计。这个过程被称为卡尔曼增益。卡尔曼滤波器的公式可以表示如下：

预测步骤中预测状态公式为

预测误差协方差矩阵公式为

在更新步骤中计算卡尔曼增益公式为

计算更新状态公式为

计算更新误差协方差矩阵公式为

其中：A是状态转移矩阵，B是外部输入的控制系数矩阵，u是外部输入向量，Q是过程噪声的协方差矩阵，H是观测矩阵，R是观测噪声的协方差矩阵。

卡尔曼滤波器通过对观测数据与系统模型之间的关系进行建模，将多个来源的信息进行融合，其过程主要包括以下几个步骤：定义系统模型、更新观测数据、预测状态、计算卡尔曼增益和更新状态。通过以上步骤，卡尔曼滤波器可以将多个来源的信息进行融合，得到更准确的状态估计结果。

2.1.2 最大似然估计

最大似然估计（maximum likelihood estimation，MLE）是一种常用的参数估计方法［8］，它通过观测到的数据来推断模型的参数值，使得在给定模型下这些数据出现的概率最大。具体来说，最大似然估计是基于以下假设进行的：观测到的数据是从一个已知的分布中独立地生成的。在这个假设下，最大似然估计的目标是找到使得给定数据集出现的概率最大的模型参数。

在多源信息融合中，我们通常需要将来自不同传感器或数据源的信息组合起来，以提高整体的准确性和可信度。最大似然估计可以帮助我们确定一个模型参数的最优值，从而使得这个模型对多源信息的预测更加准确。例如，在目标跟踪任务中，我们通常会使用多个传感器同时观测一个目标，每个传感器都提供了一些关于目标位置、速度等信息的观测值。在这种情况下，最大似然估计可以被用来确定目标的真实状态，即位置和速度。我们可以将所有传感器提供的观测值作为输入，构建一个概率模型，然后通过最大化这个模型的似然函数来确定目标状态的最优值。

2.1.3 最小二乘法

最小二乘法是一种数学优化算法，用于寻找一组数据的最佳拟合曲线［9］。其基本思想是找到一条直线或曲线，使得该直线或曲线与所有数据点的误差平方和最小。具体而言，假设有n个数据点{ }(x1,y1),(x2,y2),…,(xn,yn) ，要求一个函数f(x)，使得f(xi)≈yi，并且所有数据点的误差平方和最小。则可以通过最小二乘法得到：

其中：a0,a1,a2,…,ak为待求参数。然后可以利用这些参数来计算每个数据点与拟合曲线的差距，即误差。最小二乘法的目标就是找到一组参数，使得所有数据点的误差平方和最小。

在多源信息融合中，最小二乘法可以用于数据模型的拟合与参数估计。首先，不同传感器采集到的数据可能具有不同的噪声水平、采样率和分辨率等特征。因此需要对这些数据进行预处理和归一化。然后，针对不同的数据模型，可以使用最小二乘法进行拟合。例如，在目标追踪任务中，可以利用多个传感器获取的目标位置信息，拟合出目标的运动轨迹。在该问题中，最小二乘法可以用来求解目标运动方程的系数。

2.2 不确定性推理方法

2.2.1 贝叶斯推理

贝叶斯推理起源于18 世纪英国数学家贝叶斯的研究工作。它是一种基于贝叶斯定理的推理方法，它可以通过观察到的数据来更新我们对未知参数的信念。在贝叶斯推理中，我们首先假设一个先验概率分布来表示我们对未知参数的初始信念，然后根据观测到的数据来计算出后验概率分布，表示在考虑了数据之后对未知参数的新的信念。

在信息融合中，贝叶斯推理可以用来处理不同来源、不同类型、不同精度的信息，并将不确定性考虑在内。具体来说，贝叶斯推理将先验概率和观测数据相结合计算后验概率，从而得到更加全面和可靠的结果。贝叶斯推理在信息融合中的应用也十分广泛，具体如下：

Massignan 等［10］基于贝叶斯推理的方法，研究在配电系统状态估计中信息融合的问题。文中提出了一种基于贝叶斯推理的信息融合框架，用于联合处理来自不同传感器的数据。该框架将不同传感器的观测数据转化为概率密度函数，并利用贝叶斯推理方法进行联合估计，从而获得更准确可靠的状态估计结果。这种方法可以将不确定性和误差纳入考虑范围，并能够提高对分布式估计的可信度。Zhang 等［11］使用贝叶斯推断来建立传感器获得信息之间的联系，并根据不同传感器获得信息的可靠性进行权值分配，提高了船舶目标识别的准确性。Camões 等［12］提出了一种基于贝叶斯公式的状态估计框架，该框架可以集成来自不同来源的信息，并生成关于当前状态的最优估计。Chen 等［13］提出了一种基于贝叶斯框架的多模态测量信息融合方法，它将来自不同非破坏性检测（NDT）技术的测量结果视为条件随机变量，并利用贝叶斯公式根据这些条件随机变量计算待估计机械性能的后验概率分布。实验表明该方法显著提高机械性能概率估计的准确度和可靠性，从而为NDT 领域的机械性能评估提供了一种新的思路和方法。

2.2.2 D-S证据理论

D-S 证据理论是一种用于处理不确定性信息的数学理论，它可以帮助我们在面对不完整、模糊或不可靠的数据时做出决策。D-S 证据理论由Dempster 和Shafer 在上世纪60 年代提出，是一种广泛应用于人工智能、机器学习、决策分析等领域的理论［14］。在D-S 证据理论中，我们将信息表示为“证据”，每个证据都有一个信任度，表示这个证据被认为是可靠的程度。通过组合不同的证据，我们可以得到更精确的结论，这种组合方式使用的是Dempster-Shafer 合成规则，它允许我们将不同的证据进行组合，从而得到一个综合的结论。在多源信息融合中，不同来源的信息往往存在一定程度的不确定性和矛盾性。使用D-S 证据理论，我们可以将这些不同来源的证据转化为可信度函数，然后利用Dempster-Shafer 合成规则将它们进行组合，得到一个更为准确的结论，一些相关应用如下：Li 等［15］使用D-S 证据理论和多源信息融合来分析主机安全的方法。该方法使用多个传感器收集的来自不同数据源的安全信息，将其进行融合并基于D-S 证据理论进行分析，提高了主机安全性的识别和响应能力。Liu 等［16］利用改进的证据理论结合不确定性因素来进行证据融合，在故障诊断上表现出更高的准确性和鲁棒性。Zeng 等［17］针对传统的D-S 证据理论存在易受到信任度冲突和证据互斥现象的影响的问题，提出了一种新的改进D-S证据理论，通过引入BJS散度来处理这些问题。在该方法中，首先对从多个来源收集到的信息进行处理，计算每个来源的可信度和证据的权重。然后，利用BJS散度将不同来源的信息进行融合，得到最终的决策或推断结果。实验结果表明，该方法能够有效地处理信任度冲突和证据互斥问题，在多源信息融合中具有更好的性能。Lin 等［18］考虑到不同传感器之间的相关性和权重，引入了改进的证据权重算法，通过证据融合的方式将多个传感器的证据进行整合，计算出最终的置信度值。该方法能有效地处理多传感器信息融合过程中的不确定性问题，并且能够提高诊断的精确度和可靠性。

2.2.3 模糊集理论

模糊集理论是一种用于处理不确定性信息的数学理论，它可以帮助我们在面对模糊、不完整或不准确的数据时做出决策。模糊集理论由Zadeh［19］于上世纪60 年代提出，是一种广泛应用于人工智能、机器学习、控制系统等领域的理论。

在模糊集理论中，我们将信息表示为“元素”，每个元素都有一个隶属度，表示这个元素属于这个集合的程度。通过定义隶属度函数，我们可以将不同程度的不确定性信息表示为一个模糊集合，从而得到更精确的结论。与传统的集合不同，每个元素可以同时属于多个模糊集合，从而更好地反映现实世界中的复杂性和不确定性。在多源信息融合中，不同来源的信息往往存在一定程度的模糊性和不确定性。使用模糊集理论，我们可以将这些不同来源的信息转化为模糊集合，然后通过模糊逻辑运算将它们进行组合，得到一个更为准确的结论，有关应用如下：

Yang 等［20］提出了一种基于模糊推理的感知信息融合方法。这种方法利用模糊逻辑来表示不确定和不精确的传感器数据，并将它们组合起来，生成更准确、可靠和全面的情境或现象评估结果。Zhou 等［21］基于模糊系统理论，提出多传感器模糊信息融合算法在工业安全监控系统中的应用。该算法可以将来自多个传感器的信息进行模糊化和优化，从而提高工业生产过程中的安全性和可靠性。Yuan 等［22］针对在管理领域的实际应用中存在的主观倾向性、决策依赖性和知识源偏差等问题，提出了一种基于模糊集理论的知识融合方法，利用证据合成和决策规则获得知识融合结果，弥补了知识融合过程中的缺陷并解决知识推理中的不确定性问题。Miao 等［23］在变电站火灾预警中，将模糊集合理论应用于融合预测的火灾概率，以得到最佳的火灾预防和控制决策。

2.3 人工智能方法

2.3.1 支持向量机

支持向量机（support vector machine，SVM）［24］是一种机器学习算法，可以用于分类、回归和异常检测等任务。它的核心思想是找到一个最优的超平面，将不同类别的数据分开，并且使得这个超平面离数据点的距离最大化。在信息融合中，SVM 可以用于多源数据的分类和特征融合等方面，具体应用如下：

张剑飞等［25］在不同类别的样本数量存在严重不平衡的情况下，提出了一种基于SVM 的不平衡数据分类方法。该方法相比于其他的不平衡数据分类方法，在处理不平衡数据的情况下具有较好的分类效果和较高的准确率。周伟芳［26］提出了一种基于SVM的生物特征融合技术，该技术能够有效提高身份识别准确率和鲁棒性。Wang等［27］通过将多个SVM 分类器的输出结果进行加权融合来实现泄漏检测，获得了更好的性能和准确度。Pan等［28］开发了一种新颖的多分类器信息融合方法，将概率支持向量机（SVM）和改进的Dempster-Shafer（D-S）证据理论相结合，以支持不确定性下的风险分析。Peng 等［29］提出了一个带有概率输出的多分类支持向量机（SVM）模型，提高故障诊断准确性。

2.3.2 遗传算法

遗传算法（genetic algorithm）［30］是一种基于生物进化原理的随机搜索和优化方法。它模拟了自然界中的遗传和进化过程，通过对群体中个体的优胜劣汰和交叉、变异等操作来产生新的个体，并不断迭代寻找最优解。遗传算法在多源信息融合中的应用主要是通过结合多种信息源来提高决策系统的精度和鲁棒性。

Thakkar 等［31］在股票价格和趋势预测中使用遗传算法对不同的特征进行优化选择，提高了特征的相关性和减少冗余信息。Kande等［32］提出了一种基于遗传算法的优化框架，并结合系统动力学建模、机器学习和群智能优化算法等技术手段，实现了对异构多资产集合的智能调度管理。Liang 等［33］提出了一种基于遗传算法的最优数据融合方法，有效地处理给定来源高度冲突的概率融合问题。Guo 等［34］提出了一种基于遗传算法的多源交通信息采集组合优化模式，在实现多源交通信息采集和组合的优化过程中更加准确，并具有更好的信息融合程度。Sun等［35］提出了一种改进遗传算法的多传感器数据融合算法，显著提高数据融合的精度和稳定性，且具有更短的执行时间。

2.3.3 神经网络

神经网络是一种被设计来模拟人类神经系统中信息处理方式的计算机程序。它由许多称为“神经元”的单元组成，这些神经元通过连接形成了复杂的网络。神经网络可以通过学习来识别模式和关系，并用于分类、回归、聚类等任务。神经网络在多源信息融合中有广泛的应用，可以通过将不同类型的数据输入神经网络来获得更准确、更全面的信息。

神经网络可以将多个传感器捕捉到的数据进行融合，从而实现更准确、更全面的环境感知和预测。例如，在智能交通领域中，可以将车辆传感器、路况传感器和天气传感器捕捉到的数据进行融合，从而预测交通状况和制定优化路径。神经网络可以将来自不同模态的数据进行融合，如图像、声音和运动等，从而实现更准确、更全面的识别和分类。例如，在人机交互系统中，可以将语音指令、手势控制和眼部追踪等多种输入方式进行融合，从而实现更自然、更智能的交互体验。神经网络可以将来自多个数据库的信息进行融合，从而实现更全面、更准确的数据分析和挖掘。例如，在企业管理中，可以将不同部门的数据进行融合，从而帮助企业制定更科学、更精准的营销策略。其相关研究进展如下。

Guo 等［36］为了提高GNSS-R 风速检测的精度，提出了一种基于统计修正卷积神经网络（statistically modified convolutional neural network，SMCNN）的信息融合方法，通过将不同极化方向、不同卫星信号的反射信号进行融合，并采用统计修正策略，进一步提高了风速检测的准确性和鲁棒性。Passos 等［37］提出了一种基于规范相关图神经网络的多模态音视频信息融合方法，用于实现能源高效的语音增强。它利用了多个传感器捕捉的音频和视频数据，并使用图神经网络将它们融合在一起来进行语音增强。通过这种方式，可以显著降低计算资源和能源的消耗，并提高增强效果。Gao等［38］提出了一种基于自适应卷积神经网络的信息融合方法，用于面部表情识别，在全连接层获取不同的特征信息进行信息融合，在面部表情识别方面具有更高的识别精度。

2.3.4 粗糙集理论

粗糙集理论是一种基于不确定性和近似推理的数学方法，旨在处理具有模糊或不完整信息的问题。它最初由波兰科学家Pawlak［39］在1982 年提出，并且在计算机科学、人工智能、模式识别等领域得到广泛应用。

粗糙集理论的核心思想是利用粗糙集来刻画近似概念和近似关系。其中，一个粗糙集是指包含了所有具有相同属性值的对象的集合。这些对象可能由于某些未知原因而无法归入严格意义上的某个类别中，但它们之间仍然存在着某些共性的特征。通过比较不同属性值之间的差异，可以找到相似的对象，并将它们分为同一组。粗糙集理论的优点在于它可以处理多源信息的融合问题，同时也可以保留信息的不确定性和模糊性。它已经被成功地应用于数据挖掘、决策分析、模式识别等领域。其相关应用研究如下。

Cao等［40］提出了一种利用粗糙集理论和改进的卷积神经网络相结合的信息聚合算法，以在保持数据保真度和机密性的同时，缓解无线传感器网络（WSN）中的能量消耗问题。Li 等［41］提出了一种将粗糙集理论（RST）与改进的Dempster-Shafer（D-S）证据理论相结合的信息融合方法，用于识别不同的系统操作状态。在智能故障诊断中，Yang 等［42］通过将粗糙集理论与证据理论相结合，提高了故障诊断的准确性。Gang等［43］提出了一种基于粗糙集理论和BP神经网络的数据融合方法。通过采用粗糙集理论对输入信息进行简化和消除冗余信息，从而减小了BP 神经网络的规模，提高了融合系统的识别率，进而提高了整个融合系统的效率。

3 结语

多源信息融合作为一个重要的领域，正在快速发展和壮大。在过去几十年中，多源信息融合已经得到了广泛的研究和应用，涉及到很多不同的领域，如军事、情报、医疗、安全等。然而，这一领域还存在着很多挑战和问题，如数据质量不稳定、信息处理效率低下、隐私和安全保护等。

未来的多源信息融合技术需要继续深入研究和探索，以提高信息融合的精度、效率和可靠性。其发展趋势可以包括以下几个方面：

（1）多模态数据融合：随着传感器技术、图像识别技术和语音识别技术的发展，多种类型的数据和信息被广泛采集和应用。因此，将多种类型的数据进行整合和分析，可以提高信息处理效率和精度。

（2）多层次信息融合：多源信息往往存在于不同的层次之中，如底层数据、中间知识、高层推理等。因此，将这些不同层次的信息进行整合和分析，可以更好地发掘数据的潜在价值。

（3）实时信息融合：传统的信息融合方法往往需要大量的计算资源和时间，难以满足实时应用的需求。而新兴的实时信息融合技术则能够快速响应实时信息需求，并及时更新和传递数据。

（4）人工智能应用：随着人工智能技术的发展，人工智能在多源信息融合中的应用也越来越广泛。通过人工智能算法和模型，可以自动化地对多源信息进行分析和演绎，提高信息处理效率和精度。

（5）安全与隐私保护：多源信息融合涉及到大量的个人和机密信息，因此在信息融合过程中需要注重安全和隐私保护。未来的多源信息融合技术应该具备更加完善的安全和隐私保护措施，以确保数据的安全和合法性。