基于深度混合卷积的多传感器信息快速融合

韩海豹，王孝国

(1. 晋中信息学院智能工程学院，山西 太谷 030800；2. 山西农业大学农业工程学院，山西 太谷 030800)

1 引言

单传感器[1]在科技洪流的推动下已无法满足实际的应用需求，多传感器在各大领域中的重要性与日俱增，而多传感器的信息融合技术将不同传感器所得的局部信息进行融合后，把完整信息提供给应用系统，以便完成给定的工作项目。多传感器信息融合[2]既是一个集计算机、信息以及自动化等学科于一体的复合型技术，也是一项正处于发展阶段的信息处理技术。

多传感器信息融合技术的应用领域包括诸多行业，例如：龙霞飞等人[3]结合多传感器信息融合与KELM(Kernel Extreme Learning Machine，核极限学习机)，得到一种灰狼优化核极限学习机，并将其用于监测电力行业的风电齿轮箱状态；王正家等人[4]面向机器人控制领域，运用多传感器信息融合技术，得到一种能够有效躲避障碍、跟随移动目标的自主跟踪定位与躲避方法。因上述文献方法中的融合过程缺少自学习、自组织等优势，令融合结果准度与速度不够理想，所以，本文引入高容错性与高鲁棒性的深度网络结构，架构出一种深度混合卷积网络下的多传感器信息快速融合方法。深度混合卷积网络凭借并行处理、自适应与自学习等能力，不仅能够弥补多传感器信息的不确定性，而且通过模拟人脑结构与功能，提升信息融合的可靠性与智能性。

2 深度混合卷积模型构建

深度卷积神经网络结构的主要组成层级是输入层、输出层以及多个隐含层，如图1所示，对于隐含层，则由卷积层、池化层以及全连接层架构而成[5]。通过卷积层与池化层的反复架构，构建出神经网络的迭代模块，递进式地提取出输入数据信息的平移不变形特征。卷积层凭借耦合多维度滑动卷积核参数加权与层-层间稀疏性的能力，降低数据特征的格点化提取计算代价。

图1 深度卷积神经网络框架示意图

先标准化处理[6]信息分布区域，再输入至卷积神经网络中，若输入信息是一种图像或视频序列，则需缩放为同一规格，并在0到1的像素值范围中做归一化处理[7]，以提升网络参数学习速度与特征表现力。

设置X={x(1)，x(2)，…，x(M)}与Y={y(1)，y(2)，…，y(M)}分别是M个参训信息的样本集及其真值标签集，则第L输入层内序号为s的特征图谱如下所示

(1)

式中，L-1层的特征量是x(l-1，t)，L层的N个卷积内核权值参数是k(l，s，t)，连接两者的卷积操作用*指代，参数偏置量与激活函数分别为b(l，s)、f(·)。卷积核通过在信息输入的维度空间滑动，提取出多层次多级别的空间域特征。

采用下列等式池化处理网络的卷积层输出，取得平移不变性的信息特征

x(l，s)=f(λdown(x(l-1，s))+b(l，s))

(2)

式中，下采样函数为down(·)，其具有解耦特征尺度关系、减小特征图规格、网络计算参数量以及过拟合可能性等诸多优势。

利用BP(Back Propagation，误差反向传播)算法[8]，对深度卷积神经网络加以训练、优化，得到一个由卷积层、全连接层以及池化层组成的反向传播路径。根据设定的损失函数，求解网络输出分类结果矢量与真实标签间的估计误差，通过SGD(Stochastic Gradient Descent，随机梯度下降)算法[9]的误差反向传播操作，提升参数学习质量与网络收敛速度。

网络末端的全连接层没有网络学习能力，仅能融合前几个层序习得的表征信息，简化三维拓扑框架，为信息类别划分、回归操作等后期处理提供特征矢量。若去掉全连接层，则能够在一定程度上加快多传感器信息的融合速度，因此，基于深度卷积神经网络，设计一种深度混合卷积神经网络模型。该网络模型在加快融合速度的前提下，为保证信息融合质量，加权处理各传感器信息的置信分布，并隐式实施空间对齐[10]，抑制提取特征时的信息差异影响；以四通道加权卷积层代替输入层，粗略提取浅层信息，用全局平均池化代替网络末端池化层，打破输入信息尺度约束，正则规范化网络框架，避免过拟合情况，以此来优化残差网络resnet-50的基本结构，避免梯度弥散；利用混合表征机制，融合检索结果与训练分类器结果，获取信息本征与种类距离特征的混合表征信息，根据信息特征准度，经自适应加权融合完善特征表示，防止遗漏网络特征。

深度混合卷积神经网络模型的上部分包含信息输入、特征提取以及种类输出，是用于训练的网络框架；下部分包含表征引入、特征提取以及混合表征信息求解，是用于检索的网络框架。当网络学习聚焦于传感器信息特征时，表达式如下所示

Fcmap=ΓΓi∈(x，y)ki*fi

(3)

式中，ki表示信息输入量，fi表示混合表征信息求解结果。

经卷积运算与降维处理后，得到下式描述的信息本征特征

x(l)=relu(w(l)x(l-1)+b(l))

(4)

式中，x(l)表示信息本征特征，w(l)表示信息分类特征。

3 基于深度混合卷积的多传感器信息快速融合

利用所构建的深度混合卷积神经网络模型，将融合多传感器信息的过程分为预处理、参数求解、模型训练以及简化融合等阶段。

3.1 多传感器信息预处理

按需设置网络模型结构，采用小波降噪策略处理多传感器的采集信息。具体流程描述如下：

1)采用下列公式离散小波变换[11]处理多传感器信息的连续信号φ(t)，得到式(5)所示的新连续信号φ′(t)

(5)

式中，a表示尺度因子，b表示平移因子；ψa，b(t)表示两因子的小波基函数。

2)依据各小波基函数，推导出不同级别的小波展开系数{c0，d1，d2，…，dJ-1}，并借由下列等式定义新连续信号φ′(t)的多分辨形式

φ′J(t)=φ′0(t)+d0(t)+…+dJ-1(t)

(6)

3.2 深度混合卷积神经网络模型参数求解

设置网络模型各层权重值为1，采用误差反向传播算法训练神经网络，完成网络层隶属函数参数与网络权重调整。若学习速度与动量项系数分别为η、β，则在网络学习中利用下列公式调整网络权重，令两输出间的方差E为极小化

(7)

式中，∂表示输出方差约束，wij(t)表示确定性函数，E表示输出间方差，其表达式如下所示

(8)

式中，y(t)表示神经网络模型输出，y′(t)表示期望输出。

根据式(7)和(8)，架构出深度混合卷积神经网络学习方程式，如下所示

(9)

由于任意输入层的输入信息值为上一层的神经元连续乘积，会加大隶属度函数参数学习律的推导难度，因此，以两个输入单元的网络学习律为例，设计出一种算法，以便于类推出多传感器输入层的隶属函数参数学习律。

已知下列等式方程组成立

(10)

其满足式(11)所示的等式条件

(11)

由此即可推导出下列表达式：

(12)

如果深度混合卷积神经网络的隶属度函数是高斯函数，则根据以上各式得到下列等式方程组：

(13)

综上所述，输入单元的网络学习律方程组如下所示：

(14)

3.3 深度混合卷积神经网络模型训练与信息融合

基于选取的典型样本信息，采用下列参数学习律方程组，离线训练深度混合卷积神经网络模型，更好地完成样本信息拟合：

(15)

深度混合卷积神经网络模型经明确、调整局部权重，有助于加快网络学习速度，因紧支集上的连续实函数逼近精度与论域子集细化度之间呈正相关性，故通过将神经网络模型隶属度函数抽象化为功能节点数量，即可取得需要的逼近精度。最后，删减掉具有最小权重的对应层神经元，使卷积神经网络结构得到进一步简化，提升多传感器的信息融合速度。

4 多传感器信息快速融合仿真

选取多个具有不同分辨率的GPS(Global Positioning System，全球定位系统)接收机、里程计以及加速度计等定位传感器来追踪同一移动目标，该目标呈匀速直线运动形式，利用本文方法融合各传感器采集的目标信息，检验方法性能。

4.1 多传感器信息快速融合滤波效果分析

针对三个传感器采集信息中含有的噪声，利用本文方法加以处理。图2所示为接收机传感器信息的噪声处理结果。

图2 接收机传感器信息滤波效果示意图

根据该图中的信噪比变化情况可以看出，本文方法按需设置网络模型结构后，经离散小波变换处理多传感器信息的连续信号，根据对应阈值及其准则，阈值化处理了小波系数，利用小波重构算法重建了离散小波逆变换信号，降噪处理了各传感器采集到的信息，滤波效果较为理想，极大程度提升了信息质量，有助于信息的后续处理。

4.2 多传感器信息快速融合位移与速度效果分析

在Lab Center Electronics公司生产的proteus软件模拟融合三个传感器信息后，将本文方法与文献[3]方法和文献[4]方法作比较，得到如图3、图4所示的位移误差与延时曲线走势。

图3 多传感器信息快速融合位移误差示意图

图4 多传感器信息快速融合时延示意图

通过图3和图4中传感器的位移误差与延时情况可知，对比文献[3]方法、[4]方法和本文方法的融合效果，通过对比可知本文方法的融合精度较高、速度较快，这主要得益于深度混合卷积神经网络模型的混合表征机制与模型结构的简化，前者经融合检索结果与训练分类器结果，获取信息本征与种类距离特征的混合表征信息，根据信息特征精准度，经自适应加权融合完善特征表示，有效防止了遗漏网络特征；后者则通过去除没有学习能力的全连接层与具有最小权重的对应层神经元，大幅加快了融合速度。

综合分析上述实验结果可知，本文方法有效解决了传统方法下多传感器信息融合实时性与精准性不佳的问题，提升了信息融合效果。

5 结论

多传感器信息融合技术主要是通过整合不同传感器得到的特征描述信息，形成一个统一的特征描述信息。作为一个创新型学科，该项技术随着科技的进步在海、陆、空等军事领域及医疗诊断、工业机器人等领域得以迅速推广。因此，本文将多传感器信息融合技术与深度网络相结合，提出一种基于深度混合卷积的多传感器信息快速融合方法。虽然本文研究成果为信息资源价值得到充分发挥、降低信息处理负担奠定基础，但仍应根据信息处理技术、应用数学等多传感器信息融合技术的涉猎科学领域，在以下方向拓宽该方法的应用前景：信息融合的实现根本组件是传感器，故需创建不同种类的传感器模型，探究传感器对信息融合的影响；为满足信息融合的实时性，应尝试引入分布式机制，建立一种高效的并行计算策略；将多传感器信息融合性能评估体系建立作为下一阶段的研究重点，进一步完善融合方法性能。