基于多模型深度特征集成的水声目标识别方法

李俊豪，杨宏晖，刘钰淇

（西北工业大学航海学院，西安 710072）

1 引 言

搭载被动声呐系统的水下无人平台可以安静灵活地执行长时间、大范围的水声目标识别任务。基于机器学习的水声目标识别方法成功的关键在于有效地从水声信号中提取目标属性特征。经典的基于机器学习的特征提取方法［1-2］过于依赖专家知识，并且由于水声信号的非平稳特性以及海洋环境的复杂性，这类方法的泛化性有待提高。

基于深度学习的水声目标识别方法由于其强大的特征学习能力成为了水声目标识别领域的研究重点和热点［3-6］。研究人员提出了基于深度置信网络的水声目标深度特征提取与识别方法［7］，验证了基于深度学习的识别方法的有效性。在深度置信网络的基础上，有研究人员在网络学习过程中引入了竞争机制［8］，增强了深度特征蕴含的目标信息，实验结果验证了增强后的深度特征相比于增强前深度特征以及传统特征的识别性能具有明显优势。研究者们还提出了多种基于卷积神经网络的水声目标识别方法，从时频域［9］、时域［10-11］等角度利用卷积神经网络提取深度特征并识别水声目标。

研究人员为了提高深度神经网络的识别性能，往往采取更深、更宽、更复杂的网络结构［12］，这样的网络结构显著增加了计算复杂度，对硬件算力提出了更高的要求。这限制了深度模型在基于水下无人平台的水声目标识别领域的应用。

本文提出了基于多模型特征集成的水声目标深度识别方法，通过集成部分深度模型提取的深度特征与浅层模型提取的特征，扩充浅层模型提取特征的丰富程度，实现对浅层模型识别性能增强的同时保持了与浅层模型相当的计算复杂度，相比于深度模型显著降低了计算成本，通过改变集成深度特征的维度构建多个水声目标子网络，最后多个子网络通过加权投票实现水声目标识别。实验中，利用海洋哺乳动物叫声数据集验证了提出的水声目标识别方法的有效性，并在实验中对比了不同集成策略下集成模型的识别性能。

2 基于多模型特征集成的识别方法

2.1 用于水声目标识别的深度卷积网络

水声信号时频图中包含了信号频谱结构以及其随时间的变化信息，其中蕴含了与目标类别属性相关的信息。水声信号时频图中的特征分布具有二维网格结构，而卷积神经网络是一种专门处理具有类似网格结构数据的神经网络［13］。本文提出的基于多模型特征集成的水声目标识别网络是建立在卷积神经网络基础上的。

卷积神经网络前向传播过程中，第l-1层卷积网络层的一组特征图，先与若干可训练的卷积核klij相卷积，然后再通过激活函数f(⋅)得到该层输出的特征图xlj。通常可以表示为

式中，blj是偏置项，Mj是对前一层特征图的选择。

通过这样层层提取特征，随着网络深度的加深，越深层的卷积层可以观察到更加细致的图像结构，也具有更大的感受野。这样深度的特征往往也包含更多的类别属性信息。

2.2 深度卷积网络特征集成方法

随着卷积神经网络深度、宽度和复杂度的增加，网络识别性能可以得到进一步的提升，但同时网络整体参数量和计算复杂度也显著增加。本文提出的多模型特征集成的识别方法通过集成深度卷积网络模型提取的特征与浅层卷积网络模型提取的特征，提升浅层模型特征分类性能的同时不引入过多的参数量和计算复杂度。

仅用浅层模型的情况下，最终目标类别r是在浅层模型提取的特征f1的基础上得到的，即r=g1(f1)，其中g1是网络学习到的目标类别与特征之间的映射函数。通过引入深度网络提取的特征f2，可以将浅层模型的特征扩充为f3=f1+f2，最终的目标类别即从集成后的特征中拟合得到r=g2(f3)，其中g2是网络学习到的目标类别与集成后特征之间的映射函数。多模型集成示意图如图1所示。

图1 多模型特征集成示意图Fig.1 Schematic diagram of multi-model feature ensemble method

在集成时，为了显著降低计算复杂度，只选择和浅层模型特征图空间维度一致的部分深度特征进行集成，并且由于可用于特征集成的深度特征组合种类很多，在进行特征集成时统一地对深度网络提取的特征进行压缩。逐点卷积层经常被用在压缩深度网络特征维度上［14-15］，这里也采用逐点卷积层对特征维度进行压缩得到f12。又因为用于集成的深度网络是预训练好的，而浅层模型的参数是随机初始化，特征分布不同可能会导致集成后的模型过度依赖部分特征从而降低整体特征泛化性能［16］。在集成压缩特征与浅层特征之后，利用批量标准化层对集成后的特征f13=f1+f12进行标准化，得到f*3。

式中，μ是集成后特征在一个批次数据内的均值，σ是该特征在一个批次数据内的方差，ε是一个小常数。

深层模型与浅层模型相比可以提取更加丰富的特征，这些特征有助于揭示原始数据中蕴含的类别信息。本文可视化了深度网络提取的部分特征，如图2所示。可以发现该组特征提取了多种色度变化以及颗粒度变化下的输入数据分布。将该组特征扩充到浅层模型中相当于对原始数据的色度变化以及颗粒度变化进行了扩充，增加了浅层模型从数据中可以提取的信息，进而提升特征的分类性能。集成后的特征再通过逐个卷积层进一步提取特征，然后通过全局平均池化层对特征进行压缩，最后利用全连接层实现水声目标类别预测。

图2 深度网络提取的特征Fig.2 The features extracted by the deep model

2.3 基于多模型的水声目标识别

基于多模型的水声目标识别方法需要保证每个模型具有一定有效性的同时，模型之间要存在差异性［3］。通过改变逐点卷积层卷积核个数可以改变集成的深度特征的维度，集成了不同维度深度特征的浅层模型原始特征空间存在差异，这会进一步导致浅层模型在分类性能上存在差异，为多模型投票的决策方法提供支持。

当有n个子模型在进行m类识别任务时，将每个子模型对目标的识别置信度p作为该模型的投票权重，对所有模型进行加权投票得到多深度模型的识别结果y。对第m类的加权结果进行计算

最后选择y中加权置信度最高的类作为多模型的识别结果。

3 实验数据与实验设置

3.1 实验数据

本文中所采用的数据来自沃特金斯海洋哺乳动物声音数据库，由位于全球多个海域多种被动水听器录取。本文选择了其中7类海洋哺乳动物叫声进行识别验证实验，分别为：髯海豹、北极露脊鲸、真海豚、弗氏海豚、座头鲸、长鳍领航鲸、短鳍领航鲸。将数据分割成2 s的样本，训练样本总时长1.8 h，测试样本总时长为10.5 min，如表1所示。

表1 数据说明Table 1 Data description

3.2 实验设置

在水声目标多模型特征集成实验中，选择了三种模型与提出的集成模型形成对比，分别是全连接模型（共有22层全连接层）、Xception模型［17］和浅层卷积网络模型。其中Xception模型特征提取部分网络结构如图3所示。

图3 Xception模型特征提取部分网络结构Fig.3 The structure of Xception’s feature extraction part

本文搭建了仅有6层卷积层的模型作为对比模型中的浅层模型，模型结构如表2所示。

表2 浅层模型结构Table 2 The architecture of shallow model

在如表2所示的浅层模型的基础上，将Xception提取的部分深度特征集成到浅层模型提取的浅层特征层中，构建集成模型。通过改变逐点卷积核个数，在浅层模型的结构基础上构建了8 个集成不同深度特征数量的集成模型，如表3所示。

表3 8种集成模型与集成的深度特征数量对照表Table 3 The number of integrated deep features of 8 ensemble models

在评价网络识别性能时，用平均正确识别率来评价网络的识别准确度，用识别正确率的方差来评价网络识别的稳定性，每个模型训练了10 次。多模型的加权投票结果是随机从每种集成模型中抽取1个，共8个集成模型进行一次加权投票，并重复随机抽取10次。

4 实验结果与讨论

全连接模型、深度模型Xception、浅层模型以及8种集成模型在测试集上的10次训练结果的平均识别正确率、方差、识别率最小值以及识别率最大值在表4中展示。

表4 各个模型识别结果表Table 4 The recognition results of each model

观察表4可以发现，集成模型相比于浅层模型均具有更高的平均正确识别率，同时相比于浅层模型普遍具有更小的识别正确率方差，提高了识别稳定性。深度模型相比浅层模型的正确识别率高了3.05%，通过集成多种数量的深度特征，集成模型将这一差距分别降低到了2.87%、2.22%、1.20%、1.74%、1.57%、1.94%、2.22%、2.50%。并且多个集成模型加权投票取得了最高的平均正确识别率91.57%。更直观的识别正确率对比如图4所示。

图4 各个模型平均正确识别率柱状图Fig.4 Bar chart of average accuracy of each model

在识别实验中，所有模型均被训练了10次，各种模型的箱图如图5所示。图5中每个箱图中的红线位置是10次识别结果的中位数，箱体的上下边所在位置分别是这10次识别结果的上四分位数和下四分位数，箱体向上下延伸出的短横杠分别是这10次识别结果的上下边界，红色十字点是异常值。

图5 各个模型识别结果箱图Fig.5 Box diagram of recognition results of each model

结合图5和表4可以看到，基于多模型集成的识别方法不仅提高了浅层模型的平均正确识别率，还提高了识别率中位数以及每种模型10次识别结果的最小值以及最大值。并且集成模型2、3、4、5、6、7、8的10次正确识别率的下四分位数均高于浅层模型，集成模型3、5、6、7、8的10次正确识别率的上四分位数也高于浅层模型。而多模型加权投票后的平均正确识别率、识别率中位数、上四分位数和最大值均高于深度模型Xception。综合各项指标而言，基于多模型的特征集成方法可以有效地提升模型的正确识别率。

另外，从8种集成模型识别结果中可以看到，随着集成模型中集成的特征数量增加，平均正确识别率呈先增加后下降的趋势。平均正确识别率的增加主要是由于引入了深度模型的特征导致的。而随着集成特征数量的增加，集成模型正确识别率的最大值呈增加趋势但同时方差也在增加，导致了平均识别率的下降。这是因为集成特征数量的增加会导致某一层特征通道维度的不断增加，而下一层特征通道数一定，使得浅一层的特征需要被更大程度地压缩，在这一过程中随着集成特征数量的增加表现出了更加不稳定性，从而导致识别方差的增加。同时，集成特征数量的增加提高了模型的容量上限，所以最高的正确识别率呈现上升的趋势。

表5展示了每个模型的深度、参数量以及单个样本的测试时间。从表5中可以看出，集成模型的参数量约为深度网络Xception参数量的1/280，推理速度约为Xception推理速度的1/5，集成模型加权投票的方法识别性能优于Xception并且参数量也仅为其1/34。

表5 模型计算复杂度信息表Table 5 Computation complexity information table

5 结 论

本文针对深度模型参数量大、模型结构复杂，难以兼顾识别效率、识别准确性和模型复杂度的问题，提出了基于多模型特征集成的水声目标识别方法。该方法通过集成深度网络模型的特征到浅层模型上，增加浅层模型的特征丰富程度，进而提升浅层模型识别性能，并利用加权投票方法实现基于多模型的水声目标识别任务。在实测的水声目标识别实验中，验证了通过集成深度特征可以在提高浅层模型识别性能的同时几乎不增加额外的网络复杂度，并且集成模型不仅提高了浅层模型的平均正确识别率，还在一定程度上提升了识别稳定性。最后，多集成模型加权投票方法取得了最高的平均正确识别率91.57%，同时该方法的参数量仅为Xception的1/34。

本文提出的方法为基于深度学习的水声目标识别方法难以兼顾识别性能及模型复杂度的问题提出了一种可能的解决途径。但同时也具有新的挑战，即基于多模型特征集成的水声目标识别方法可以显著地降低模型复杂度，但是对于模型识别精度上的提升就实验结果来看是有限的。未来，将深入研究如何在显著降低模型复杂度的基础上，进一步提升模型的识别性能，为基于水下无人平台的水声目标识别方法提供一个可选择的新方向。