改进的SqueezeNet网络在船舶分类中的应用*

张玉皓, 李立钢

(1.中国科学院国家空间科学中心 中国科学院复杂航天系统电子信息技术重点实验室,北京 100190;2.中国科学院大学,北京 100049)

0 引 言

随着中国经济的快速发展，中国航运业也日益繁荣。中国港口货运量、吞吐量，船舶体量都跻身世界前列。实现船舶的智能分类对于船舶航行安全、海洋巡测管理、提高港口效率等都有重大意义。

Inggs M R等人[1]提出对ISAR图像进行傅里叶梅林变换提取特征，但该图像数据集角度单一，建立的模型泛化性能不好。Musman S等人[2]提出根据船舶的大小、位置、形状来人为构造特征；Pastina D等人[3]提出根据船舶的主轴、轮廓来提取特征。这两个研究工作的分类准确率不足以应用于智能分类。蒋少峰等人[4]提出基于结构特征分析，根据船舶左中右三部分积分量比例对船舶分类的方法，分类精度达90 %左右。闫河等人[5]采用AlexNet与极限学习机(extreme leaning machine,ELM)相结合的方法，将船舶分类准确率提高到94 %。这两者的研究工作分类精度较高，但是没有考虑训练效率问题。

为了解决以上问题，本文提出了一种图像预处理+改进网络结构和优化器的船舶分类方法。首先，通过斜视舰船仿真系统获取多角度的舰船目标图像，补足了常规数据集缺少俯瞰角度的缺陷；然后，改进了神经网络结构，将底层特征与高层特征合并后统一送入输出层作分类；最后，对优化器Adam进行改良，加快收敛速度，提高模型训练的效率。

1 数据集

本文实验数据来源于两部分，一部分是系统仿真图像，一部分是网络公开真实图像。数据集图像分为两类，1)军舰，2)非军舰，即本文解决的是二分类问题。

如图1所示，为本文数据集展示。

图1 数据集缩略图

网络真实图像色彩、局部细节更加丰富，但摆放角度多为平视观测，缺少俯视角度图片。仿真图片角度丰富，但其色彩单调，在某些局部细节方面失真。

将两类图片融合，可以为模型提供更加丰富的特征，有利于提高模型精度。

2 基于改进SqueezeNet的目标分类方法

图2为改进算法的流程图。

图2 改进算法流程

以裁剪、旋转进行数据增强，归一化后统一为相同大小。为了去除图片背景特征，更好地融合网络真实数据集与系统仿真数据集，将图片二值化。预处理后的数据集输入SqueezeNet[6]网络后，将模型中间层特征图级联合并输入SoftMax层作最终目标类别判断。

同时，对Adam优化器进行改进，根据loss有无降低来自适应地降低学习率，加快模型收敛，避免陷入局部极小值。

2.1 图像二值化

从灰度图到二值图这一步，参考了张彩珍等人[6]的工作，通过离散余弦变换(discrete cosine transform,DCT)去噪、边缘检测、YCbCr颜色空间转换等步骤，实现背景特征的去除。

二维DCT变换如下

cos((2x+1)uπ/2N)cos((2y+1)vπ/2N)

(1)

二维DCT逆变换如下

cos((2x+1)uπ/2N)cos((2y+1)vπ/2N)

(2)

式中f(x,y)为图像矩阵，F(u,v)为对应的傅里叶变换。然后对DCT域的图像函数求梯度，即可实现边缘检测。

进而将图片从RGB转换到YCbCr空间，方便后续进行基于阈值的图像分割。RGB转换为YCbCr的公式如下

(3)

图2中的图片预处理模块展示了样本数据集从彩色图到二值图的转换过程。

2.2 SqueezeNet网络改进

SqueezeNet模型是神经网络模型压缩研究领域的典型代表，有着优秀的模型压缩能力，本文对SqueezeNet进行改进。

神经网络很少利用中间层特征图作为输出进行分类判别，仅利用网络最后输出特征图。这样虽然实现了目标特征的自动构建与提取，但是却损失了很多包含细节的特征图。因此，将中间层输出级联作为类别判断的特征是有必要的。

改进后的模型架构如图2中的改进网络结构模块所示。

(4)

式中f为激活函数，为避免梯度消失问题，本文统一采用ReLU函数，公式如下

h(x)=max(0,x)

(5)

Maxpool为最大值池化层，其根据卷积核大小，计算在该连接下卷积核区域内最大值。假设卷积核为k*k，公式如下

(6)

Avgpool为平均值池化层，原理与最大值池化层相似，求卷积核区域内所有值平均值。其公式如下

(7)

Fire层为SqueezeNet网络的核心，其通过1×1卷积减少了参数量，提高了模型效率。本文通过融合不同Fire层的输出来提高特征丰富度。

融合过程如式(8)所示

Xf=φf(Ti(Xi))

(8)

式中Xi为待融合特征图。Ti为对特征图进行降采样或升采样操作，将特征图统一为相同大小。φf为指对特征图进行Concat操作。最后得到融合的特征图Xf。

融合过程如图3所示。

图3 中间层特征融合示意

SoftMax可以将多个输出映射到(0,1)内。本文使用数据集有两类标签，K={1,2}，样本表示为(xi,yi)，xi为特征向量，yi为样本标签，i={1,2,3…N}。则经SoftMax层输出的各类概率为

(9)

式中g(xi,yi)kj为数据集单样本某类别经网络输出到SoftMax层前的值。

2.3 优化器改进

Adam因其收敛速度快在神经网络中应用广泛，但是Adam算法有可能使学习曲线发生振荡，使模型可能不收敛以及可能错过最优解。SGD学习率恒定，AdaGrad的学习率单调递减，其都会使模型具备良好的收敛性，但二种学习的收敛速度会变慢。

式(10)～式(12)为Adam优化器在SqueezeNet网络中更新网络权重的步骤

(10)

式中ρ1为常数，一般为0.99。s实现了一阶梯度的累加

(11)

式中ρ2为常数，一般为0.999。r实现了二阶梯度的累加

(12)

式(12)实现了权重的w更新。式(12)中学习率lr为常数，一般取0.001。其通过一阶梯度累加和与二阶梯度累加和的比值大小，来间接控制模型权重更新幅度，并不直接根据训练情况，实时调整学习率大小。

本文对这一权重更新算法作出改进。为使收敛速度不下降的同时保证模型的收敛性，在权重更新公式中引入惩罚因子lr_decay，当模型训练时，若当前epoch相比于上一个epoch，其loss没有降低，则按比例降低lr。若loss持续下降，则lr不变。即若loss没有下降，则上式(12)更新为

(13)

式中lr_decay取值范围为(0,1)。

3 实验过程与结果分析

先进行针对优化器改进的验证实验。如图4所示，为SqueezeNet网络在优化器惩罚因子lr_decay取不同值时的表现。

图4 学习率衰减因子实验

lr_decay较大时(极端情况下，lr_decay=1，相当于原Adam优化器)，模型损失曲线上下波动难以收敛。lr_decay较小时，模型很快收敛，但易陷入局部极小值，无法取得全局最优。lr_decay取值适中时，模型在达到较好的准确率前提下提高了收敛速度。

实验验证分析船舶分类，如图5所示，为八种算法在验证集上的表现。

图5 八种算法验证集准确率对比

验证集并不能完全体现模型的泛化能力。测试集能全面客观地来评价算法的性能。

表1对比了八种算法在测试集上的正确率与运行效率。

表1 八种算法性能对照表

从表1中可知，VGG、ResNet算法准确率较高，但运行效率低。AlexNet、LeNet—5运行效率高，准确率低。近年的GoogLeNet、SequeezeNet、MobileNet_V3在准确率与运行效率间有较好的兼顾性。本文改进算法相比GoogLeNet，SequeezeNet，MobileNet_V3三种算法表现良好的算法，准确率平均高出1.24 %，运行效率提高3.09 %。

综上所述，经改进的算法取得了比另外七种算法都高的准确率，并在兼顾准确率的同时拥有比较出色的运行效率。

4 结 论

针对船舶管理系统中对准确率和实时性的需求，本文提出了一种先对图片进行二值化处理，再通过网络中间层输出可视化，将富含细节的底层特征和高层特征相结合送入SoftMax层并改进Adam优化器的方法，进一步提高了网络泛化能力与运行效率。实验表明：改进算法兼顾了准确率与实时性，取得了比其他对比算法更好的效果。对船舶智能管理系统的应用有借鉴意义。