应用空洞卷积的神经网络轻量化方法

马 利，刘新宇，李皓宇，段苛苛，牛 斌

辽宁大学 信息学院，沈阳 110036

近年来，卷积神经网络出现两种发展趋势。一方面向大规模、深层次方向发展；另一方面向轻量化、高速度方向发展。随着移动互联网的飞速发展，人们对于移动边缘设备需求越来越高，卷积神经网络轻量化诉求越来越多，如何在边缘设备上更加流畅地运行深度学习算法成为一种挑战。边缘设备存储空间少、算力资源匮乏，为卷积神经网络轻量化方法提供了广阔的研究与发展平台。

常用卷积神经网络轻量化方法大致可分为两种：其一是对模型结构进行精细化设计，如MobileNet系列[1-2]、SqueezeNet[3]与ShuffleNet系列[4-5]等。它们对模型结构进行更加细致、高效的设计，使得模型尺寸得以很大程度地缩小，并且取得不错的精度。其二是保持现有模型宏观结构不变而对模型进行压缩，包括剪枝[6]、量化[7]、蒸馏[8]等，它们在现有优秀模型基础上对模型内部权值进行处理，去除现有模型在固定任务中的冗余，完成神经网络轻量化。大多轻量化方法面临的问题是如何很好地权衡精度与速度，为使神经网络过分轻量，则精度难以保证；为过分保证精度，则神经网络轻量效果微乎其微。如何最佳权衡速度与精度，是神经网络轻量化中热切关注的话题。

空洞卷积最早被Yu等[9]进行系统研究，它是一种传统图像卷积的变种，通过对传统图像卷积添加空洞，完成对传统图像卷积的感受野扩张。常使用不同尺度空洞数的空洞卷积用作多尺度特征图信息与感受野的融合，如目标检测与语义分割任务中的空洞卷积池化金字塔（atrous spatial pyramid pooling）[10]、ESPNet[11]等。本文受空洞卷积结构特性启发，对其在神经网络轻量化方面进行了探究。利用空洞卷积采样与扩张感受野的特性，提出三种基于空洞卷积的轻量化方法，分别为基本空洞卷积轻量化方法、改进型空洞卷积轻量化方法与融合型空洞卷积轻量化方法。基本空洞卷积轻量化方法将空洞卷积直接应用于网络结构设计，具有轻量化效果好、准确率损失略高的特点；改进型空洞卷积轻量化方法将逐点卷积与空洞卷积结合应用于网络结构设计，具有轻量化效果显著、准确率损失剧烈的特点；融合型空洞卷积轻量化方法将改进型空洞卷积轻量化方法与普通卷积融合应用于网络结构设计，具有轻量化效果明显、准确率损失微小的特点。融合型空洞卷积方法具有最好的速度与精度的权衡。

1 相关工作

对模型精细化设计来实现神经网络轻量化往往通过使用小卷积核代替大卷积核、分解卷积、对卷积通道进行处理等具体手段来实现[12-13]。现代深度神经网络通常使用小卷积核代替大卷积核进行网络设计[14]，SqueezeNet是最早公开的轻量化结构设计网络，一方面使用1×1小卷积核部分代替3×3卷积核，可减少8倍的卷积操作参数量与很大一部分的卷积操作运算量。另一方面对于保留的3×3卷积核进行通道数缩减，可达到进一步的参数量与运算量衰减。MobileNet使用深度可分离卷积模块完成了轻量化网络设计，深度可分离卷积使用深度卷积与逐点卷积前后串联，完成对MobileNet网络轻量化设计，并取得了不错的效果。其中深度卷积采用组卷积思想，针对每个输入通道采用不同卷积核；逐点卷积利用1×1小卷积核特性，实现维度的扩展。ShuffleNet使用了分组卷积思想，并将来自不同组的特征信息进行混洗，使得分组过后卷积的特征信息打乱混合，能够更好地流通。上述的模型精细化方式通过对模型宏观结构与微观结构的重新设计，实现了一种新的高效主干网络，从结构层面完成了对神经网络的轻量级设计。

受众多神经网络轻量化方法启发，本文从神经网络微观结构精细化入手，对一种结构较特殊的卷积——空洞卷积在神经网络轻量化方面进行了研究。以空洞卷积扩张感受野特性为切入点，对空洞卷积在神经网络轻量化方法中应用的可行性与特性进行了研究。将空洞卷积作为主体研究对象，结合SqueezeNet卷积通道挤压思想，对残差块进行空洞卷积轻量化设计。并将轻量化方法应用于图像分类与目标检测两种任务，在三个数据集上对空洞卷积轻量化方法进行实验分析与研究。

2 基于空洞卷积的神经网络轻量化方法

2.1 空洞卷积结构

空洞卷积是一种特殊结构的卷积，引入空洞的概念，通过对传统图像卷积进行空洞数添加，达到扩大卷积感受野的目的。令Gi为第i层特征图，Fi为第i层卷积层，则普通离散卷积操作计算公式如式（1）所示，其中p为卷积后生成特征图内的点，a为原始特征图Gi内的点，b为卷积层Fi内的点。

空洞卷积计算公式如式（2）所示，其中m为扩张率，为普通卷积添加的空洞数目加1。即扩张率m为1时，空洞卷积变为普通卷积。

由空洞卷积与普通卷积计算公式可知，空洞卷积运算具有等间隔采样特性，而其采样程度由扩张率确定，即扩张率越大，空洞卷积采样范围越大，单位范围内的采样点数越少。

感受野描述卷积操作后的输出特征图上像素点对于被卷积图上映射区域的大小[15]。在感受野敏感的任务如目标检测、图像识别等，对于感受野的着重考量直接决定任务效果。感受野计算公式如式（3），rfk表示第k层感受野大小，rfk-1表示第k-1层感受野大小，nk表示第k层的卷积核尺寸大小，si表示k层前第i层卷积的步长。

空洞卷积在不减小特征图大小的前提下扩大了感受野，第k层空洞卷积的核大小dlk计算公式如式（4），其中lk表示第k层原始普通卷积的核大小。

将式（4）代入式（3）可得第k层dlk大小的空洞卷积核对于lk大小普通卷积核扩展的感受野为rf_expendk，如公式（5）：

对于感受野关系的具象描述如图1所示，以5×5普通卷积核对一个5×5的图像矩阵进行一次卷积操作为例。源图像经卷积后，得到1×1的特征图，即特征图仅存像素点的感受野为整个源图像。图2用两层3×3普通卷积串联对一个5×5的图像矩阵进行两次卷积操作，卷积后同样得到1×1特征图，即两层3×3串联的两次卷积操作与一层5×5的卷积操作得到特征图感受野一致。空洞卷积为3×3的普通卷积核元素之间添加一个空洞，即扩张率为2，如图3所示。以该空洞卷积对一个5×5的图像矩阵进行一次卷积操作，得到了1×1的特征图。可见通过此空洞卷积操作得到特征图与使用5×5的普通卷积一次卷积操作、使用3×3的普通卷积两次卷积操作感受野一致，空洞卷积利用较小的参数量实现较大的感受野。

图1 普通5×5卷积一次卷积过程Fig.1 Process of 5×5 general convolution convolve once

图2 普通3×3卷积两次卷积过程Fig.2 Process of 3×3 general convolution convolve twice

图3 空洞数为1的3×3空洞卷积一次卷积过程Fig.3 Process of 3×3 dilated convolution which has 1 hole convolve once

2.2 基本空洞卷积轻量化方法

现代典型的卷积神经网络如VGG、ResNet、DLA等多使用两层串联卷积层组成卷积组用以特征提取。尤其跳跃连接型卷积神经网络，更是直接使用两层3×3的普通卷积串联的卷积组作为网络的基本残差块。本文以保障各卷积组的输入输出特征图与特征图感受野大小不变为前提，利用空洞卷积结构可以用较小参数量与运算量实现较大感受野的特性，设计了基本空洞卷积轻量化方法。

令输入特征图大小为Hin×Win×Cin，Hin为输入特征图长度，Win为输入特征图宽度，Cin为输入特征图通道数。第一层卷积核大小为L1×L1×C1_in×C1_out，L1为卷积核尺寸，C1_in为卷积核输入通道数且C1_in=Cin，C1_out为卷积核输出通道数，第二层卷积核大小为L2×L2×C2_in×C2_out，L2为卷积核尺寸，C2_in为卷积核输入通道数，C2_out为卷积核输出通道数，以Cout表示输出特征图通道数，则C1_out=C2_in=C2_out=Cout。令卷积操作步长为1，无填充操作，则两层普通卷积层串联后操作得到特征图感受野R1为：

设定空洞卷积以第一层普通卷积为基础，对其添加空洞。则其扩张率m=(L2-1)(L1-1)+1时，R1=R2，MS1=MS2。

由上述公式推导，以各层次的特征图尺寸与感受野大小不变为前提，用一层空洞卷积层近似两层普通卷积层的表达能力，进行基本空洞卷积轻量化方法设计。经过两层普通卷积运算的运算量U1为：

设定基本空洞卷积轻量化方法卷积核尺寸DL由尺寸为L1的普通卷积扩张而来，其运算量U2为：

由式（2）可知空洞卷积结构本身具有等间隔采样特性，过大的扩张率使得空洞卷积单位范围采样点数过少，损失过多的信息依赖与相关特性。为使空洞卷积的空洞尽可能少损失信息依赖性与相关性，本文采用最小的空洞数，即只添加一个空洞的空洞卷积进行轻量化方法设计。实验经验证明[14]，较小的卷积核具有更好的灵活性并带来更好的性能表现，故采用3×3的普通卷积，即L1=L2=3，m=2的空洞卷积进行轻量化方法设计。

为验证空洞卷积对于轻量化方面的表现，本文将空洞卷积轻量化方法嵌入到几个典型的卷积神经网络结构VGG[16]、ResNet[17]和DLA[18]中。其中VGG是一种直接传输型结构，ResNet是一种引入残差连接增加网络深度与泛化能力的跳跃连接型结构。DLA（deep layer aggregation）是改进ResNet的深度聚合跳跃连接型结构，它将不同层次卷积组聚合从而达到更好的网络效果。在ResNet和DLA的跳跃连接型结构中，典型的残差块使用两层3×3的普通卷积串联保证合适的感受野，并使用跳跃连接完成残差传输同时融合输入与输出特征图的感受野。本文应用小尺寸小空洞数空洞卷积核即扩张率为2的3×3的空洞卷积重新设计残差块结构。以一层空洞卷积近似两层串联的普通卷积，在保证合适的感受野同时起到轻量化作用，过程如图4。本文称这种空洞卷积残差块设计过程为基本空洞卷积轻量化方法。

图4 将基本空洞卷积轻量化方法应用于普通卷积残差块Fig.4 Applying basic dilated convolution lightweight method to general convolution residual block

以输入特征图尺寸为5×5×64，输入通道数为64、输出通道数为128为例，进行具体计算。根据公式（10）～（15）可以计算得到，仅考虑残差块内的卷积操作，普通卷积残差块运算量为3 170 304，基本空洞卷积残差块运算量为1 843 200，基本空洞卷积残差块较普通卷积残差块运算削减量为1 327 104，基本空洞卷积残差块运算量为普通卷积残差块运算量的58.1%。普通卷积残差块参数量为221 184，基本空洞卷积残差块参数量为73 728，基本空洞卷积残差块较普通卷积残差块参数削减量为147 456，基本空洞卷积残差块参数量仅为普通卷积残差块参数量的33.3%。由此可见基本空洞卷积轻量化方法可以使参数量与运算量大量缩减。

2.3 改进型空洞卷积轻量化方法

受轻量级神经网络MobileNet、SqueezeNet等设计思路启发，本文将空洞卷积与1×1的逐点卷积相结合，对基本空洞卷积残差块进行进一步改进，提出了一种改进型空洞卷积轻量化方法。

1×1的逐点卷积具有等化感受野的特性，常用于卷积神经网络中的维度变换操作，具有参数量少、运算量少的特点。设定M′个1×1的逐点卷积作为可学习的滤波器，用以对原始特征图进行特征压缩。设定原始特征图尺寸为H′×W′×N′，即1×1卷积输入通道也为N′，利用1×1卷积操作得到尺寸为H′×W′×M′的特征图以对原始特征图进行近似表示。这里M′＜N′，即1×1的逐点卷积利用其可学习的滤波特性，对原始特征图进行了特征抽取，完成了特征图通道的压缩，减少了下一阶段进行卷积操作所需的参数量与运算量。其过程如图5。1×1的逐点卷积使输出特征图以M′通道近似表示输入为N′通道的特征图，即：GH′×W′×M′out→GH′×W′×N′in，其中GH′×W′×N′in表示尺寸为H′×W′×N′的输入特征图，GH′×W′×M′out表示经过1×1逐点卷积操作后的输出特征图，尺寸为H′×W′×M′。

图5 1×1卷积压缩特征图过程Fig.5 Process of 1×1 convolution compress feature map

利用1×1逐点卷积等化感受野同时的通道压缩特性，在逐点卷积过后，串联一层空洞卷积层，用以保证残差块的感受野，进行进一步的轻量化。改进型空洞卷积轻量化方法具体结构如图6。

图6 改进型空洞卷积轻量化方法Fig.6 Improved dilated convolution lightweight method

改进型空洞卷积轻量化方法利用逐点卷积与空洞卷积结合，其运算量Uimpr可用式（16）计算，其参数量Pimpr可用式（17）计算：

式（16）、（17）中Cin、Cout、Hin、Win与式（10）定义相同；Lp代表压缩的通道数，这里取16。由公式计算组成可知，改进型空洞卷积轻量化方法对比基本空洞卷积轻量化方法的参数量与运算量的削减主要由1×1逐点卷积的小卷积核、通道数压缩特性与空洞卷积特性结合而成。同样以输入特征图尺寸为5×5×64、输入通道数为64、输出通道数为128为例，改进型空洞卷积轻量化方法运算量为486 400，改进型空洞卷积轻量化方法参数量为19 456。仅这一尺度卷积核，改进型空洞卷积轻量化方法运算量与参数量是基本空洞卷积轻量化方法的26.4%。将改进型空洞卷积轻量化方法的压缩通道特性应用于深度残差网络中，其对每层输入的卷积通道数进行压缩，在整个网络的轻量化表现上比单纯使用一个残差块的表现更为突出。使用逐点卷积进行输入通道压缩为改进型空洞卷积轻量化方法带来了在大型网络中对输入通道的统一输入维度的压缩特性。

2.4 融合型空洞卷积轻量化方法

过多使用空洞卷积对网络进行轻量化操作，将带来较大精度衰减，主要原因有：（1）由式（2）可见空洞卷积结构具有等间隔采样特性，频繁地采样会损失各层次特征图的部分有用特征信息；（2）深度神经网络的本质在于在一个求解空间内拟合一个最优的目标函数，深度更深的网络具有更大的求解空间。用一层空洞卷积替代两层普通卷积，尽管保证了各层次特征图与感受野的大小，却减少了网络的深度，缩小了原本两层普通卷积所具有的求解空间，牺牲了原网络的一些表达能力。

由式（18）可知，融合型空洞卷积轻量化方法输出特征图信息来自于普通卷积与改进型空洞卷积轻量化方法两种操作，此种融合型空洞卷积轻量化方法在保证整个残差块感受野的前提下，既利用了普通卷积的高精度特性，又利用了改进型空洞卷积轻量化特性，在具有很好的轻量化效果同时，保证了很好的精度，是在基于空洞卷积的轻量化方法中，综合性能最好的方法。融合型空洞卷积残差块的结构如图7。

图7 融合型空洞卷积轻量化方法Fig.7 Fusing dilated convolution lightweight method

融合型空洞卷积残差块参数量、运算量为块中的普通型卷积块与应用改进型空洞卷积轻量化方法卷积块的参数量、运算量相加，以输入特征图尺寸为5×5×64、输入通道数为64，整体卷积块输出通道数为128，普通型卷积块与改进型空洞卷积块输出通道数都为64，进行举例计算说明。融合型空洞卷积轻量化方法运算量使用式（10）与式（16）联合进行计算，参数量使用式（13）与式（17）联合进行计算，得结果运算量为1 509 376，参数量为83 968。由此可见就单一卷积块，融合型空洞卷积轻量化方法运算量是原本普通卷积块的47.6%，参数量是原本普通卷积块的38.0%。

融合型空洞卷积方法在速度和精度上取得了最好的权衡，在保障卷积块感受野的前提下，充分利用了普通卷积块与改进型空洞卷积块的特点，取得很好的精度与速度的权衡。此种方法可以大大减少原本单纯使用空洞卷积进行轻量化操作时带来的特征信息与相关信息的损失。此种残差块同时具有通用性，在基于残差块的网络结构中应用。对于残差型深度卷积神经网络可以保证高精度同时减少参数量与运算量。

3 基于空洞卷积的轻量化方法实验与分析

3.1 实验环境与评价标准

实验环境：本文使用PyTorch框架进行程序编写，并应用CUDA进行GPU加速。使用Intel Core i5 CPU与NVIDIA GTX 1660TI GPU配置的硬件平台完成实验。

数据集与评价标准：本文将3种空洞卷积轻量化方法分别嵌入到典型网络结构中对图像分类与目标检测任务进行实验。使用CIFAR10与CIFAR100两种数据集进行实验与分析，得到空洞卷积轻量化方法在图像分类任务中应用结果。使用KITTI数据集完成空洞卷积轻量化方法在目标检测中的应用。

CIFAR10数据集是一种包含10个类别60 000张彩色图片的数据集。整体被划分为训练集50 000张图片，测试集10 000张图片，包含5个训练批次与1个测试批次。本文应用CIFAR10进行基本型、改进型与融合型空洞卷积方法实验，以准确率作为评判标准。

CIFAR100数据集是对CIFAR10图像的精细标注，包含100个类别。本文采取两种形式准确率作为评判标准，Top1准确率设定预测得到最大概率作为分类结果，其正确则判定分类成功；Top5准确率设定预测得到最大5个概率中存在1个正确结果即判定分类成功。Top5准确率较Top1准确率具有更好的宽容性，二者联合能更好衡量多分类任务的性能。

KITTI数据集是一种被应用广泛的自动驾驶领域数据集。本文使用它的目标检测子集，包含用7 481张训练图片与7 518张测试图片。图片中目标对象被标注为汽车、行人等9类。本文采取KITTI官方提出的几种评价标准，即AP（准确率）、AOS（平均角度得分）、BEV AP（鸟瞰图准确率）作为目标检测效果评价标准，每种评价标准分为简单、适中、艰难三种程度。以此多标准混合评价来分析空洞卷积轻量化方法应用于自动驾驶场景目标检测的效果。

性能上图像分类与目标检测任务皆使用参数量和FLOPs（浮点运算次数）来衡量。参数量用以衡量模型大小，FLOPs用以衡量模型计算复杂度。模型计算复杂度可体现模型速度，即同等硬件条件下，复杂度越高，速度越慢。

3.2 在图像分类任务上的实验及其结果分析

3.2.1 基本空洞卷积轻量化方法在图像分类任务实验及结果分析

本文使用CIFAR10数据集对基本空洞卷积轻量化方法进行图像分类实验。选取直接连接型（VGG）与跳跃连接型（ResNet、DLA）网络结构应用基本空洞卷积轻量化方法于CIFAR10数据集上进行实验。选取VGG19、ResNet18、ResNet34、DLA18、DLA34几种网络，以相同的训练规则对使用基本空洞卷积轻量化方法与未使用基本空洞卷积轻量化方法的网络进行250轮的训练。最终得到图像分类准确率，并对参数量、FLOPs进行比较，结果如图8。通过数据对比可知，空洞卷积轻量化效果对跳跃连接型网络减少参数量与运算量的幅度最佳，平均减少50%甚至更多，而直接连接型网络轻量化效果相对略有不佳，运算量仅减少了43%。基本空洞卷积具有很好的轻量效果，代价却是明显的准确率下降。其中ResNet18的准确率下降程度最为剧烈，下降了2.62%，本文认为这种下降一方面与空洞卷积结构本身等间隔采样特性带来部分信息损失有关，另一方面与基本空洞卷积将原本深度较深的网络变浅，损失了较大的泛化性能有关。ResNet18在经过基本空洞卷积轻量化方法后，网络深度变为最浅，并且不具备DLA的深度聚合特性，故其准确率损失最剧烈。

图8 基本空洞卷积轻量化方法在CIFAR10数据集上实验结果Fig.8 Experimental results of basic dilated convolution lightweight method in CIFAR10 dataset

3.2.2 改进型与融合型空洞卷积轻量化方法在图像分类任务实验及结果分析

本文接着使用CIFAR10与CIFAR100两种数据集，对改进型与融合型空洞卷积方法在图像分类任务上，进行细致对比实验，并着重分析。针对跳跃连接型网络，应用改进型与融合型空洞卷积轻量化方法对ResNet与DLA两种结构的四种网络在CIFAR10与CIFAR100上进行了实验。对每个数据集上的不同网络采用同样的训练规则进行250轮数的训练。

对于CIFAR10数据集图像分类实验结果如图9所示。图中越靠近横轴左侧，模型所需的参数量与运算量越少，模型越轻量；越靠近纵轴上侧，模型准确率越高，分类效果越好；整体越偏在左上侧的模型，兼具少参数量、少运算量、高准确率，是最理想的模型。由本文在CIFAR10数据集上的结果来看，改进型空洞卷积轻量化方法对于减少模型参数量与运算量的效果是十分好的，而对于准确率的衰减也是很大的。这种准确率衰减除了基本空洞卷积带来的衰减，还有1×1逐点卷积近似表达的影响。融合型空洞卷积轻量化方法位于整个模型分布实验结果的左上侧的位置，虽然没有改进型空洞卷积方法的轻量化效果好，却保留了很好的准确率，很好地综合了精度衰减与模型轻量化，具有更好的均衡性。

图9 CIFAR10数据集中改进型与融合型空洞卷积轻量化方法实验结果Fig.9 Experimental results of improved and fusing dilated convolution lightweight method method in CIFAR10 dataset

对于CIFAR100数据集的图像分类结果、参数量及FLOPs对比结果如表1所示。CIFAR100数据集具有更细致准确的衡量标准，通过表内数据对比可知，改进型的空洞卷积轻量化方法在参数量与运算量衰减方面具有更加明显的效果，ResNet结构可以达到十倍以上的参数量与运算量衰减，DLA结构可以达到六倍以上的参数量与运算量衰减，而这种明显的轻量化效果带来的准确率降低也十分剧烈。在CIFAR100数据集上，Top1准确率降低最高可达8.72%，最低可达1.65%，Top5准确率降低最高可达3.20%，最低可达0.12%。可见准确率的降低存在差异性，从深度上来看，深度越深的网络受改进型空洞卷积轻量化方法降低准确率的影响越小；从结构上来看，聚合程度较高的DLA结构较ResNet结构受改进型空洞卷积方法降低准确率影响更小。对于融合型空洞卷积轻量化方法，其综合了参数量、运算量与准确率。由实验结果可知，融合型空洞卷积轻量化方法的轻量化程度不如改进型空洞卷积轻量化方法，可以达到约两倍多的参数量与运算量衰减，但却保证了高准确率。在CIFAR100上，应用融合型空洞卷积方法设计网络与原始网络Top1准确率与Top5准确率降低并不明显，降低程度在0.5%之内，其中存在个别经过融合型空洞卷积方法轻量化设计后的网络结构准确率较原始网络高。综上所述，改进型空洞卷积轻量化方法具有极佳的轻量化效果，却难以保证准确率。融合型空洞卷积轻量化方法在可以减少一半参数量与运算量的情况下，保证与原网络准确率相当甚至更高，是一种很好的综合速度与精度的轻量化方法。

表1 CIFAR100数据集改进型与融合型空洞卷积轻量化方法实验结果Table 1 Experimental results of improved and fusing dilated convolution lightweight method of CIFAR100 dataset

本文选取了MobileNet[1]、MobileNetv2[2]、SqueezeNet[3]、ShuffleNet[4]、ShuffleNetv2[5]几种典型的轻量级神经网络在CIFAR100上应用与前实验一致的训练方法进行训练。选取应用改进型空洞卷积方法的两种网络进行对比，对比结果如表2。由结果可知，ResNet18虽然准确率衰减最为剧烈，但是改进型空洞卷积方法带给了它十分优越的轻量化效果。在参数量大大少于MobileNet，运算量与MobileNet相当的情况下，Top1准确率与Top5准确率皆优于MobileNet。使用经过改进型空洞卷积方法重新设计微观结构的DLA18网络，在参数量与其他几个网络相当，运算量高于其他几个网络的情况下，Top1准确率与Top5准确率大大优于其他几种网络。改进型空洞卷积方法轻量化特性配合合适的宏观网络结构设计，可以实现与典型轻量化神经网络性能无明显差别。

表2 典型轻量化神经网络与改进型空洞卷积结构的网络在CIFAR100实验结果Table 2 Experimental results of typical lightweight neural networks and improved dilated convolution networks in CIFAR100

3.3 在目标检测任务上的实验及其结果分析

目标检测任务分为单阶段与双阶段[19]，本文使用一种无锚点单阶段目标检测方法CenterNet[20]作为目标检测任务框架，应用ResNet34与DLA34作为其主干网络，于KITTI数据集上进行目标检测任务实验。CenterNet继承了CornerNet[21]检测角点的思想并进一步改进，应用热图回归目标中心点完成目标检测任务。本文不对框架本身结构进行改进，只使用两种不同的主干网络，应用改进型与融合型空洞卷积轻量化方法作对比分析。本文均使用纯净的DLA34与ResNet34作为目标检测框架的主干网络，不增加别提升精度的技巧。不追求过高精度，只对比使用空洞卷积轻量化方法与未使用空洞卷积轻量化方法在目标检测上的表现。实验过程中未使用预训练模型，对几种方法采取相同的训练方法训练了70轮，实验结果如表3与表4。

表3 DLA34为CentetNet主干网络对应用空洞卷积轻量化方法于KITTI数据集上实验结果Table 3 Experimental result of CentetNet which backbone is DLA34 with dilated convolution lightweight method in KITTI dataset

表4 ResNet34为CentetNet主干网络对应用空洞卷积轻量化方法于KITTI数据集上实验结果Table 4 Experimental result of CentetNet which backbone is ResNet34 with dilated convolution lightweight method in KITTI dataset

由实验结果可知，因CenterNet中还存在一些别的占用参数量与运算量的操作，改进型与融合型空洞卷积轻量化方法轻量化程度不如单纯的图像分类任务，但依旧带来了可观的轻量化效果。改进型空洞卷积轻量化方法在目标检测任务上依旧可以带来更佳的轻量化效果，但其准确率、平均角度得分、鸟瞰图准确率依然大幅降低，其中ResNet结构较DLA结构下降更为剧烈。融合型空洞卷积轻量化方法在带来较好轻量化效果同时，保证了准确率、平均角度得分、鸟瞰图准确率。图10为一个出现极端情况的代表性检测效果示例。图中红色框标注为检测出了小汽车，黄色框为检测出了骑行人。可见应用改进型空洞卷积轻量化方法的网络检测出了大部分小汽车。其拥有最少的参数量，消耗最少的计算资源，却出现了漏检与误检。如DLA34+改进型检测结果中的中间部分小汽车的漏检，ResNet34+改进型结果中的旁边黄色框部分背景的误检。原始网络与应用融合型空洞卷积轻量化方法网络都具有较好的检测效果，都检测出来了图片内所有小汽车，无漏检与误检，并且相比原始网络应用融合型空洞卷积轻量化方法具有更少的参数量，消耗更少的计算资源。

图10 应用空洞卷积轻量化方法的CenterNet框架于KITTI数据集上目标检测结果实例Fig.10 Examples of object detection results on KITTI dataset by using CenterNet with dilated convolution lightweight methods

4 结束语

本文对空洞卷积应用于轻量化方面的特性进行了研究，提出了基于空洞卷积的轻量化方法：基本空洞卷积轻量化方法、改进型空洞卷积轻量化方法和融合型空洞卷积轻量化方法。经过理论研究与实验分析，发现基本空洞卷积轻量化方法轻量化同时会造成准确率降低，降低程度两种因素影响，其一为网络深度的影响，即深度越深准确率降低越不明显；其二为网络宏观结构的影响，即宏观结构聚合程度越高准确率降低越不明显。本文提出的改进型空洞卷积轻量化方法可带来最好的轻量化效果伴随着最剧烈的准确率降低程度。融合型空洞卷积轻量化方法可很好综合速度与精度，在带来较好的轻量化效果同时，可保留与原网络相当甚至更高的准确率，具有更好的普适性。