基于多核密集连接网络的无人机低质图像分类识别方法

陈科羽 谢春 徐梁刚 陈凤翔

摘  要：在使用无人机进行拍摄时，通常会拍摄到一些存在雾霾、雨条纹、雨滴、阴影以及模糊的低质图像。目前针对各类低质图像的恢复增强算法大都只解决了某一类低质图像的恢复问题，如何将各类低质图像进行识别分类仍然是一大难题。针对该问题提出了一种用于低质图像分类的多核密集连接网络，针对低质图像上的特征尺寸存在较大差异，采用三个大小不同的密集连接模块提取不同尺寸的特征。经过试验证明，该网络能够有效识别分类各类低质图像和清晰图像。

关键词：低质图像；CNN；圖像分类；图像恢复

中图分类号：TP183；TP391.4  文献标识码：A  文章编号：2096-4706（2023）08-0099-04

Abstract： When using UAV for shooting， some low-quality images with haze， rain streaks， raindrops， shadows and blurring low-quality are usually captured. At present， most of the restoration and enhancement algorithms for all kinds of low-quality images only solve the restoration problem of a certain kind of low-quality images. How to recognize and classify all kinds of low-quality images is still a big problem. To solve this problem， a multi-core dense connection network for low-quality image classification is proposed. In view of the large differences in feature sizes on low-quality images， three dense connection modules with different sizes are used to extract features of different sizes. Experiments show that the network can effectively recognize and classify all kinds of low-quality images and clear images.

Keywords： low-quality image; CNN; image classification; image restoration

0  引  言

由于自然环境的复杂多变性，常常会出现一些雾霾、暴雨、强光等极端环境。无人机视觉系统在极端环境下会拍摄到大量的低质图像，这些低质图像统称为低质图像，低质图像将会导致视觉系统无法对目标物体进行有效的识别和检测，难以正常工作。针对实际工程中常会遇到的各类极端环境，结合已有的恢复算法，整理出了五类常见的低质图像：雾霾、雨条纹、雨滴、低照度、模糊。针对上述的五类低质图像，目前已有大量的恢复算法，例如用于雾天图像恢复的暗通道先验去雾算法[1]、DehazeNet算法[2]和AOD-Net算法[3]等；用于雨条纹图像恢复的DID-MDN去雨条纹算法[4]和GCANet算法[5]等；用于雨滴图像恢复的基于GAN的单一图像去雨滴算法[6]；用于阴影图像恢复的RetinexNet算法[7]和EnlightenGAN算法[8]；用于模糊图像恢复的DeBlurGAN算法[9，10]、SRN-DeblurNet算法[11]等。上述的这些算法有效解决了某一类低质图像如何恢复增强的问题，但是在实际工程中，如何将这些低质图像从庞大的数据库中筛选出来并进行识别分类仍然是一个问题。因此，本文提出了一种用于低质图像分类的多核密集连接网络，相比于现有的DenseNet、VGG16等网络，在低质图像数据集上具有更高的分类准确率，能够实现对低质图像的有效分类。

1  相关工作及数据集构建

对于极端环境下拍摄到的低质图像，刘振宇等人提出了一种基于偏色因子以及色度分量的低质图像分类方法[12]。通过构建物理模型，对清晰、雾霾、雨雪、沙尘四类图像进行区分，该方法能够对低质图像进行区分，但是类别相对较少，精细度不足。

天气图像分类任务与本文所提出的低质图像分类任务类似。天气图像分类需要识别出每张图像所属的天气类别，例如晴天、雾天、多云、雨天、雪天等。目前天气图像分类的方法大多都是基于CNN完成的，这些方法大致可以分为两类：第一类通过语义分割、目标检测等方法识别出图像上存在的辅助分类信息，例如晴天图像上存在的阴影、多云图像上存在的云彩、雨天图像上存在的潮湿的地面等，从而提高天气图像分类的准确率，例如Zhao和Li[13，14]通过多任务模型同时对天气图像进行分类和语义分割，通过两个任务之间的内在联系使得分类准确率得到提高。Shi等人[15]通过Mask R-CNN将天气图像进行划分为几个部分，再使用VGG16进行特征提取。Lin等人[16]则是采用语义分割对图像进行划分，提取出辅助分类信息。第二类则是关注于不同天气图像上存在的对比度、亮度等颜色差异，通过特征融合等方法改进卷积神经网络结构，提高准确率。例如Zhang等人[17]针对天气图像设计了新的特征提取方法，将天空、阴影、雨带、雪花和暗通道的特征作为图像的局部特征，使每一个特征都可以指示一种特定的天气。将对比度和饱和度特征作为可以指示多种天气的全局特征，通过字典学习对上述提取出的特征进行学习分类。Roser等人[18]提取图像的对比度、最小亮度、清晰度、色调和饱和度等特征，通过SVM对图像进行分类。郭志强等人[19]同时采用人工特征和深度特征，设计了新的特征提取方法提取图像的对比度、饱和度等特征作为人工特征，采用AlexNet模型提取图像的深度特征，将两类特征进行融合，采用线性分类器进行分类。在本文的低质图像分类任务中，由于雨滴图像和雨条纹图像难以标注，模糊图像的环境背景复杂多变，上述的两类天气图像分类方法在本任务上并不适用。

为了有效解决低质图像的分类问题并对多核密集连接网络进行训练，需要构建一个由各类低质图像构成的数据集。在本文所构建的低质图像数据集中有六类图像，其中包含五类常见的低质图像（雾霾、雨条纹、雨滴、阴影、模糊）和一类清晰图像，每类1 200张图像，如图1所示。

2  网络结构

随着CNN的飞速发展，出现了众多优秀的网络模型，例如VGG16、DenseNet等，这些现有的网络能够对低质图像进行分类，但是由于低质图像上存在的不同尺度的特征，其分类准确率并不高。因此，提出了一种基于多核密集连接的网络模型，该模型主要由密集连接部分、注意力部分和分类部分组成，如图2所示。密集连接部分主要由三个卷积核大小不同的密集连接模块构成，用以提取低质图像上不同尺寸的深度特征；注意力部分则是集成了通道注意力模块和空间注意力模块，用以放大特征图上的有效信息；分类模块则主要由卷积层和全连接层构成，从而得到最终的分类结果。

在密集连接部分中，单个密集连接模块不能很好地提取出低质图像上的所有特征，因此采用了三个卷积核大小不同的密集连接模块，其具体区别在于密集连接模块中瓶颈层的第二个卷积核大小不同，分别为3×3、5×5、7×7。密集连接模块的结如图3所示，每个密集连接模块均由6个瓶颈层（Bottleneck Block）和6个过渡层（Transition Layer）组成，每个瓶颈层之间由过渡层连接。在密集连接模块中，輸入图像依次通过每个瓶颈层，其中瓶颈层5的输入图像为过渡层1和4的输出进行拼接后的图像，瓶颈层6的输入图像为过渡层2和5的输出进行拼接后的图像，最后将过渡层1-6的输出图像经过上采样后与该密集连接模块的输入图像进行拼接，得到该密集连接模块的最终输出特征图。

注意力部分主要由通道注意力模块和空间注意力模块构成，如图4所示，其输入图像为三个密集连接模块的输出特征图与原始输出图像拼接后的图像，即Concat[Input，DB1，DB2，DB3]。通过空间注意力机制为拼接后的特征图每个通道分配不同的权重，在进行空间注意力机制时，过多的通道数会导致信息冗余，无法有效放大空间维度上的重要信息，因此在空间注意力模块之前引入了一个卷积层，将特征图压缩至3通道，去除了部分无效的信息。

在分类部分中，其结构借鉴了带有批量归一化层的VGG16模型，如图5所示。主要包括两个卷积层、两个全连接层、一个批量归一化层（BN层）和一个平均池化层，在该部分，两个卷积层的卷积核大小均为3×3；第一个全连接层的输入尺寸为249 696，输出尺寸为512；第二个全连接层的输入尺寸为512，输出尺寸为6。

3  实验结果与分析

3.1  训练细节

在Pytorch框架下进行训练，对输入图像进行随机水平翻转或竖直翻转，随机概率均为0.5，优化算法采用Adam算法，损失函数采用Cross Entropy Loss函数，其公式为：

其中，p表示真实值，q为预测值。

在构建的低质图像数据集上进行训练和测试，将数据集划分为训练集、验证集和测试集，其中训练集每类800张，验证集每类200张，测试集每类200张。保存在验证集上召回率的最优模型作为最终模型。在其中使用了BN层[20]（Batch Normalization），BN层的公式为：

其中μ为一个Batch内xi的均值，σ2为一个Batch内的xi的标准差，ε为一个较小的常数，防止出现除零错误，γ和β为可学习的参数。BN层的输出值将会受到Batch Size大小的影响，在进行验证和测试时需要将BN层去掉。

3.2  实验结果

在包含六类图像的低质图像数据集上进行测试，在本次实验中，采用以下几种模型进行测试对比：完整的多核密集连接网络（Ours）、DenseNet169、ResNet18、VGG16。为了衡量各个模型的性能，采用召回率（Recall，R）和精确率（Precision，P）以及整体的平均召回率（Average Recall，AR）和平均精确率（Average Precision，AP）指标进行评价，召回率和精确率的计算方法为：

其中，TP（True Positive）表示图像标定为正样本，分类结果为正样本；FN（False Negative）表示图像标定为正样本，分类结果为负样本；FP（False Positive）表示图像标定为负样本，分类结果为正样本。

根据表1的实验结果可以看出，现有的DenseNet、VGG16等结构的精确率和召回率只能达到88.53%和88.25%，无法满足分类需求，而具有三个密集连接模块的多核密集连接网络的精确率和召回率则是达到了92.78%和92.58%，其分类性能得到了提高。

同时，为了证明三个密集连接模块的有效性，对多核密集连接网络进行了消融实验，分别采用只有单个密集连接模块的多核密集连接网络进行了测试，测试模型有如下几类：1）Ours：完整的多核密集连接网络；2）Single1：只有密集连接模块1的多核密集连接网络，其卷积核大小为3×3；3）Single2：只有密集连接模块2的多核密集连接网络，其卷积核大小为5×5；4）Single3：只有密集连接模块3的多核密集连接网络，其卷积核大小为7×7；5）Single1+3：由密集连接模块1和3构成的多核密集连接网络。实验结果如表2所示。

根据表2的实验结果，具有单个密集连接模块以及两个密集连接模块的多核密集连接网络其召回率和精确率均可以达到90%以上，但仍然要低于具有三个密集连接模块的完整多核密集连接网络，也进一步说明了三个不同卷积核大小的密集连接模块在低质图像特征提取中的有效性。

4  结  论

在本文中，由于目前各类低质图像恢复算法都只是单一地解决了某一类低质图像的恢复增强问题，而在实际工程环境状况复杂多变，需要一种分类识别方法来将各类低质图像区分开，因此，提出了一种基于密集连接网络的多核密集连接网络，能够有效地区分出各类低质图像和清晰图像，以便于更好的处理无人机在极端环境下采集到的低质图像。

参考文献：

[1] HE K M，SUN J，TANG X O. Single Image Haze Removal Using Dark Channel Prior [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（12）：2341-2353.

[2] CAI B L，XU X M，JIA K，et al. DehazeNet：An End-to-End System for Single Image Haze Removal [J].IEEE Transactions on Image Processing，2016，25（11）：5187-5198.

[3] LI B Y，PENG X L，WANG Z Y，et al. An all-in-one network for dehazing and beyond [J].arXiv：1707.06543 [cs.CV].[2022-09-02].https：//arxiv.org/abs/1707.06543.

[4] ZHANG H，PATEL V M. Density-Aware Single Image De-raining Using a Multi-stream Dense Network [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：695-704.

[5] CHEN D D，HE M M，FAN Q N，et al. Gated Context Aggregation Network for Image Dehazing and Deraining [C]//2019 IEEE Winter Conference on Applications of Computer Vision（WACV）.Waikoloa：IEEE，2019：1375-1383.

[6] QIAN R，TAN R T，YANG W H，et al. Attentive Generative Adversarial Network for Raindrop Removal from A Single Image [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：2482-2491.

[7] WEI C，WANG W J，YANG W H，et al. Deep Retinex Decomposition for Low-Light Enhancement [J/OL]. arXiv：1808.04560 [cs.CV].[2022-09-03].https：//arxiv.org/abs/1808.04560v1.

[8] JIANG Y F，GONG X Y，LIU D，et al. EnlightenGAN：Deep Light Enhancement without Paired Supervision [J].IEEE Transactions on Image Processing，2021，30：2340 - 2349.

[9] KUPYN O，BUDZAN V，MYKHAILYCH M，et al. DeblurGAN：Blind Motion Deblurring Using Conditional Adversarial Networks [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：8183-8192.

[10] KUPYN O，MARTYNIUK T，WU J R，et al. DeblurGAN-v2：Deblurring（Orders-of-Magnitude） Faster and Better [C]//2019 IEEE/CVF International Conference on Computer Vision（ICCV）.Seoul：IEEE，2019：8877-8886.

[11] TAO X，GAO H Y，WANG Y，et al. Scale-recurrent Network for Deep Image Deblurring [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：8174-8182.

[12] 劉振宇，江海蓉，徐鹤文.极端天气条件下低质图像增强算法研究 [J].计算机工程与应用，2017，53（8）：193-198+245.

[13] ZHAO B，HUA L L，LI X L，et al. Weather recognition via classification labels and weather-cue maps [J].Pattern Recognition，2019，95：272-284.

[14] LI X L，WANG Z G，LU X Q. A Multi-Task Framework for Weather Recognition [C]//Proceedings of the 25th ACM international conference on Multimedia. Mountain View：Association for Computing Machinery，2017：1318-1326.

[15] SHI Y Z，LI Y X，WEI X，et al. A Faster-RCNN Based Chemical Fiber Paper Tube Defect Detection Method [C]//2017 5th International Conference on Enterprise Systems（ES）.Beijing：IEEE，2017：173-177.

[16] LIN D，LU C W，HUANG H，et al. RSCM：Region Selection and Concurrency Model for Multi-Class Weather Recognition [J].IEEE Transactions on Image Processing，2017，26（9）：4154-4167.

[17] ZHANG Z，MA H D，FU H Y，et al. Scene-free multi-class weather classification on single images [J].Neurocomputing，2016，207：365-373.

[18] ROSER M，MOOSMANN F. Classification of weather situations on single color images [C]//2008 IEEE Intelligent Vehicles Symposium.Eindhoven：IEEE，2008：798-803.

[19] 郭志強，胡永武，刘鹏，等.基于特征融合的室外天气图像分类 [J].计算机应用，2020，40（4）：1023-1029.

[20] IOFFE S，SZEGEDY C. Batch normalization： Accelerating deep network training by reducing internal covariate shift [C]//Proceedings of the 32nd International Conference on International Conference on Machine Learning.Lille：MLR.org，2015，37：448-456.

作者简介：陈科羽（1993.10—），男，汉族，贵州兴义人，工程师，部门副总经理，本科，研究方向：数字输电专业化运维技术。