基于注意力机制及卷积神经网络的肺部图像分类

赵鑫，石翠萍，黄天盛，吉训杰

基于注意力机制及卷积神经网络的肺部图像分类

赵鑫，石翠萍＊，黄天盛，吉训杰

（齐齐哈尔大学 通信与电子工程学院，黑龙江 齐齐哈尔 161000）

新冠肺炎在全球范围内的突然爆发，使医疗工作者进入了紧张的工作状态。面临此次突发的危机事件，病毒检测速度较慢，检测手段单一等问题也迅速暴露出来，为此，提出了一种基于注意力机制的轻量级卷积神经网络方法，以进行高效肺部图像分类，从而缓解医疗工作压力。提出模型采用MobileNet为基本网络，并融合注意力机制。实验表明，提出网络的总体分类精度高达95.92%，比MobileNet基本网络提高了1.02%，且分类精度高于VGG16，VGG19，Inception-V3网络，具有良好的分类性能。

卷积神经网络；肺部图像分类；注意力机制；MobileNet

近年来，深度学习逐渐成为计算机视觉发展的大趋势，卷积神经网络被众多研究者用于图像分类任务。但与自然图像不同，肺部图像多数为单通道的灰度图像，其内部纹理组织丰富，图像细节较多，在成像上易受机器的干扰并产生噪声，从而大大增加了识别的难度。传统提取图像特征的方法有手工特征提取的方法，如：搜索树[1]，尺度不变特征变换[2]，方向梯度直方图[3]等，但这些基于底层的图像特征提取方法对提取肺部图像信息效果有限。卷积神经网络（Convolutional neural network，CNN）凭借其在计算机视觉领域的卓越表现，被广泛用于图像分类[4-6]，并能提供良好的分类精度。同时，注意力机制也成为提升分类性能的一大影响因素。然而，并非所有的卷积神经网络和注意力机制都适用于肺部图像分类。结合肺部图像特点，探寻一种适合其自身特性的神经网络模型，并用于高效分类是一项极具挑战性的任务。

常见的肺部图像分类方法有基于双参数的聚类分类、基于像素分类概率的迭代分类、多谱图像分类等，但这些传统的提取医学图像特征的方法效果有限，并不能很好地提取到有效特征。2014年，随着VGG系列网络的诞生，卷积神经网络被广泛应用于各类场景中。凭借其对图像深层特征的良好探索能力，使得众多研究者把卷积神经网络应用于肺部图像分类任务中。卷积神经网络主要由卷积层、池化层和全连接层构成。为了更好地提取图像特征，提高分类精度，越来越多的研究者不断探索更深层更宽的网络，因此，模型复杂度急剧增加，对机器数据处理能力要求大幅提高，给模型的训练与快速应用带来了不便。直到2016年一种轻量级网络（SqueezeNet）发表，凭借其模型训练速度快，分类精度高，模型复杂度小等优点迅速脱颖而出。

同时，注意力机制[7-9]也成为了提高分类精度的有利方法。当大量的医学图像信息被输入到神经网络中时，尽管卷积操作减少了数据的计算量，但网络提取到的特征信息的能力是有限的。而注意力机制可以关注信道间特征权重的关系，在空间与通道中的进一步探索目标特征，减少信息的损失。

为了实现在分类精度较好的情况下，尽量降低模型复杂度，本文提出了一种基于注意力机制的轻量级神经网络模型（Convolutional Neural Network Based on Attention，ATT-CNN），并用于肺部图像分类。在轻量级基础上，关注肺部图像关键特征及位置，进而提高分类精度。

1 方法

本文提出一种基于注意力机制的卷积神经网络，以MobileNet[10]作为基本网络，在特征加权阶段融合了模块注意力机制（Convolutional Block Attention Module，CBAM），在模型的四到六组中，将特征图进行卷积后所提取到的特征信息输送到CBAM中，进行深层信息探索与提取。最后将得到的特征信息转换为一维特征向量，输送到分类器中进行图像预测。本模型的整体结构框图如图1所示。

图1 ATT-CNN 的总体结构框

1.1 图像增强

肺部图像在成像时易受到外界环境干扰，如磁场、电场等，从而产生噪声，影响对图像的判断[11-12]。在模型训练之前，本文进行了图像增强处理，以抑制无关信息。如图2所示，采用了伽马变换对图像进行增强，其公式可以表示为

经过实验发现，在G=1.9，C=1时图像的细节效果最佳。

1.2 注意力机制

1.3 轻量级模型的构建

本文在选用模型时，避免了传统的大型网络模型，以MobileNet轻量级网络作为此次实验的基本网络，应用普通2D卷积与深度可分离卷积间隔排列的方式进行特征探索，在特征提取的主要阶段（第四到六组）加入了CBAM注意力机制。这样不仅训练速度快，模型的复杂程度也得到了一定程度上的缩减。表1为ATT-CNN网络模型的结构图。

表1 ATT-CNN网络模型的结构图

2 实验结果及分析

2.1 数据集

本次实验选取了医学公共数据集上的肺部X射线图像进行了实验，其中包含正常的肺部图像和患有肺部疾病患者的图像，在实验中采用训练集∶测试集=5∶5进行了模型的训练。图像的一些示例样本如图3所示。

图3 肺部图像的数据样本示例

2.2 实验设置

为了得到更多的肺部图像，使模型充分训练，进行了以下设置：

（1）本文进行了图像扩充，具体步骤如下：

①对图像进行归一化处理。

②将图像进行随机旋转0~60°。

③将图像的长度，宽度随机偏移0.2倍。

（2）参数设置

初始学习率设置为0.01。训练时的动量为0.9，批量大小设置为32，实验是在一台CPU：Intel（R）Core（TM）i7-10750H，显卡：RTX2060，RAM：16GB。

2.3 提出模型的实验结果

如表2所示，比较了提出的模型ATT-CNN与基本网络模型MobileNet，VGG16模型，VGG19模型和Inception-V3模型在医学公共数据集上的总体精度（OA），F1指标，平均精度（AP）上的比较结果。OA是指对每一个随机样本，所分类的结果与检验数据类型相一致的概率，可以直观的看出分类性能的优劣；AP是测试集上每个场景类准确率的平均值；F1评分为精确率与召回率的算数平均数除以几何平均数。实验结果表明，所提方法的OA精度，F1系数，AP精度分别达到了95.92%, 95.39%, 95.79%，分别比原基本网络分别提高了1.02%, 1.03%, 0.85%，并且均高于VGG16, VGG19, Inception-V3网络，证明了该方法的有效性。

图4给出了ATT-CNN与MobileNet的训练过程平均精度曲线和验证平均精度曲线，可以看出提出网络相比于MobileNet网络，模型训练过程中收敛速度更快，且震荡幅度较小。由此看出，所提出的模型可以快速应用于肺部图像分类中以应对紧急医疗公共卫生事件，表明了该方法的高效性。

图4 不同方法的训练和验证精度比较

3 结束语

本文提出了ATT-CNN，将其用于肺部图像分类，并且实现了端到端的训练，大大降低了模型训练开销。目前，越来越多的研究者不断扩大网络的深度与宽度，以提高模型复杂度为代价，换取更好的分类性能。受MobileNet网络启发，本模型在轻量级网络上改进，探究了一种适合提取肺部图像特征的注意力机制CBAM，提取肺部图像上的有用信息，并减少有用信息的损失。在医学公共数据集上进行了实验，证明了提出网络ATT-CNN具有良好的分类表现。

下一步将继续优化提出的模型，继续提升模型的分类精度，以实现在较小网络中获取更好的分类性能，且能够快速有效地应用于肺部图像分类，进而减轻医疗工作者的压力。同时，在图像预处理方面进行深入研究，以探索一种新方法来应对肺部图像上的无关噪声。

[1] 俞斌，袁保宗. 用于特征选择的BF算法及其与BF算法的比较[J]. 电子学报，1993(4): 52-57.

[2] 杨娟. 基于尺度不变特征变换的车牌特征提取及BBF匹配方法[J]. 机床与液压，2019, 47(06): 127-132.

[3] 段成刚. 基于方向梯度直方图的行人特征提取方法应用[J]. 中国战略新兴产业，2018(28): 133-134.

[4] Huang Z, Zhu X, Ding M, et al. Medical image classification using a light-weighted hybrid neural network based on PCANet and DenseNet[J]. IEEE Access, 2020, 8(99): 24697-24712.

[5] Tang H, Hu Z. Research on medical image classification based on machine learning. IEEE Access, 2020, 8: 93145-93154.

[6] Bardou D, Zhang K, Ahmad S M. Classification of breast cancer based on histology images using convolutional neural networks[J]. IEEE Access, 2018, 6: 24680-24693.

[7] Wang J, Bao Y, Wen Y, et al. Prior-attention residual learning for more discriminative COVID-19 screening in CT images[J]. IEEE Transactions on Medical Imaging, 2020, 39(8): 2572-2583.

[8] Zhang J, Xie Y, Xia Y, et al. Attention residual learning for skin lesion classification[J]. IEEE Transactions on Medical Imaging, 2019, 38(9): 2092-2103.

[9] Shaikh M, Kollerathu V A, Krishnamurthi G. Recurrent attention mechanism networks for enhanced classification of biomedical images[C]. 2019 IEEE 16th International Symposium on Biomedical Imaging, Italy, 2019: 1260-1264.

[10] Howard A G, Zhu M, Chen B, et al. MobileNets: efficient convolutional neural networks for mobile vision applications[J]. 2017.

[11] 王卫国，孙旸，唐蕾，等. 医学图像的噪声处理与增强方法的研究[J]. 当代医学，2009, 15(21): 100-101.

[12] 彭盛坤，赵原，蒲红. 不同成像参数与肺部结节CT图像质量及辐射剂量的相关性研究[J]. 中国循证医学杂志，2019, 19(10): 1158-1162.

Convolutional neural network based on attention mechanism for lung image classification

ZHAO Xin，SHI Cui-ping＊，HUANG Tian-sheng，JI Xun-jie

(College of Communication and Electronical Engineering, Qiqihar University, Heilongjiang Qiqihar 161000, China)

Novel coronavirus pneumonia broke out worldwide, and medical workers entered a tense state of work. Faced with this sudden crisis, the speed of virus detection is slow, and the variability of virus is high. This paper proposes a convolutional neural network based on attention mechanism (ATT-CNN) for lung image classification to alleviate the pressure of medical work. The proposed model uses MobileNet as the basic network and integrates attention mechanism. Experiments show that the overall accuracy of the network is as high as 95.92%, which is 1.02% higher than that of the MobileNet basic network, and the accuracy is higher than that of VGG16, VGG19 and Inception-V3 networks.

convolutional neural network；lung image classification；attention mechanism；MobileNet

2021-02-24

2020年省级重点大学生创新创业训练计划资助项目（202010232001）；黑龙江省教育科学“十三五”规划2020年度重点课题研究成果“‘新工科’背景下大学生创新能力培养的教学实践研究-以《数字图像处理》为例”（GJB1320385）；2019年度黑龙江省高等教育教学改革研究项目（SJGY20190718）；2020年齐齐哈尔大学教育科学研究项目（GJZRYB202002）

赵鑫（1999-），男，河北唐山人，本科，主要从事计算机视觉研究，2018132047@qqhru.edu.cn。

石翠萍（1980-），女，内蒙古牙克石人，副教授，博士，主要从事计算机视觉研究，scp1980@126.com。

TN919

A

1007-984X(2021)04-0027-06