基于自注意力卷积的新冠肺炎CXR图像识别

摘要：2019冠状病毒病（COVID-19）是近年来对世界经济发展影响最大的流行病。早期发现是治疗COVID-19患者的关键，而胸片作为一种快速有效的辅助诊断方法被广泛用于实际的医疗案例中。基于深度学习的图像识别方法能更快、更准确地诊断CXR图像，可以取得较好的效果。然而，常见的深度学习模型在对数据进行特征提取时没有针对性。对此，本文提出基于卷积注意力的新冠肺炎图像识别网络，提升对COVID-19阳性样本的敏感性和特异性，并且增加的模型参数量和训练时间可以忽略不计。本文结合VGG16、MobileNet、InceptionV3、ResNet50等经典深度学习网络搭建了卷积注意力模型，并在COVIDRD公开数据库上进行了验证。实驗结果表明本文提出的网络架构有效的提升了对新冠肺炎识别的准确性、敏感性和特异性。

关键字：新冠肺炎；CXR图像；深度学习；卷积注意力

中图分类号：P315.69文献标志码：A文章编号：1001-2443（2023）03-0217-05

引言

新型冠状病毒病（COVID-19）被世界卫生组织命名为“2019冠状病毒病”。2020年2月11日，世卫组织总干事谭德赛在瑞士日内瓦宣布了新型“冠肺炎COVID-19”冠状病毒感染肺炎。3月11日，世卫组织认为，当前爆发的COVID-19疫情可称为全球大流行。截至2022年5月5日中欧夏季时间（中国标准时间2022年5月6日），全球共有确诊病例513384685例，累计死亡病例6246828例。

防止COVID-19感染的传播刻不容缓，并且需要对患者进行有效的筛查和及时的医疗应对。逆转录聚合酶链反应（RT-PCR）是目前临床筛查COVID-19患者最常见的方法，采用呼吸道标本检测［1］。RT-PCR作为检测COVID-19患者的参考方法，但该技术是手工操作，并且复杂、费力、耗时。此外，RT-PCR供应容易出现短缺，这可能导致疾病预防工作的延误［2］。X-Ray图像也是诊断COVID-19的方法之一，X-Ray图像可以帮助早期发现疑似病例［3-4］，但放射科医生在医院长时间工作之后可能导致误诊。因此，使用计算机辅助诊断（CAD）可以更快、更准确地诊断CXR图像，已有许多研究人员进行应用［5-10］。

国内外很多人士都使用深度学习方法对识别新冠肺炎图像进行研究，Narin等人［11］采用预训练的ResNet50模型进行了正常和COVID-19、正常和病毒性肺炎、正常和细菌性肺炎三种二元分类任务。Maghdid等人［12］已经使用了一个改进的预先训练的AlexNet模型来检测COVID-19。Jaiswal等人［13］提出了一种经过修剪的基于高效网络的COVID-19检测模型。Minaee等人［14］提出了使用深度迁移学习预测covid-covid-19。Heidari等人［15］对进行了直方图均衡化和双边低通滤波器作为预处理。然后，利用基于迁移学习的卷积神经网络模型得到了分类结果。Hemdan等人［16］提出了一种使用改进的VGG19模型的COVIDX-Net来检测COVID-19。Afshar等人［17］实施了一个名为COVID-CAPS的框架，该框架基于COVID-19检测的胶囊网络。Chowdhury等人［18］利用深度学习中的TL方法，基于从公共数据库获得的数据集来区分COVID-19和病毒性肺炎。使用423例COVID-19、1458例病毒性肺炎和1579张正常胸片图像，对胸部x线图像进行训练。Mahmud等人［19］利用深度CNN作为COVXNet，基于不同的扩张率进行修改，进行特征提取、优化、叠加算法和基于梯度的鉴别定位，对COVID-19和其他类型的肺炎进行分类。王剑锋等人［20］提出了一种基于DenseNet模型优化的新冠肺炎CT图像检测算法。陈国祥等人［21］针对新冠肺炎识别与诊断这一课题，从新冠肺炎特征表征、肺部软组织语义分割及新冠肺炎阳性患者病变位置定位三个层面进行了研究，提出了基于深度学习的新冠肺炎X-ray图像识别算法，并完成了新冠肺炎识别与诊断系统的设计与实现。已完成的研究人员的工作，侧重点在于区分新冠肺炎和普通肺炎之间的区别，忽略了新冠肺炎和病毒性肺炎部分特征之间的相似性，导致新冠肺炎的检测精度达不到更高的标准，因此本文提出了基于注意力的新冠肺炎图像识别方法。

1 方法

本文提出的模型结构如图1所示，主要由卷积神经网络、卷积注意力模块（CBAM）［22］和分类层三个部分组成。

CBAM在特征图的通道上注入两个独立的空间维度，以提高网络的表征能力，关注重要特征，抑制不必要的特征。CBAM可以看作是串联的通道注意模块和空间注意模块。通道注意模块如图2所示，计算过程可以描述如下。

我们使用深度学习网络模型提取的特征图（7×7×2048）作为输入特征F，输入特征F通过基于空间的全局最大池和全局平均池，分别输出两个维度为1×1×2048的特征图。然后将它们分别发送到MLP（两层神经网络）中，第一层神经元的数量为C/r（C为通道，r为还原率），激活函数为relu，共享两层神经网络的网络权值。然后，由MLP输出的两个特征映射进行元素级加法操作，并经过sigmoid激活函数生成通道注意特征 [MC]。最后， [MC]和输入特征映射F进行元素级乘法运算，生成空间注意模块所需的输入特征 F，维度为7×7×2048。

空间注意模块如图3所示，计算过程可描述如下。

以通道注意力模块输出的特征图F'作为本模块的输入特征图。首先，特征图F'通过基于信道的全局最大池化和全局平均池化，输出两个维度为7×7×1的特征图，然后对这两个特征图进行元素级乘积操作。然后，用大小为7×7的滤波器进行卷积操作。将维数降为1个通道，经过sigmoid激活函数生成空间注意力特征 [MS]。最后，将该模块的特征 [MS]和输入特征F'相乘，得到最终生成的特征F''。

2 实验

2.1 COVID-19数据集和评价指标

为了验证本文提出的方法的有效性和可行性，我们使用了公开数据库COVIDRD［23］。该数据集来自卡塔尔大学和孟加拉国达卡大学的一个研究人员团队，以及来自巴基斯坦和马来西亚的合作者与医生合作，创建了COVID-19阳性病例的胸部x光图像以及正常和病毒性肺炎图像数据库。此数据库包含1200张新冠状动脉肺炎、1341张正常和1345张病毒性肺炎胸片（CXR）图像［24-25］，如图4所示。

在这项工作中，为了进行公平的比较，我们随机选择70%的图像作为训练集，10%的图像作为验证集，其余20%的图像作为测试集。为了保证分类器的有效性，我们保证了用于构建训练集和验证集的患者不会被用于测试集。本研究报告的分类结果中使用的评价方法是准确性、敏感性和特异性，敏感性和特异性是可用于报告COVID-19分类模型性能的两个适当指标。在本实验中，敏感性和特异性仅代表COVID-19类的指標，敏感性越高，模型对COVID-19的区分能力越强，定义如下。

TP（真阳性）是正确分类的图像的数量，FP（假阳性）是错误的分类图像的数量，FN（假阴性）是图像的数量被检测到一个类作为另一个类，和TN（真阴性）图像的数量不属于一个类，没有被归类为那个类。

2.2 实验结果

本文使用ImageNet上的预训练模型来加快模型的训练速度，并采用余弦退火的学习速率衰减策略来帮助模型更快地收敛到最优解。所有实验均是在同一台设备上进行的，并使用特斯拉V100 GPU和CUDA 10.2和cuDNN v9进行加速。

为证明卷积注意力可以提升模型对COVID-19的准确性、敏感性，我们用原始的深度学习网络和基于卷积注意力的网络对COVIDRD进行训练，训练中所有的配置、学习率、训练次数都保持一致。实验结果如表1和表2所示。表中对比了VGG、MobileNet、InceptionV3、InceptionResNetv2、ResNet等深度学习模型在无卷积注意力和有卷积注意力时对COVIDRD数据集的准确率、敏感性和特异性。

从表中结果可以看出，在添加了卷积注意力之后，每个网络的准确率都有一定的提高，另外从敏感性的评估可以判别模型对COVID-19阳性样本的识别性能，网络层数较浅的VGG16和VGG19模型的敏感性提高了2.5%和1.67%，轻量化模型MobileNetV1和MobileNetV2的敏感性提高了1.25%和0.83%，残差结构的ResNet50模型和ResNet50V2模型达到最高准确率，敏感性同样提高了1.66%，包含Inception结构和残差结构的InceptionResNetv2模型的敏感性提高了2.08%，实验证明了在注意力的帮助下，在不同结构、不同深度、不同参数的模型中对COVID-19阳性样本有很好的识别能力。

3 结语

由于新冠肺炎疫情近期的传播趋势，实施有效的新冠肺炎分类系统仍是一项具有挑战性的任务。本研究提出了一种基于注意力的模型，利用卷积注意力模块来提高模型的敏感性，考虑对COVID-19重要特征的关注，忽略不重要特征。并且在实验中结合VGGNet，MobileNet，Inception，InceptionResNetv2，ResNet等经典深度学习网络搭建卷积注意力模型，证明了在添加卷积注意力后，可以有效的提升对新冠肺炎的识别准确性、敏感性和特异性。

参考文献

［1］ WANG W ， XU Y， GAO R， et al. Detection of SARS-CoV-2 in different types of clinical specimens［J］. Jama， 2020，323（ 18）：1843–1844.

［2］ YANG T， WANG Y C，  SHEN C F， et al. Point-of-Care RNA based diagnostic device for COVID-19［J］. Multidisciplinary Digital Publishing Institute， 2020，10（3）：165.

［3］ WANG L， WONG， A.  Covid-net： A tailored deep convolutional neural network design for detection of covid-19 cases from chest x-ray images［J］. arXiv：2003：09871.

［4］ SHOEIBI A， KHODATARS M， ALIZADEHSANI R， et al. 2020 Automated detection and forecasting of covid-19 using deep learning techniques［J］. A arXiv abs/2007：10785.

［5］ 郭炳廷. 基于深度学习的医疗影像辅助检测研究［D］.厦门：厦门理工学院，2022.

［6］ 沈昊钧. 基于CT图像的新冠肺炎检测研究［D］.成都：电子科技大学，2022.

［7］ 费宏运，陈庚，迟兆瑞，等.基于AlexNet的新冠肺炎CT图像识别的可行性分析［J］.信息与电脑（理论版），2021，33（4）：137-140.

［8］ 沈聪，郭佑民.人工智能技术在新型冠状病毒肺炎患者应用中需要注意的问题［J］.结核与肺部疾病杂志，2020，1（3）：106-108.

［9］ 翁羽洁，李忠贤，姬宇程，等.基于改进阈值的VGG网络的新冠肺炎CT图像自动诊断算法［J］.中国医学物理学杂志，2022，39（6）：731-736.

［10］ RAHMAN T， KHANDAKAR A， QIBLAWEY Y， et al. 2020 exploring the effect of image enhancement techniques on COVID-19 detection using chest X-ray images［J］. Computers in Biology and Medicine，2021，132：104319.

［11］ NARIN A， KAYA C， PAMUK Z. Automatic detection of coronavirus disease （covid-19） using x-ray images and deep convolutional neural networks［J］. Pattern Anal Appl， 2021，24： 1207–1220.

［12］ AGAIAN S S， ASARI V K， DELMARCO S P.Multimodal image exploitation and learning 2021［J］.SPIE，2021，11734∶1173401-1.

［13］ JAISWAL A K， TIWARI P ， RATHI V K， et al. Covidpen： A novel covid-19 detection model using chest x-rays and ct scans［J］. Medrxiv，2020：20149161.

［14］ MINAEE S， KAFIEH R， SONKA M， et al. Deep-covid：Predicting covid-19 from chest x-ray images using deep transfer learning［J］. Med Image Anal ，2020，65：101794.

［15］ HEIDARI M， MIRNIAHARIKANDEHEI S， KHUZANI A Z， et al. Improving the performance of CNN to predict the likelihood of COVID-19 using chest x-ray images with preprocessing algorithms ［J］. Int J Med Inform， 2020，144：104284.

［16］ HEMDAN E D， SHOUMAN M A， KARAR M E. Covid X-net：A framework of deep learning classifiers to diagnose covid-19 in X-ray images［EB/OL］.［2023-02-10］ https：//arxiv.org/abs/2003.11055 ［2020-03-24］.

［17］ AFSHAR P， HEIDARIAN S， NADERKHANI F， et al. Covid-caps： A capsule network-based framework for identification of covid-19 cases from x-ray images ［J］. Pattern Recognit Lett 2020，138：638-643.

［18］ NAYAK S R， NAYAK D R， SINHA U， et al. Application of deep learning techniques for detection of COVID-19 cases using chest X-ray images： A comprehensive study［J］.Biomedical SignalProcessing and Control， 2021，64 ：102365.

［19］ MAHMUD T， RAHMAN M A， FATTAH S A. CovXNet： a multi-dila-tion convolutional neural network for automatic COVID-19 and other pneumonia detection from chest X-ray images with transferable multi-receptive feature optimization［J］. Comput  Biol  Med， 2020;1（122）：103869.

［20］ 王劍峰，王传旭.基于DenseNet模型优化的新冠肺炎CT图像检测算法［J］.青岛科技大学学报（自然科学版），2022，43（3）：107-111+119.

［21］ 陈国祥. 基于深度学习的新冠肺炎X-ray图像识别算法研究［D］.重庆：西南交通大学，2021.

［22］ WOO S， PARK J， LEE J Y， et al. Convolutional block attention module［M］. Cham：Springer，2010：3-19.

［23］ RAHMAN T，KHANDAKAR A，QIBLAWEY， et al. Exploring the effect of image enhancement techniques on COVID-19 detection using chest X-ray image［J］. Computers in Biology and Medicine，2021，132： 104319.

［24］ CHOWDHURY M E， RAHMAN T， KHANDAKAR A， et al. Can AI help in screening viral and COVID-19 pneumonia？［J］. IEEE Access，2020，8： 132665-132676.

［25］ HE K， ZHANG X， REN S，et al. Identity mappings in deep residual networks［M］.Cham： Springer，  2016： 630-645.

Abstract： COVID-19 is the epidemic that has the greatest impact on the world economic development in recent years. Early detection is the key to the treatment of COVID-19 patients， and chest radiograph as a fast and effective auxiliary diagnostic method is widely used in practical medical cases. The image recognition method based on depth learning can diagnose CXR images faster and more accurately， and can achieve good results. However， common deep learning models are not targeted when extracting features from data. In this regard， this paper proposes a new coronal pneumonia image recognition network based on convolutional attention to improve the sensitivity and specificity of COVID-19 positive samples， and the increased model parameters and training time can be ignored. This paper builds a convolutional attention model based on VGG16， MobileNet， InceptionV3， ResNet50 and other classic deep learning networks， and verifies it on the COVIDRD public database. The experimental results show that the network architecture proposed in this paper effectively improves the accuracy， sensitivity and specificity of new coronal pneumonia recognition.

Key words： COVID-19; CXR images; deep learning; convolutional attention

（責任编辑：马乃玉）