DenseNet和SeNet融合残差结构的DR分类方法

宋鹏飞 吴云

摘 要：

糖尿病性视网膜病变（diabetic retinopathy，DR）是糖尿病在发病过程中影响视网膜的症状。针对模型下采样过程中特征提取DR图像微动脉瘤等病灶区域信息丢失问题，提出了一种DenseNet融合残差结构的模块。该模块首先连接两个连续的dense block，然后利用残差结构对特征信息求和，并行融合处理特征图像信息，以防止有效特征信息的丢失，最后残差连接两个含有dropout的卷积块，抑制过拟合现象。针对以往卷积操作中未对病变区域的特征图通道加权的问题，提出了一种SeNet融合残差结构的模块。该模块首先连接SeNet，把全局平均池化和全局最大池化的特征信息相加，以提高有效通道信息的利用率，然后通過Conv1×1的残差方式来保证特征图信息的完整性。基于以上两个模块的设计，提出了一种DenseNet和SeNet融合残差结构的DR分类方法。该模型在APTOS2019数据集上的精确度达到89.8%，特异性达到97.0%，在Messidor-2数据集上的精确度达到78.8%，特异性达到91.9%，能够有效地提高视网膜图像病变程度的分类能力。

关键词：糖尿病性视网膜病变；DenseNet；SeNet；残差结构

中图分类号：TP391   文献标志码：A    文章编号：1001-3695（2024）03-043-0928-05doi： 10.19734/j.issn.1001-3695.2023.06.0305

DR classification methods for DenseNet and SeNet fusion residue structures

Song Pengfeia，b， Wu Yuna，b

（a.State Key Laboratory of Public Big Data， b.College of Computer Science & Technology， Guizhou University， Guiyang 550025， China）

Abstract：

Diabetic retinopathy is the symptom of diabetes affecting the retina during the onset of diabetes. Aiming at the problem of information loss of lesion areas such as microimages during model downsampling， this paper proposed a module of DenseNet fusion residual structure. This module firstly connected two consecutive dense blocks， then sumed the feature information using the residual structure， and processed the feature image information in parallel to prevent the loss of effective feature information. Finally， the residual connected the two convolution blocks containing drop out to suppress the overfitting phenomenon. To solve the problem of the channel weighting of the feature graphs of lesion areas in previous convolution operations， this paper proposed a module of SeNet fusion residue structure. This module firstly connected SeNet， added the feature information of global average pooling and global maximum pooling to improve the utilization of effective channel information， and then ensured the integrity of feature graph information through the residual mode of conv1×1. Based on the design of the above two modules， this paper proposed a DR classification method of DenseNet and SeNet fusion residue structures. The model achieves 89.8% precision and 97.0% specificity on the APTOS2019 dataset， 78.8% accuracy and 91.9% specificity on the Messidor-2 dataset， which can effectively improve the classification ability of the degree of retinal lesions. Key words：diabetic retinopathy; DenseNet; SeNet; ResNet

0 引言

糖尿病性视网膜病变是糖尿病最常见的微血管并发症之一，影响到约35%的糖尿病患者［1］。根据国际临床糖尿病视网膜病变等级表（表1），DR的病变严重程度被分为了五个等级，分别是正常、轻微、中等、严重和增值，不同阶段的DR等级［2］在医学上具有不同的治疗方式。

糖尿病视网膜病变在发展过程中具有不同的症状与等级。病变症状的严重程度决定了等级的大小。由于人工分级是一个很费力的过程，准确率也不高，所以实现对DR等级自动分类对眼部医学领域具有重要意义。

早些年，随着机器学习的兴起，DR图像自动分级的算法主要是基于手工特征进行分类的。

Acharya等人［3］先从眼底图像提取血管、微动脉瘤、渗出和出血區域，之后统计不同区域面积，最后使用SVM进行分类。Sohini等人［4］直接对眼底图像提取LBP特征，然后利用KNN算法进行分类。May等人［5］先从眼底图像提取血管、渗出和微动脉瘤区域，然后对微动脉瘤计数，计算渗出面积和血管周长，最后使用人工神经网络KNN进行分类。Qin等人［6］提出了一种改进的深森林模型，称为MFgcForest（多类特征提取深森林），用于糖尿病视网膜的多分类。然而，手工特征需要对DR图像的血管和视盘进行相关数据测量，存在大量误差，并且特征提取过程中需要一定的经验知识。

近年来，DR图像自动分类算法主要采用深度学习的算法。这种方法不需要手工特征提取，将大量的眼底图像输入到网络中，根据标签值和预测值之间的误差进行反向传播，自动更新权重参数，实现端到端的分类。

在残差结构方面，徐常转等人［7］通过融合特征图原本的特征信息与注意力单元得到的通道信息，为微小特征增加了网络的权重，再使用除操作去除特征图中的冗余信息，得到注意力机制特征作为双任务的输入。残差结构通过短路连接引入剩余学习函数，极大地提高了模型的DR图像分类能力。

在注意力机制方面，包括空间注意力、通道注意力和自注意力等。孙福权等人［8］提出了一种基于注意力机制的糖尿病视网膜病变分类算法，实现对视网膜图像病变程度的精确分类。Zerg等人［9］提出了一个具有多尺度自注意模块的深度学习网络，将全局上下文聚合到学习特征中，用于DR图像检索。注意力机制通过增加关注重要区域的权重且减少非重要区域的权重，来提高DR图像分类能力。

在DenseNet模块方面，Christian等人［10］提出了一种新的基于自动深度采集的基于单张彩色眼底照片的严重程度检测方法。该文采用DenseNet169的编码器来构建一个可视化的嵌入结构。DenseNet对于DR图像分类领域具有良好的泛化性能，且计算量极少。

尽管上述各个方面对于DR图像分类方法已取得一定的成果，但是由于DR图像的特点，目前使用深度学习的DR分级诊断依旧面临两个重要问题：a）DR病灶区域细微丢失而且多种病变类型容易混淆，DR多分类模型评价指标表现不够理想；b）DR通道信息处理过程中权重过大，不能高效地利用以体现病灶区域的通道信息。为了解决以上问题，本文提出了一种解决DR分类问题的模型方案。其主要贡献点如下：

a）提出一个RDM（residual dense module）模块，利用resi-dual结构和dense block模块思想，并行融合dense block和重构的transition layer block，然后对特征信息进行residual block提取，在保证DR分类中每一层的空间特征信息融合的同时，防止微小病灶区域特征信息的丢失。

b）提出一个RSEM（residual squeeze excitation module）模块，在SeNet基本模块中利用最大以及平均池化，进行DR通道信息的压缩与释放，同时采用residual结构把之前特征信息与之后特征信息有效融合，提高泛化能力的同时保证有效特征的信息。

c）在APTOS2019［11］和Messidor-2［12］两个数据集上分别进行五分类，验证本文模型的泛化能力和DR分类效果。

1 相关工作

1.1 通道注意力机制

通道注意力机制是一个基于通道的Attention模型，它通过建模各个特征通道的重要程度，然后针对不同的任务增强或者抑制不同的通道。SeNet通过网络，根据loss学习特征权重，获取到每个特征图的重要程度，然后用这个重要程度给每一个特征通道赋予一个权重值，从而让神经网络重点关注某些特征图，使得有效的特征图权重大，无效或效果小的特征图权重小，使模型达到更好的效果。Al-Antary等人［13］为了增强特征表示的鉴别能力，在高级表示的基础上采用多尺度注意机制。Fu等人［14］提出了一种新的端到端架构，利用ResNet50结合通道注意（SENet）提取特征，引入疾病注意模块来补充DME的疾病特定信息，可以在不额外获取中央凹和HEs的情况下获得更高的分级结果，降低分级成本。Xu等人［15］提出的混合注意机制包括平行空间注意机制和通道注意机制，可以提取出视网膜病变图像的通道维度和空间维度中的关键特征，并减少背景信息对分类结果的负面影响。Nagur等人［16］提出的模型由一个预先训练的VGG16提取初始空间表示，从视网膜扫描图像，空间注意自动编码器学习病变特殊潜在表示空间维度和通道注意铰链神经网络，识别基于类别的鉴别特征通道维度和分类视网膜病变的严重程度。Zhao等人［17］提出了一种新的鲁棒DR分级深度学习架构，称为SEA-Net，其中空间注意和通道注意交替进行并相互增强，提高了分类性能。DR图像分类中，融合通道注意力机制可以增加病灶区域通道的权重而抑制普通非病灶区域通道权重，通过病灶区域的关键特征信息产生较好的DR分类效果。

1.2 DenseNet

DenseNet［18］不对特征图求元素加操作，而是通过拼接将特征图拼接在一起，DenseNet中的卷积层知道前面每一步卷积发生了什么。DenseNet的优势是良好的泛化性能和极少的计算量。Cheena等人［19］提出了两种深度学习（DL）架构，一种结合VGG16和XGBoost类分类的混合网络，以及DenseNet 121网络，用于DR检测和分类。深度学习模型的集成比任何单一贡献模型都有更好的预测能力和性能。改进的DenseNet101和ResNeXt，这两种深度学习模型被集成用于糖尿病视网膜病变的检测。DenseNet具有很好的泛化性能和较少的计算量，非常适合解决DR数据集的数据量较少且病灶类别易混淆的问题。因此DenseNet在DR图像分类领域有较大的应用空间。

2 本文方法

2.1 模型总体结构

在设计DR分类模型的思想方面，本文综合考虑到网络结构、参数数量、训练速度和分类性能等因素，在不迁移大模型的基础上，体现模型DR分类的高性能。模型总体结构如图1所示，本文用设计RSEM和RDM两个模块代替传统的卷积层，池化方式采用最大值池化。原始DR图像经过预处理后，图像首先依次经过4层RSEM模块、RDM模块和下采样池化，然后再连接一层RSEM模块、RDM模块，连接GAP（global average pooling）层，最后连接一个５类的全连接层，在全连接层中添加 dropout（设置为0.2），为防止过拟合现象，激活函数采用softmax，得到DR分类结果。

DR图像在模型中提取特征时，模型中的特征图数量和大小如表2所示。

2.2 RDM模块

糖尿病视网膜病灶图像的特征信息在卷积操作过程中容易丢失特征信息，特别是微小病灶区域信息，对于DR图像分类特别重要。尤其针对正常类型和轻微类别的DR图像，人眼基本看不出区别。residual dense module（RDM）是一种基于DenseNet和ResNet［20］类型的神经结构的网络结构（图2），同时从DR-VNet［21］分割模型中得到启发。DenseNet让网络的每一层输入变成所有前面层的叠加，然后把它的特征图传递给所有接下来的网络层，通过特征图重用的方式来探索卷积层的潜能。DR病灶图像的特征信息在卷积操作过程中容易丢失特征信息，特别是微小病灶区域信息，对于DR图像分类特别重要。针对此问题，重新设计residual block和transition layer，主要的作用就是高效地提取特征和增加DR模型泛化能力，防止过拟合。由此，该模块所提出的网络块由dense block、transition layer block和residual block组成。dense block采用两个连续的子块顺序连接，每个子块连接BN、ReLU、conv3×3、dropout，最后利用残差结构与输入特征信息拼接。transition layer block采用conv1×1对输入特征进行跨通道信息的交互，同时增加非线性映射次数，连接顺序为BN、ReLU、conv1×1、dropout。以上两个并行分支特征信息相加的结果作为第二个子块的输入。residual block采用密集残差方式，子块中连续连接两个conv3×3，进行特征信息交互，并以特征信息加操作的方式连接输入特征图，连接顺序为conv3×3、dropout、BN、ReLU、conv3×3、dropout。最后连接ReLU激活函数、BN（批处理归一化操作），得到RDM的输出结果。为了防止过拟合现象的发生，在每个卷积层之后都加入dropout（drop rate设置为0.1），随机部分特征信息，增加模型的泛化能力。

3.5 在APTOS2019數据集上的实验

为了评估该方法的性能，本文使用了公开可用的APTOS2019数据集。遵循了在文献［13，29］中提到的相同设置，将数据集划分为训练集和测试集。在第一个评估策略中，本文应用了提出的DR分类模型来对糖尿病视网膜病变图像进行分类。

通过图5混淆矩阵可看出，本文模型对APTOS2019 DR分类的五个级别都能以较高概率区分。对于级别0（NO DR）、级别1（Mild）和级别2（Moderate）能够准确快速地区分且准确率较高，对于比较难区分且容易错分的级别3（PDR）和级别4（Severe）也能够基本区分。

通过图6每一个类的ROC曲线及AUC面积，可以清晰地看出，本文模型在APTOS2019数据集上对于每一个类别的AUC面积都大于等于95%，每个类别分类准确率以及预测概率较高。

通过图7和8可以看出，本文模型在100个epoch以内，模型的test loss从0.9左右伴随train loss下滑，在0.4～0.5达到平稳状态，test loss不再下降，模型的test acc从0.71伴随train acc一直上升直到0.85～0.86达到平稳状态，高达0.898的分类准确率。

由表5看出，本文模型对比最近的其他DR分类方法。以0a61bddab956.png图像为例，本文方法在分类精度precision（81.6%）、准确率accuracy（89.8%）、特异性specificity（97.3%）、F1-score分数（77.6%）、AUC面积 （97.2%）及参数量（7.91 M）方面，在多项指标上都达到了不错的表现。

3.6 在Messidor-2数据集上的实验

为了验证本文模型的泛化能力和对其他DR分类数据集的广泛适用性，特别在Messidor-2数据集上再次验证模型的高精度分类能力。模型的全部设置与在APTOS2019数据集实验设置相同，在所用条件不变的情况下，更能直观体现模型针对DR分类问题的完美表现。

通过图9混淆矩阵可看出，本文模型对Messidor-2数据集DR分类的五个级别基本都能区分。对于级别0（NO DR）、级别3（PDR）和级别4（Severe）能够准确快速地区分且准确率较高，对于比较难区分且容易错分的级别1（Mild）和级别2（Moderate）也能够基本区分。

通过图10每一个类的ROC曲线及AUC面积，可以清晰地看出，本文模型在Messidor-2数据集对于每一个类别的AUC面积都大于等于85%，分类能力优越。并且，除了在级别1（Mild）类型的较难区分且容易混淆的图像AUC面积等于85%外，其他类别AUC面积都在93%以上。

通过图11和12可以看出，本文模型在100个epoch以内，模型的test loss从1.1左右伴随train loss下滑，在0.7左右达到平稳状态，test loss不再下降，模型的test acc从0.57伴随train acc一直上升直到0.75～0.76达到平稳状态，最高达到0.788的分类准确率。由于测试集数据量较少，acc和loss曲线出现振荡现象，但模型分类效果提升明显。

Messidor-2數据集相较于APTOS2019数据集，其数据量更少，模型可以学习到的图像特征更少，图像分类难度更大。本文模型用Messidor-2数据集验证模型DR分类能力，正如表6所示，分类结果也超过其他用Messidor-2数据集的模型方法。以IM002585.jpg图像为例，本文方法在分类精度precision（81.9%）、准确率accuracy（78.8%）、特异性specificity （91.9%）、F1-score分数 （71.8%）、AOC曲线及AUC面积 （93.0%）方面，都达到了很好的表现。

4 结束语

本文提出了一个解决DR多分类问题的模型方法，该模型集中了DenseNet、SeNet、ResNet结构的优点，在模型下采样池化过程中每一层都融合压缩激励模块和通道注意力机制，同时应用残差多种连接方式，形成一种新型针对DR分类的模型结构。模型在APTOS2019和Messidor-2数据集上表现在性能指标远超其他DR分类模型结构。本文模型能够快速且准确地得到分类结果，增加模型实用性，在模型参数量方面始终保持最优化。在未来工作中，笔者将会以提高模型敏感度为基准，同时保持模型其他性能指标最优化，全面提高DR图像分类能力。

参考文献：

［1］Paul M T，Lin Chengmao，Keil J M，et al. Novel atypical PKC inhibitors prevent vascular endothelial growth factor-induced blood-retinal barrier dysfunction ［J］. Biochemical Journal，2012，446（3）： 455-467.

［2］Shion H，Hidetoshi Y. International clinical diabetic retinopathy disease severity scale ［J］. Japanese Journal of Clinical Medicine，2010，68（Supply 9）： 228-235.

［3］Acharya U R，Lim C M，Dennis P H，et al. Computer-based detection of diabetes retinopathy stages using digital fundus images ［J］. Journal of Engineering in Medicine，2009，223（H5）： 545-553.

［4］Sohini R，Dara D K，Keshab K P. DREAM： diabetic retinopathy analy-sis using machine learning ［J］. IEEE Journal of Biomedical and Health Informatics，2014，18（5）： 1717-1728.

［5］May P P，Somsak C，Rapeeporn Y M D. Detection of lesions and classification of diabetic retinopathy using fundus images ［C］// Proc of International Conference on Biomedical Engineering. 2016： 1-5.

［6］Qin Xiwen，Chen Dongxue，Zhan Yichang，et al. Classification of diabetic retinopathy based on improved deep forest model ［J］. Biome-dical Signal Processing and Control，2023，79（Part1）： 104020.

［7］徐常转，吴云，蓝林，等. 融合注意力机制与多任务学习的DR分级模型 ［J］. 计算机工程与应用，2021，57（24）： 212-218. （Xu Changzhuan，Wu Yun，Lan Lin，et al. DR classification model of fusing attention mechanism and multi-tasking learning ［J］. Computer Engineering and Application，2021，57（24）： 212-218.）

［8］孙福权，邹彭，崔志清，等. 基于注意力机制的糖尿病视网膜病变分类算法 ［J］. 计算机科学，2022，49（S2）： 377-381. （Sun Fuquan，Zou Peng，Cui Zhiqing，et al. Classification algorithm for diabetic retinopathy based on attention mechanism ［J］. Computer Science，2022，49（S2）： 377-381.）

［9］Zeng Ming，Fang Jiansheng，Miao Hanpei，et al. A multi-scale self-attention network for diabetic retinopathy retrieval ［C］// Proc of the 4th International Conference on Control and Computer Vision. 2021： 101-106.

［10］Christian S，Sergey I，Vincent V. Inception-v4，Inception-ResNet and the impact of residual connections on learning ［C］//Proc of AAAI Conference on Artificial Intelligence. 2017： 4278-4284.

［11］Aravind Eye Hospital. APTOS 2019 blindness detection Kaggle （EB/OL）. （2020-07-20）. https：//www. aptos2019-blindness-detection.

［12］Michael D A，James C F，Han D P，et al. Automated analysis of retinal images for detection of referable diabetic retinopathy ［J］. JAMA Ophthalmology，2013，131（3）： 351-357.

［13］Al-Antary M T，Yasmine A. Multi-scale attention network for diabetic retinopathy classification［J］. IEEE Access，2021，9： 54190-54200.

［14］Fu Yinghua，Lu Xin，Zhang Ge，et al. Automatic grading of diabetic macular edema based on end-to-end network ［J］. Expert Systems with Applications，2023，213（PartA）： 118835.

［15］Xu Lianghui，Wang Liejun，Cheng Shuli，et al. MHANet： a hybrid attention mechanism for retinal diseases classification ［J］. PLoS One，2021，16（12）： e0261285.

［16］Nagur S S，Teja K C. Hinge attention network： a joint model for diabetic retinopathy severity grading ［J］. Applied Intelligence，2022，52（13）： 15105-15121.

［17］Zhao Ziyuan，Kartik C，Zeng Zeng，et al. Sea-Net： squeeze-and-excitation attention net for diabetic retinopathy grading ［C］//Proc of IEEE International Conference on Image Processing. 2020： 2496-2500.

［18］Gao Huang，Zhuang Liu，Kilian Q W，et al. Densely connected convolutional networks ［EB/OL］. （2018）.https：//arxiv.org/abs/1608. 06993.

［19］Cheena M，Sakuntala M，Biswaranjan A，et al. Using deep learning architectures for detection and classification of diabetic retinopathy ［J］. Sensors （Basel），2023，23（12）： 5726.

［20］He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al. Deep residual learning for image recognition ［C］//Proc of International Conference on Computer Vision and Pattern Recognition. 2016： 770-778.

［21］Ali K，Rozenn D，Donal J S. DR-VNet： retinal vessel segmentation via dense residual UNet ［C］//Proc of International Conference on Pattern Recognition and Artificial Intelligence.2022： 198-210.

［22］Mark V G，Bram V G，Carel B H，et al. Fast convolutional neural network training using selective data sampling： application to hemorrhage detection in color fundus images ［J］. IEEE Trans on Medical Imaging，2016，35（5）： 1273-1284.

［23］José I O，Elena P，Mariana D F，et al. Learning to detect red lesions in fundus photographs： an ensemble approach based on deep learning ［EB/OL］. （2017）. https：//arxiv.org/abs/1706. 03008.

［24］Christian S，Liu Wei，Jia Yangqing，et al. Going deeper with convolutions ［C］//Proc of Computer Vision and Pattern Recognition. 2015： 1-9.

［25］Andrew G H，Zhu Menglong，Chen Bo，et al. MobileNets： efficient convolutional neural networks for mobile vision applications ［EB/OL］. （2017）. https：//arxiv.org/abs/1704. 04861.

［26］Karen S，Andrew Z.Very deep convolutional networks for large-scale ima-ge recognition［EB/OL］.（2014）.https：//arxiv.org/abs/1409.1556.

［27］Bodapati J D，Veeranjaneyulu N，Shareef S N，et al. Blended multi-modal deep convNet features for diabetic retinopathy severity prediction ［J］. Electronics，2020，9（6）： 914.

［28］Sara H K，Peyman H K，Reza K，et al. Diabetic retinopathy classification using a modified Xception architecture ［C］//Proc of International Symposium on Signal Processing and Information Technology.2019：1-6.

［29］Islam M，Abdulrazak L F，Nahiduzzaman M，et al. Applying supervised contrastive learning for the detection of diabetic retinopathy and its severity levels from fundus images ［J］. Computers in Biology and Medicine，2022，146： 105602.

［30］Mohammad D A. Texture attention network for diabetic retinopathy classification ［J］. IEEE Access，2022，10： 55522-55532.

［31］Mohamed M F，Mariam F，Amr T A. Automatic severity classification of diabetic retinopathy based on DenseNet and convolutional block attention module ［J］. IEEE Access，2022，10： 38299-38308.

［32］赵爽，穆鸽，赵文华，等. 基于特征融合网络的糖尿病视网膜病变分类 ［J］. 激光與光电子学进展，2023，60（14）： 308-314. （Zhao Shuang，Mu Ge，Zhao Wenhua，et al. Classification of diabetic retinopathy based on a feature-fusion network ［J］. Laser & Optoelectronics Progress，2023，60（14）： 308-314.）

［33］Shankar K，Zhang Yizhuo，Liu Yiwei，et al. Hyperparameter tuning deep learning for diabetic retinopathy fundus image classification ［J］. IEEE Access，2020，8： 118164-118173.

［34］Shanthi T，Sabeenian R S. Modified AlexNet architecture for classification of diabetic retinopathy images ［J］. Computers & Electrical Engineering，2019，76： 56-64.