基于有效通道注意力EfficientNet的肝硬化识别

马粤盼　赵希梅　张宁

摘要：针对传统卷积神经网络模型复杂度高、参数量大，网络分类的精度和效率不佳等问题，提出一种应用于医学超声图像中肝硬化识别的深度学习方法（E-EfficientNet）。在EfficientNet网络模型中，将模块MBConv中的注意力机制SENet模块替换为一种不降维的ECANet模块，避免降维操作导致的特征信息缺失，增强通道学习能力并降低模型复杂度；将可变形卷积融入EfficientNet网络，利用可变形卷积核能够依据目标形态自适应调整变化的特点，充分学习图像细节，提升算法的泛化能力和特征提取能力；对有限样本进行数据增强，避免训练过程中出现过拟合，并使用Leaky ReLU作为激活函数保留图像负值特征信息，提高对肝硬化的识别效果。实验结果表明，该模型复杂度低，在肝硬化识别中准确率为98.9%。

关键词：EfficientNet；MBConv；注意力机制；可变形卷积；Leaky ReLU

中图分类号：TP391 文献标志码：A

肝硬化是一种慢性进行性肝病，由一种或多种原因引起的弥漫性肝损害，早期的发现和治疗可以预防癌变等并发症的出现，超声检测在预防和排查肝硬化疾病中有着重要的作用[1]。目前，计算机辅助诊断[2]（Computer Aided Diagnosis，CAD）技术在医学图像处理领域发展迅速[3]，在肝脏影像处理方面应用广泛，可以降低医生由于主观因素导致的误判，提高诊断效率。随着近几年卷积神经网络（Convolutional Neural Networks，CNN）[4]在医学图像分析领域的飞速发展[5-6]，针对超声图像中肝硬化的识别和分类[7-8]大多采用基于卷积特征自动提取的深度学习算法[9-10]。比如，根据LBP的局部二进制特征抽取与稀疏表达技术建立的肝脏疾病鉴别方法[11]，得到接近98%的检测准确率；基于数据增强的多尺度多特征卷积神经网络的新方法[12]，对测试集的分类具有较好的效果。随着卷积神经网络模型的复杂化，模型层数由浅变深，参数量和计算量极速增加，造成了网络运行效率低，复杂度高，时间耗费长等问题。本文以EfficientNet[13]为基础，提出一种基于有效通道注意力EfficientNet的肝硬化识别方法（E-EfficientNet），优化原网络中的注意力机制，增强通道学习能力并降低网络复杂度，并能增强网络的鲁棒性；在模型中加入可变形卷积，使网络拥有自适应的感受野，提高网络的学习能力；在此基础上采用Leaky ReLU激活函数，保留更多特征信息从而提高识别准确率。为验证所提方法的有效性，将其与E-VGG[14]、E-ResNet[15]等网络模型进行实验对比，结果证明本研究提出的E-EfficientNet方法在准确率、正确率和召回率等指标都优于其他方法。

1 相关理论

1.1 EfficientNet网络

EfficientNet是使用神经架构搜索[16]设计的新基础结构。该网络提出一种简单高效的组合缩放方式，利用一个固定的比例因子对网络的宽度、深度和分辨率缩放获得一系列EfficientNets模型，增加网络的宽度、深度和分辨率都是为了提高网络的泛化能力，增大感受野，从而捕捉到更细粒度的特征信息。

1.2 通道注意力网络

近几年兴起的注意力机制在图像处理领域中取得了重要的突破。有效通道注意力网络（Efficient-Channel-Attention-Networks，ECANet）[17]是在压缩和激励网络（Squeeze-and-Excitation-Networks，SENet）[18]的基础上改进得到的。SENet模块通过学习的方式获取到不同特征通道的重要程度，从而按照重要程度去提升或者抑制信息特征。流程结构如图1，首先传入一个特征图X，H、W、C分别为高度、宽度和通道尺寸，利用兩个全连接层和一个σ操作（Sigmoid函数）对各信道进行单独的全局平均池化。两个全连接层通过降维和升维控制模型复杂性以更好的捕捉跨通道交互，最终得到C个权重用于对应的通道加权，得到具有新权值的特征图X'。

ECANet模块的流程结构如图2所示，与SENet模块相比，ECANet模块将两层全连接层换成了卷积核大小为k的一维卷积，避免降维操作，有效实现局部跨信道交互，降低模型复杂度。在不降低维度的情况下进行全局平均池化，利用每个通道及k的邻近来预测通道的权值，捕捉本地跨信道的交互信息。一维卷积核的大小k（k≤9）表示一个局域间的交互覆盖，与通道维数C成正比并可以自适应确定其最优值。

1.3 可变形卷积

传统的卷积操作是对输入的特征图在固定位置进行采样，卷积核通常具有固定尺寸和大小，对未知的变化适应性差，只局限于模型自身的几何变换，对于数据集较少、形变复杂的样本卷积效果较差。可变形卷积[19]在感受野中引入了可以根据数据情况自适应学习的偏移量，使卷积核根据学习目标的实际情况进行自我调整，从而更好的提取输入特征。如图3所示，（a）中圆点表示常规卷积的感受野位置，（b）、（c）和（d）代表加上偏移量后的新的感受野位置，（c）和（d）是（b）的特殊情况，表明在添加偏移量后可变形卷积核的位置是可以根据当前需要识别的图像内容来进行自适应调整。

1.4 激活函数Leaky ReLU

卷积神经网络的分类问题中，最常采用的激活函数是ReLU，因其形式简单且高度非线性，在使用随机梯度下降法时计算效率高，提高了模型的收敛性。但ReLU在输入值接近零或为负时，函数的梯度变为零，使网络无法执行反向传播，导致神经元不能更新参数，只能丢弃特征图中一部分负值特征信息。Leaky ReLU是ReLU的变体，具有ReLU所有的优点[20]，并且可以保留图像的负值特征信息，如图4所示。ReLU中，x<0时函数值为0。Leaky ReLU给出了一个负数梯度值，对输入小于0部分的反应有所变化，解决了一部分有用的负特征信息被丢弃的问题，减轻了ReLU的稀疏性。

2 本文算法E-EfficientNet

2.1 改进的MBConv模块

EfficientNe网络主要由16个重复堆叠的移动翻转瓶颈卷积（Mobile inverted Bottleneck Convolution，MBConv）模块构成。为了在降低模型复杂度时有效提高肝硬化样本的识别率，改进了MBConv模块，如图5所示。在MBConv模块中，首先进行Conv1×1的升维操作，通过深度可分离卷积（Depthwise Convolution）[21-22]减少网络参数，加快网络运行效率，注意力机制SENet模块负责调整特征矩阵，通过学习自动获取每个特征通道的重要程度，更好的保留重要的特征信息，最后利用Conv1×1降维输出。改进的MBConv模块在调整注意力机制时，用ECANet模块替换原模型中的SENet模块。ECANet模块作为一种不降维的局部跨通道交互方法，在保证自动学习获取到每个通道的重要程度的同时能有效降低模型的复杂度，实现了性能上的提优。

2.2 有效通道注意力EfficientNet（E-EfficientNet）

由于医学图像具有特殊性，为使网络模型充分学习到目标的特征信息，在提高分类精度时不影响网络的运行效率，提出一种新的网络模型E-EfficientNet（图6）。与原网络相比，E-EfficientNet网络卷积核、步长和池化层不发生改变，模型初始将卷积核为3×3的常规卷积升级成3×3的可变形卷积，使网络更好的适应肝硬化样本信息的多样性，提高网络的泛化能力。经过可变形卷积网络提取特征后，目标图片进入重复堆叠的改进的MBConv模块。由于融入了ECANet模块，改进的MBConv模块可以让网络更好地保留重要信息，忽略次要信息，从而更加准确分类识别肝硬化样本。

3 实验结果与分析

3.1 实验环境与参数设置

实验开发环境为Windows 10（64位）操作系统，内存32GB，显卡NVIDIA GeForce GTX 1080Ti，基于Anaconda3 中的 Spyder3.6平台下的pytorch1.2.0进行实验，提取样本的Matlab版本为 R2018b。各网络模型采用的实验参数：epoch的训练轮数为100轮，学习率为0.001，优化器使用随机梯度下降法，每次输入的样本批量大小的batchsize为16，激活函数为Leaky ReLU。

3.2 数据选择和处理

实验所需的数据集全部来自青岛大学附属医院肝胆影像科，根据临床医师指示采集肝硬化标本及正常肝标本。在B超影像中，正常肝脏的回声为微小而均匀的小斑点，肝硬化的回声则增粗增密并且轻度紊乱。实验使用Matlab对已获得的样本进行感兴趣区域ROI（Regions Of Interest）的提取，见图7，提取后的正常肝和肝硬化样本如图8所示，共采集到1 200份样本。

由于医学数据数量有限且获取耗费时间和精力，所以在原有的1200张原始样本的基础上进行数据增强，将样本随机旋转不同角度，从而得到更多的样本数量，如图9所示。本次实验的训练集包括正常肝样本2 000张，肝硬化样本1 000张，测试集包括正常肝样本和肝硬化样本各500张。

3.4 实验结果

3.4.1 加入不同方法的实验对比 首先设置4组实验分别测试可变形卷积和Leaky ReLU激活函数。见表1，实验1为原EfficientNet网络，实验2是加入可变形卷积后的网络，对肝硬化樣本的识别率、正确率和召回率各提高了1.52%、1.03%和1.12%。实验3使用Leaky ReLU作为激活函数，保留对分类有效的部分负值特征，较原网络各项指标分别提升了1.24%、1.69%和1.01%，由于保留负值信息，从而增加了较少的参数量，使模型的训练时间增加了28 s。实验4为将二者都加入得到的网络，总体识别率提高了2.63%，正确率和召回率分别提高了2.49%，2.25%。

将实验4的网络与不同注意力机制融合后对肝硬化样本重新分析，用CA（Coordinate Attention）模块[23]和ECANet模块分别替换网络中的SENet模块得到C-EfficientNet、E-EfficientNet模型，见表2。C-EfficientNet网络与原网络相比，准确率提高了1.52%，正确率和召回率各提高了0.76%，0.77%，用时增加84 s，E-EfficientNet模型在各项指标上分别提高了2.15%，1.61%和1.55%，时间缩短了30 s。由实验结果可知，将模型与ECANet模块结合后可以更好地关注重要信息，肝硬化样本识别效果和模型的运行效率均得到提升。

3.4.2 不同分类方法对比 为了更好的评估E-EfficientNet网络在肝硬化识别中的性能，将本文方法分别与VGG和ResNet两种网络结合得到E-VGG和E-ResNet，并与E-EfficientNet测试对比，结果见表3。改进后的3个新模型在各项指标上都得到不同程度的提升。E-VGG和E-ResNet网络的识别率各提升了4.42%和4.92%，正确率、召回率和分类效率均有所提高；E-EfficientNet网络的识别率达到98.9%，相比原网络提升4.77%，时间损耗更少，正确率和召回率分别达到99.38%和97.8%，在针对肝硬化识别的实验中，与不同网络模型结合对提高网络识别效果是有效的。

3.4.3 模型复杂度对比 卷积神经网络在计算复杂度时需要考虑时间复杂度和空间复杂度。时间复杂度是指模型的运算次数，决定了模型训练或预测的时间，用浮点运算次数Flops（FLoating-point OPerations）表示。卷积神经网络整体的时间复杂度是所有卷积层时间复杂度的总和

其中，D是神经网络的卷积层的数量，指网络的深度；l为第l个卷积层；M表示每个卷积核输出特征图的边长；K是每个卷积核的边长；C代表每个卷积核的通道数。

卷积神经网络的空间复杂度为

空间复杂度为总参数量与各层输出特征图之和，与卷积核的尺寸K、通道数C和层数D相关，与输入图片的尺寸无关。如果模型具有较高的空间复杂度，会使模型的训练和预测花费较长时间，且参数量较多，训练模型所需要的数据量越大，导致模型的训练更容易过拟合，无法更好地验证模型有效性。

与其他6种模型的复杂度比较结果见表4，改进后的VGG、ResNet和EfficientNet模型网络参数明显减少，证明E-EfficientNet模型的鲁棒性和有效性，相较于其他网络模型拥有更低的复杂度和更高的运算效率。

4 结论

本文提出一个新的网络模型E-EfficientNet应用于医学图像肝硬化的识别，利用可变形卷积能够根据目标形态自适应调整感受野的特点，充分学习特征信息，采用Leaky ReLU作为激活函数保留图像负值信息，提高图像的分类效果，保证模型的有效性和鲁棒性与改进后的VGG、ResNet等进行对比实验和数据分析，本文方法在降低模型复杂度的情况下提高了识别率，并在效率和性能上都有一定的提升。后续实验将进一步优化网络结构，提高识别率，并应用于其他临床超声图像中。

参考文献

[1]MITREA D， LUPSOR M P， NEDEVSCHI S，et al. Discovering the cirrhosis grades from ultrasound images by using textural features and clustering methods[C]// 36th International Conference on Telecommunications and Signal Processing （TSP）. Rome， 2013： 633-637.

[2]DOI K.Computer-aided diagnosis in medical imaging： historical review， current status and future potential[J]. Computerized Medical Imaging and Graphics， 2007， 31（4-5）： 198-211.

[3]LITJENS G， KOOI T， BEJNORDI B E， et al. A survey on deep learning in medical image analysis[J]. Medical Image Analysis， 2017， 42： 60-88.

[4]周飞燕， 金林鹏， 董军. 卷积神经网络研究综述[J]. 计算机学报， 2017， 40（6）： 1229-1251.

[5]张顺，龚怡宏，王进军.深度卷积神经网络的发展及其在计算机视觉领域的应用[J].计算机学报，2019，42（3）：453-482.

[6]苏赋，吕沁，罗仁泽.基于深度学习的图像分类研究综述[J].电信科學，2019，35（11）：58-74.

[7]PANIGRAHI S， NANDA A， SWARNKAR T. Deep learning approach for image classification[C]// 2nd International Conference on Data Science and Business Analytics （ICDSBA）. Changsha， 2018： 511-516.

[8]LI Q， YANG Y J， GUO Y W， et al. Performance evaluation of deep learning classification network for image features[J]. IEEE Access， 2021， 9： 9318-9333.

[9]鞠维欣，赵希梅，魏宾，等.基于深度学习的肝硬化识别[J].青岛大学学报（自然科学版），2018，31（4）：54-61.

[10] 李海强，赵希梅，魏宾，等.基于多特征融合和ELM的肝病多分类识别[J].青岛大学学报（自然科学版），2018，31（4）：42-48.

[11] 韩秀芝，赵希梅，于可歆，等.一种基于LBP特征提取和稀疏表示的肝病识别算法[J].中国生物医学工程学报，2017，36（6）：647-653.

[12] 刘梦伦，赵希梅，魏宾.基于多尺度多特征卷积神经网络的肝硬化识别[J].计算机仿真， 2020，37（12）：375-381.

[13] TAN M X， LE Q V. Efficientnet： Rethinking model scaling for convolutional neural networks[C]// 36th International Conference on Machine Learning （ICML）. Long Beach， 2019： 6105-6114.

[14] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[DB/OL]. [2022-02-14]. https：//arxiv.53yu.com/abs/1409.1556.

[15] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition. Seattle， 2016： 770-778.

[16] WISTUBA M， RAWAT A， PEDAPATI T. A survey on neural architecture search[DB/OL]. [2022-02-14] https：//arxiv.org/abs/1905.01392

[17] WANG Q L， WU B G， ZHU P F， et al. ECA-Net： Efficient channel attention for deep convolutional neural networks[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）. Seattle， 2020： 11531-11539.

[18] HU J， SHEN L， SUN G. Squeeze-and-excitation networks[C]// 31st IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， 2018： 7132-7141.

[19] DAI J F， QI H Z， XIONG Y W， et al. Deformable convolutional networks[C]// IEEE International Conference on Computer Vision. Venice， 2017： 764-773.

[20] HE K M， ZHANG X Y， REN S Q， et al. Delving deep into rectifiers： Surpassing human-level performance on imagenet classification[C]// IEEE International Conference on Computer Vision. Santiago， 2015： 1026-1034.

[21] 刘梦伦，赵希梅，魏宾.基于MobileNet V2-ELM的肝硬化识别[J].青岛大学学报（自然科学版），2019，32（4）：17-21.

[22] CHOLLET F. Xception： Deep learning with depthwise separable convolutions[C]// 30th IEEE/CVF Conference on Computer Vision and Pattern Recognition. Honolulu， 2017： 1800-1807.

[23] HOU Q B， ZHOU D Q， FENG J S. Coordinate attention for efficient mobile network design[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition. Electr Network， 2021： 13713-13722.

Liver Cirrhosis Recognition Based on Efficient Channel Attention EfficientNet

MA Yue-pana， ZHAO Xi-meia，b ， ZHANG Ninga

（a. College of Computer Science and Technology，b. Shandong Province Key Laboratory of Digital

Medicine and Computer-assisted Surgery，Qingdao University，Qingdao 266071，China）

Abstract： Aiming at the problems of high complexity， large number of parameters and poor accuracy and efficiency of the traditional convolutional neural network model， a deep learning method （E-EfficientNet） for liver cirrhosis identification in medical ultrasound images was proposed. In the EfficientNet network model， the attention mechanism SENet module in MBConv was replaced by ECANet module that does not reduce the dimension， so as to avoid the loss of feature information caused by the dimensionality reduction operations， reduce the complexity of the model and enhance the channel learning ability. The deformable convolution was integrated into the EfficientNet network， and the deformable convolution kernel was adaptively adjusted and changed according to the image content， so as to fully learn the image details and improve the generalization ability and feature extraction ability of the algorithm. The data of limited samples was enhanced， over fitting was avoided in the training process， and Leaky ReLU was used as the activation function to save image negative feature information to improve the recognition effect of liver cirrhosis. The experimental results show that the complexity of the model is low， and the accuracy in liver cirrhosis recognition reaches 98.9%.

Keywords： EfficientNet；MBConv；attention mechanism；deformable convolution；Leaky ReLU

收稿日期：2022-03-16

基金項目：国家自然科学基金（批准号：62006134）资助。

通信作者：赵希梅，女，博士，副教授，主要研究方向为计算机软件及计算机应用，自动化技术。E-mail：xmzhao_qdu@163.com