基于深度学习的脂肪肝超声图像分类方法研究

赵海宇，王诗文，何 晴

（桂林电子科技大学计算机与信息安全学院，广西 桂林 541004）

脂肪肝，于1962 年最先发现在某些患者的肝脏组织学病变，与酒精性肝病无法进行区别，其均由显著的脂肪性沉积，因此称其为脂肪肝，直到1980 年被定义为非酒精性脂肪肝炎，其用来指由各种原因引起的肝细胞内脂肪蓄积过多，脂肪含量超过肝重量的5%，或在组织学上超过肝实质30%的一种肝脏情况。

在当前，脂肪肝的筛查主要是通过B 型超声进行成像，再由医生进行通过肉眼以及自身经验进行判断，容易增加医生的检查负担。

本文将针对脂肪肝超声图像，设计预处理算法增强图像特征，改进现有深度学习的方法，使其能对脂肪肝超声图像进行更准确的分类评估，能够辅助医生做出判断。

1 脂肪肝B 超图像分类研究现状

随着技术的突破，越来越多的人研究使用计算机来辅助脂肪肝B 超图像分类的诊断。

Cao[1]等人利用分形维数和纹理边缘共生矩阵的方法，从超声图像中提取特征，在使用线性分类算法将脂肪肝图像分为正常和病变。

Achyara[2]等人提出通过曲线变换在超声图像上区分不同的策略，利用CT 系数的熵特性，通过局部敏感判别分析来选取有效的特征。

Zamanian[3]等人使用卷积神经网络(CNN)从原始肝脏图像进行特征提取，然后使用支持向量机(SVM)对网络所提取的特征进行分类。

Han[4]等人使用超声RF 数据进行学习，通过医生选取ROI 区域进行训练，从而实现分类效果。

2 图像预处理过程

超声成像过程中会产生散斑噪声、模糊和阴影等严重影响超声图像的质量和分辨率，使得超声图像退化，不利于对超声图像进行特征提取。因此，对超声图像进行预处理工作十分有必要。

肝脏超声图像上脂肪肝特征主要如下：轻度脂肪肝表现为近场回声增强，远场回声衰减不明显；中度脂肪肝表现为前场回声增强，后场回声衰减，管状结构模糊；重度脂肪肝表现为近场回声显著增强，远场回声明显衰减，管状结构无法辨认。通过增加超声图像的强回声与弱回声的对比度，能够增强脂肪肝超声图像的特征，有助于对脂肪肝程度进行分类诊断。

直方图均衡化是一种增强图像对比度的方法，其主要思想是将一副图像的直方图分布变成近似均匀分布，从而增强图像的对比度。但是由于直方图均衡化是全局均衡化，针对于脂肪肝超声图像的局部区域过暗时，会使得背景噪声增强以及增强过度。因此采用对比度受限制自适应均衡化直方图均衡化。

针对于脂肪肝超声图像，将其分割成多个大小相等的区域，并根据各个区域的像素特征计算每一区域的灰度级的平均值，表示为：

公式（1）中，Nm为水平方向的像素数目。Nn为垂直方向的像素数目，L 为子块的灰度级数。

确定剪切系数C，调整剪切系数到最佳值，再确定剪切阈值Clim，表示为：

根据上述公式确定计算的剪切阈值，对各个区域的像素消息进行剪切，把剪切下来的像素数目重新分配到对应直方图的灰度级中，表示为：

公式（3）中，Sclip为被剪切的像素数量。

对像素点进行重新分配，如果灰度级的像素数大于剪切阈值Clim，或者大于平均分配像素数Na而且小于剪切阈值Clim，则令该灰度级像素数等于Clim。否则，则将灰度级像素数加上Na来作为该灰度级像素数。剩余没有分配的像素数均匀分配到小于Clim的灰度级，循环分配直到将像素数分配完毕。

对各个区域的直方图进行区域内的均值化。然而，仅对各区域进行单独处理存在着问题，由于区域划分过于明显，这就导致原本像素点之间柔和过度的部分区分度变大，最终产生块效应。

为了消除块效应和提高计算速度，将每个区域中心的灰度值作为参考点，对图像中像素点进行线性插值，将相邻的四个参考点对应区域的映射来决定像素点的值。在完成超声图像预处理后，图像的特征得到增强。

3 改进神经网络分类方法

3.1 Inception-Resnet-v2网络

Inception[5]是Google 的研究人员在2014 年提出的网络结构，其通过使用1×1 卷积降低通道数，再进行不同尺度特征提取得到多个特征后，将特征进行融合输出。Inception 网络结构可以将稀疏矩阵聚类为较为密集的子矩阵来提高计算性能。Inception-ResNet-v2 网络是在Inception-v4 网络结构中引入了ResNet 的残差结构，利用Resnet 网络结构恒等映射的特点，提高了网络的精度。Inception-Resnet-v2 网络通过对上一层的输入使用多个不同尺度的卷积核进行特征提取，在增加网络的宽度同时，能够增加网络对尺度的适应性。Inception-Resnet-v2 网络中Input 为输入层，Stem 模块用于并行提取特征信息，Inception-Resnet-A、Inception-Resnet-B 和Inception-Resnet-C 模块用于特征提取，对应的Reduction-A、Reduction-B 和Reduction-C 模块用于更改网络的宽度和高度，AveragePooling 为平均池化层用于提高计算效率，Dropout 为随机失活层用于保持神经网络的稳定性，Softmax 表示用Softmax 分类器分类。

3.2 注意力机制

注意力机制来源于在视觉上的研究。在进行信息处理时，人们会选择性地关注所有信息中的一部分，并且忽略其他可见的信息。在神经网络中，注意力机制使得神经网络更注重于感兴趣区域，抑制不相关背景区域。超声图像噪声较多，所以更需要网络提取有效的特征，强调关键的信息，从而整体分类的精度。本文将在Inception-Resnet-v2 网络中加入SENet(Squeezeand-Excitation Networks)[6]注意力机制模块。SENet 的核心是通过网络根据训练误差去学习特征权重，使得有效的特征图权重增大，抑制无效或效果小的特征图的方式训练模型达到更好的结果。

SENet 模块对输入高宽为h、w，通道数为c1 的超声图像进行空间维度的特征压缩，获得全局感受野。然后通过参数w 为每个通道重新生成权重，再通过两个全连接层对输入维度进行降维再升维，将每通道的权重加权到原输入特征图上，得到输出。

3.3 改进策略

由于网络的深层具有深的语义信息，因此将SEnet模块融入Inception-Resnet-v2 网络的Inception-Resnet-B 结构和Inception-Resnet-C 结构的两侧含有卷积的分支中，得到SE-Inception-Resnet-B 结构和SE-Inception-Resnet-C 结构。

为了避免随着网络深度加深造成特征信息丢失，对Inception-ResNet-v2 网络的Inception-Resnet-A、SEInception-Resnet-B 和SE-Inception-Resnet-C 模块先经过平均池化，再进行特征融合。改进后的网络结构如图1 所示。

图1 改进后的网络结构图

4 实验测试分析

4.1 实验数据集和平台

实验所使用数据来源于公开数据集，共有550 张大小为360×575 的肝脏超声图像，其中肝脏正常为170 张，轻度脂肪肝50 张，中度脂肪肝110 张，重度脂肪肝220 张。

本文算法使用的计算平台系统为Ubuntu20.04，深度学习框架为Pytorch1.8。硬件环境为6 核12 线程CPU，32GB 内存，显存24GB 的GPU。

4.2 评估方法

本文研究脂肪肝超声图像分类问题，使用准确率(ACC)、灵敏度(SE)、特异度(SP)作为评价指标，对算法进行评估。相应公式如下：

式中，TP 为真正例；FP 为假正例；FN 为假反例；TN 为真反例。在相同平台下，将本算法与其他算法进行对比，结果表1 所示。

表1 算法评估对比

从表1 可以得出，本文算法相较于其他算法提高了准确率、敏感度和特异度，能够将脂肪肝超声图像进行较准确地分类。

5 结论

在诊断脂肪肝的计算机分类算法中，超声图像是常用的图像类型。本文提出一种基于深度学习的分类方法，先将脂肪肝超声图像进行预处理，使超声图像能够降低噪声、增强特征。针对于预处理后的图像，改进Inception-ResNet-v2 模型，引入SENet 注意力机制模块与原模块构建成新的模块，并将各模块的输出进行特征融合，经过分类器得到分类的脂肪肝类型。本文算法相较于其他算法，能够有效地提升分类能力。