基于深度学习的眼科超声图像智能辅助诊断方法研究

李泽萌，王晓春，王效宁，周 盛

（中国医学科学院北京协和医学院生物医学工程研究所，天津300192）

0 引言

我国眼科疾病患者人数每年都在不断增长，超声成像一直以来都是眼科临床中最为常用的诊断与筛查方法之一，具有快速、无创、可重复性好、安全性高的特点，尤其对存在屈光介质混浊的眼科疾病具有无法替代的重要作用[1]。目前，传统的眼科疾病诊断方法受医疗资源的不均衡分配和影像医生培养的高成本限制，严重阻碍了眼科超声检查的大规模普及，临床上迫切需要对眼科超声图像进行自动分析及智能辅助诊断。

深度学习是一种新兴技术，在眼科领域具有许多潜在应用，包括眼部疾病的筛查和诊断等，基于深度学习的眼科辅助诊断方法研究不断更新完善。通过在海量数据中提取和学习图像特征[2]，实现将眼科专家诊断经验复制到机器中，不仅能有效缩短年轻影像医生的专业学习曲线，提高眼科超声影像的质量控制水平，减少漏诊、误诊概率，提升诊断的客观性与准确性，还可以切实缓解高年资眼科医生的工作强度，减少一些重复性的劳动，提高临床诊断效率。柴文俊[3]提出了一种面向眼科影像的多模态智能疾病辅助诊断方法，其不仅能提供预标注功能，还可以提供多种眼科疾病的智能识别细分任务以及可视化预测能力。张炜[4]开发了一个眼底异常体征部位智能检测和多病种智能诊断系统，可以为眼科医生提供玻璃体、视网膜、黄斑和视神经部位的眼底病变信息，用于更全面地评估眼底健康。Wang 等[5]开发了白内障分类系统，通过设计Web 服务器，使医生无需掌握任何编程和数学知识就可以获得上传图像的B超检测结果。

视网膜脱离（retinal detachment，RD）、玻璃体积血（vitreous hemorrhage，VH）、玻璃体后脱离（posterior vitreous detachment，PVD）是3 种最常见的眼科疾病，患者可能会出现突发性且无痛的视力模糊、单眼视力丧失、视野中的闪光和飞蚊症。有研究表明，急性、自发性、非创伤性PVD 伴VH 与RD 的发生具有相关性[6]。后巩膜葡萄肿[7]（posterior scleral staphyloma，PSS）是病理性近视退行性改变发生的最重要因素和重要的标志性病变，常见于高龄及眼球过度轴向伸长人群。星状玻璃体变性[8]（asteroid hyalosis，AH）是一种良性疾病，但眼底能见度差可能导致视网膜疾病的漏诊，是进行完全有效的眼底检查的重大障碍。因此，及时完成对这几类眼科疾病的筛选识别并采取治疗措施能够预防或延缓疾病恶化，有效减少视力损伤。

目前，国内外针对眼科超声图像识别诊断的研究较少且诊断模型准确度通常无法满足临床需求，因此，本文提出一种基于深度学习的眼科超声图像智能辅助诊断方法，能够自动分析、识别眼科超声图像，为眼科疾病的智能化临床诊断提供辅助分析。

1 方法

本研究使用TensorFlow 平台作为深度学习任务的后端，同时为了提高训练效率，采用迁移学习技术，通过保留预训练模型的初始化权重降低数据需求量和计算成本。基于深度学习的眼科超声图像智能辅助诊断方法设计流程如图1 所示，包含预处理、模型训练、界面设计、图像识别、热力图分析和程序打包6 个步骤。

图1 基于深度学习的眼科超声图像智能辅助诊断方法设计流程图

1.1 图像预处理

本文使用的仪器为天津迈达医学科技股份有限公司生产的眼科A/B 型超声诊断仪器（型号：MD2300S），使用的图像数据来源于天津医科大学眼科医院，所有的图像都经过了脱敏处理，以保护患者的隐私和健康信息安全。本研究是基于世界医学协会赫尔辛基宣言的原则进行的，获得了天津医科大学眼科医院伦理委员会的批准。因本研究是一项回顾性的研究，且对所有B 超图像进行了脱敏处理，因此知情同意被豁免。

由眼科专家对采集的图像样本进行筛选与分类。纳入标准：异常图像仅包含5 种异常（AH、PVD、VH、PSS、RD），同时纳入正常图像。排除标准：（1）图像质量差；（2）2 种及以上异常同时存在；（3）存在5 种异常以外的异常。本次实验最终纳入16 937 张眼科超声图像构建数据集，其中正常图像1 073 张、AH 图像1 870 张、PVD 图像5 741 张、VH 图像4 204 张、PSS图像3 326 张、RD 图像723 张。采用随机抽样方法按照6∶2∶2 的比例随机选取图像样本设置训练集、验证集和测试集，数据集划分情况见表1。

表1 眼科超声图像数据集划分情况统计单位：张

1.2 模型训练

1.2.1 训练流程

在本文构建的数据集上完成ResNet-50、DenseNet-121 和MobileNet 3 种网络模型的训练，并通过实验结果对比来选择最适合眼科超声图像智能辅助诊断的网络模型[9]。首先，通过迁移学习方法得到预训练模型；然后，去除全连接部分，只保留卷积基；最后，为模型添加更适合本文六分类情况的更具针对性的分类器，完成分类模型的训练。模型训练流程如图2 所示。

1.2.2 评价方法

为评估网络模型对6 种眼科超声图像的分类性能，采用混淆矩阵、准确率（sccuracy，Acc）、精确度（precision，Pre）、敏感度（sensitivity，Sen）、F1值及AUC值作为模型的分类性能评价指标，准确率Acc、精确度Pre、敏感度Sen 和F1值的计算公式如下：

式中，TP、TN、FP、FN 分别为真阳性、真阴性、假阳性、假阴性。ROC 曲线与坐标左上角的完美分类点[10]越接近，AUC 值越大，最大值为1。通过宏平均方法[11]可以评估模型的整体分类性能，将每种病变的分类敏感度加和求均值获得宏平均精确度，按相同计算方法获得宏平均敏感度和宏平均F1值。

为评估网络模型对6 种眼科超声图像的实时性能，采用模型文件大小和预测本文测试集图像的平均用时作为模型的实时性能评价指标，在模型分类性能相当的情况下，运算耗时越少，模型越高效。

1.3 热力图可解释性分析

梯度加权类激活映射[12]（gradient-weighted class activation map，Grad-CAM）的可解释性已成为深度学习模型的基本特征，利用Grad-CAM 技术对原始图像上的每个类别进行推理解释，能够直观地看到模型决策所依据的重点区域，并自动定位病变区域。具体实现过程为：首先将待识别的图像输入到训练好的网络模型中，将模型最后一个卷积层的输出作为特征图，通过最后一个卷积层的特征映射的加权和得到类激活热力图CAMi；然后将热力图标准化到0～1 范围内以便可视化，获得输入图像中对预测结果影响较大的区域；最后将输入图像叠加到热力图上，调节热力图强度因子，即可得到模型在识别眼部组织特征时的主要关注区域，即对应疾病的病变组织区域。

类激活热力图CAMi的计算公式为[13]

式中，i为目标类别；CAMi为i的类激活映射；k为高度H、宽度W的单元；为单元k对应的类别i的权重，通过网络模型训练得到；fk（x，y）表示单元k在空间位置（x，y）的特征映射。

1.4 软件设计

PyQt[14]是基于Python 语言环境，融合Qt 库模块功能而形成的用于跨平台人机交互系统开发的工具包，其可以用来开发占用更少磁盘空间、运行更快的面向对象软件[15]。本文所述眼科超声图像智能辅助诊断软件基于PyQt5 开发，主要包括图像导入、图像识别、热力图可解释性分析以及输出结果4 个部分，可以识别AH、PVD、VH、PSS、RD 图像和正常图像。通过使用Python PyQt 库编写人机交互界面，可以帮助医生更方便、直观地使用眼科超声图像智能辅助诊断软件。软件设计流程如图3 所示。

图3 软件设计流程图

具体过程如下：

（1）使用Qt designer 软件[16]，通过拖拽和点击的方式，采用多个PushButton 按钮、Lable 标签以及QScrollArea 等控件设计用户界面（user interface，UI），如图4 所示。

图4 眼科超声图像智能辅助诊断软件显示界面

（2）使用pycharm 中的Pyuic 工具将Qt designer软件生成的ui 文件转换成py 文件，便于后续的调用。

（3）在主程序中创建一个主窗口类，继承UI 类并在主窗口类中编写主函数。

（4）编写主函数，实现各控件的相应功能。定义openimage 函数通过QFileDialog.getExistingDirectory等指令实现图像导入；定义choose_image 函数通过QtGui.QPixmap 等指令实现图像选取；定义preillness函数通过调用训练好的辅助诊断模型实现图像识别。

（5）对程序中可能出现错误的代码段使用tryexcep 异常捕获机制[17]，避免抛出错误导致软件退出以及出现软件崩溃等问题。为了提升辅助诊断软件的适用性，使用Pyinstaller[18]将Python 文件打包成可执行程序，使其可以在裸机环境下运行，无需自行安装运行环境。经测试，可执行程序能够在Windows 7、Windows 10、Windows 11 多种版本的操作系统中运行。

2 结果

2.1 模型评价指标

各模型的分类评价指标结果对比见表2。结果显示，ResNet-50、DenseNet-121 和MobileNet 3 种模型识别6 类眼科疾病的各项分类评价指标十分相近，分类准确率分别达到了0.948 2、0.959 4 和0.948 5，均具有较好的识别性能。另外，在分类性能相近的情况下，MobileNet 模型的文件大小和预测平均用时显著小于其他2 个模型。由此证明MobileNet 模型体系结构减小了模型的文件大小，需要较少的计算能力来运行[19]，在移动或嵌入式的人机交互系统中具有优势及有效性[20]，更加贴合眼科超声图像智能辅助诊断软件实时性需求，能够高效完成眼科超声图像分类任务。

表2 各模型的分类评价指标结果对比

MobileNet 模型的混淆矩阵如图5 所示。混淆矩阵显示了预测的每张图像的具体分配，对角线元素为对应类别正确分类的图像数量。混淆矩阵结果表明，MobileNet 模型可以正确识别每种类别中的大部分图像，只有个别图像被错误分类为其他类别。此外，PVD 和PSS 图像中部分异常组织特征不明显的图像容易被误诊为正常图像，这是MobileNet 模型应用于大规模人群筛查工作中需要解决的主要问题。结合图6 MobileNet 模型识别6 种超声图像的ROC 曲线及其局部放大图可以看出，MobileNet 模型对RD的识别效果相对较差，原因可能是训练集和验证集中RD 图像数量较少，模型对图像特征的提取不够全面，影响了模型的学习效果，导致分类性能不理想。

图5 MobileNet 模型混淆矩阵

图6 MobileNet 模型ROC 曲线

2.2 功能测试

点击“导入”按钮，Windows 系统弹出文件选择对话框，从中选择待处理的文件夹，将文件夹中的所有图像导入到左侧滑动框中。单击滑动框中的图像，所选图像放大显示在原始图像Lable 中，点击“诊断”按钮，所选图像的预测结果和热力图会自动显示到相应窗口区域。结果按照预测概率从高到低的顺序依次显示，若所选图像为诊断过的图像，则无需再次点击“诊断”按钮，点击图像后其对应的热力图将自动显示在热力图Lable 中。软件诊断界面如图7所示。

图7 软件诊断界面

3 结语

本研究使用迁移学习技术训练ResNet-50、DenseNet-121、MobileNet 模型，并对比了不同模型在眼科超声图像数据集上的检测性能。实验结果表明，MobileNet 模型具有良好的分类效能，准确率、宏平均精确度、宏平均敏感度和宏平均F1值分别为0.948 5、0.926 6、0.930 5、0.928 1，AUC 值达到了0.995 8。模型文件大小和检测平均用时为56.69 MiB 和0.089 0 s。与ResNet-50、DenseNet-121 模型相比，MobileNet 模型在分类性能方面差异不大，但其实时性能指标显著减小，能够更高效地完成眼科超声智能辅助诊断任务。同时，以基于MobileNet 模型的眼科超声图像智能辅助诊断方法为前提，结合PyQt 工具包，设计的眼科超声智能辅助诊断软件可以实现对AH、PVD、VH、PSS、RD和正常6 类眼科超声图像的识别分类和热力图可解释性分析，并通过异常捕获机制和程序打包方法，保障了软件的可靠性和可移植性，提高了眼科超声图像智能辅助诊断方法的临床适用性。

本研究仍存在一些不足和局限：一是数据集图像来源单一有限，受图像数量少、设备型号单一等限制，模型泛化能力有待提高，难以得到推广；二是研究主要集中于对单一病变明显的特征图像的识别与诊断，识别能力有限，对混合疾病及少见疾病的识别有待完善；三是与临床应用结合不够紧密，如缺少结合扫查方向和眼位标识的多方向多眼位识别方式以及适合大规模人群筛选的实现形式，导致临床大规模应用受限；四是缺乏结合其他种类影像的多模态融合研究，如眼底图像和光学相干断层扫描图像等。随着深度学习算法的发展，智能化医疗手段在疾病预测和精准医疗领域将发挥越来越重要的作用[21]。针对以上问题，未来研究方向包括增加模型可识别的疾病种类、多病种混合影像识别、多种设备影像跨数据库分类研究、多方向多眼位识别方式、大规模人群筛选形式、多模态影像融合研究等方面，以使诊断软件的功能更加丰富，进而扩大其在临床中的使用范围。