卷积神经网络基于MRI在半月板损伤诊断中的研究进展

袁典，杜昱峥，魏德健，张俊忠，曹慧*

0 引言

膝关节是人体结构和功能最复杂的关节之一，半月板是位于膝关节胫骨面内外两侧的半月形缓冲结构，对于润滑膝关节软骨和维持膝关节稳固性起着关键作用[1]。但同时膝关节也是易受伤的关节之一，不同程度的半月板损伤几率都高于膝关节其他部位，人体半月板一旦发生损伤，轻则使患者局部关节肿胀疼痛，影响正常的日常生活，重则会导致患者早期关节炎的形成和发展[2]。根据目前医学技术得知，严重的半月板损伤给患者所带来的伤害是不可逆转的，半月板损伤的早期诊断与治疗对于预防关节炎具有非常重要的意义[3-4]。

医学图像技术是骨关节疾病预防和诊断方式之一，其研究和发展为医生进行临床诊断提供了更多的参考方案，近年来在很多领域得到了广泛应用并取得了一定的成果，例如骨质疏松[5-7]、骨肿瘤[8-9]、软骨及关节病变[10-11]等骨关节疾病的诊断治疗。超过70%的骨关节疾病的诊断都依赖于医学图像技术，MRI 因具有非侵入、无辐射、无创伤以及准确度高等优势，成为公认的诊断半月板损伤的最佳医学图像技术[12-14]。但是在整张人体膝关节MRI图像中，半月板所占面积小于1%，因此临床医师判断的准确性受限，给他们的专业能力带来了挑战。使用计算机技术来辅助临床医生诊断医学图像的想法已经被科学界所采用[15]。卷积神经网络具有强大的特征提取能力，对输入的膝关节MRI图像反复训练学习，可以解决烦琐的人工分割半月板MRI图像和半月板损伤检测等问题，进而提高半月板MRI图像分割、损伤检测和分类的效率和准确率。因此，深度学习中的卷积神经网络在半月板损伤的早期诊断中极具潜力。卷积神经网络在半月板损伤智能诊断中已经取得了初步的研究和应用，但是目前鲜有文章同时对半月板MRI 图像分割、图像检测和图像分类进行全面总结。本文将对卷积神经网络基于MRI 在半月板图像分割、损伤检测和损伤分类三个方面的最新研究进展进行综述，旨在总结半月板损伤辅助诊断中提出的卷积神经网络模型以及应用效果，并提出该研究领域目前存在的局限性和未来的发展方向，为相关领域的临床应用研究提供参考。

1 深度学习与卷积神经网络

人工智能（artificial intelligence, AI）为医学图像领域带来了巨大变革，近年来，AI的快速发展提高了医学图像的实用性[16]，两者结合被认为是最具发展前景的方向之一[17]，在临床诊断和治疗中具有较高的应用价值。AI 的发展突飞猛进，其各类以深度学习和卷积神经网络为代表的算法和工具应运而生。

1.1 深度学习

以神经网络为代表的机器学习算法，旨在使计算机具有学习新知识的能力，进而改善并提高模型性能。在近几十年的发展过程中，机器学习的一个重要子领域诞生——深度学习，深度学习能够自动学习特征层，可以高通量、自动化提取高维度的特征信息，是目前最接近AI的算法[18]，其创新和应用推动着AI快速发展，医学智能化研究由此进入新的阶段。深度学习技术在2017 年开始广泛应用于医学领域[19]，该技术优于传统的图像分析方法，被称为计算机视觉领域最为先进的图像分析技术，深度学习基于分层人工神经网络，适合用于解释医学图像之间的复杂关系，在辅助医学图像诊断分析中的大量应用取得了重大进展，其中研究热点有肺结节分类检测[20]、糖尿病视网膜病变检测[21]、阿尔茨海默病分类诊断[22]等。

1.2 卷积神经网络

卷积神经网络是深度学习技术在医学图像分析领域中最流行的深度神经网络类型之一[23]，继深度学习提出后，以卷积神经网络为内核的深度学习技术得到了快速发展，算法与硬件技术的发展也推动着深度学习和卷积神经网络飞速发展。卷积神经网络具有强大的特征提取能力，是一种具有卷积计算和深度结构的多层感知器，在医学分析上比其他传统的神经网络更加优越。卷积神经网络已被广泛应用在医学图像辅助诊断领域，它能够有效地提取输入的医学图像信息，在医学图像的图像分割[24]、目标检测[25]和病理分类[26]方面取得了一定成果。

卷积神经网络是一种在有监督训练下进行的深度学习算法，在医学病理图像分析与处理上具有优越的能力，可以自动检测并提取重要的图像特征信息[27]。在卷积神经网络中，输入层作为第一层用于将图像传送至网络模型中；卷积层作为核心特征提取器，主要利用滑动固定尺寸的卷积核在膝关节MRI图像上进行运算，提取有效特征，并生成特征图；池化层通常位于两个卷积层之间，对特征图进行下采样，保留特征图中的有效信息；激活层旨在加速模型的训练过程和提高模型的稳定性，从而提高半月板的信息表达能力；全连接层位于卷积神经网络结构的末端，是特征空间到标记空间的映射，主要用来得出网络模型的检测、分类和分割结果。

2 卷积神经网络在半月板MRI图像分割中的应用

由于膝关节解剖结构复杂，预先对MRI 图像进行分割能够减少图像中无用的信息，精确分割半月板对于了解半月板形态结构、确定半月板病灶位置、诊断半月板损伤以及损伤等级的判断具有重大应用价值，作为图像处理的前期工作的基础和后续工作的基石，其性能影响着整个研究的完整性和准确性。虽然放射科医师的人工分割可以取得理想的分割效果，但是他们在MRI 图像上分割半月板大约需要20 分钟[28]。随着计算机技术的不断发展，基于深度学习的图像分割技术也应运而生，卷积神经网络结构因具有良好的提取图像深层特征的能力，成为现阶段医学图像分割领域中的主流方法。

在图像分割中主要采用Dice 相似系数（Dice similariy coefficient, DSC）作为分割结果准确性的评价指标，DSC 越大代表分割结果越准确。2018 年TACK 等[29]率先使用2D U-Net 和3D U-Net 结合统计形状模型（statistical shape models, SSMs）提出一种自动分割膝关节半月板MRI 矢状面图像的方法，其中SSMs 用于去除小区域，重建半月板。该方法分割每对内外侧半月板约花费1.5 分钟，分割DSC 分别为83.8%和88.9%，获得了显著的分割效果，但是该方法只分割了一个MRI序列。为了评估半月板松弛和形态，同年NORMAN 等[30]基于2D U-Net对膝关节半月板进行自动分割，并与放射科医生手动分割进行比较，该模型平均每5 秒产生自动分割，外侧半月板和内侧半月板的DSC 分别为80.9%和75.3%，其纵向分割结果与传统的人工手动分割效果基本一致，虽然此网络模型具有良好的性能优势，但在精度方面还有提高的空间。

2019 年PEDOIA 等[31]首先通过随机旋转和平移图像增强的方法将数据集中的训练集扩大十倍，解决组间不平衡导致的过拟合问题，随后采用2D U-Net在1 478 名受试者的矢状面图像上自动分割膝关节半月板，完整的分割过程总共需要9 秒，但是研究中使用的数据集有限，并不能代表准确的临床常规情况。2020年ÖLMEZ等[32]首先使用区域卷积神经网络（region convolutional neural networks, R-CNN）定位半月板区域，然后在卷积神经网络上利用膝关节两种不同MRI图像序列的对比度特征区分半月板与周围组织，实现形态学图像分割和分析，分割整个半月板的DSC为88.8%，但是将半月板进行整体分割对于进一步诊断其损伤的意义较小。

图像分割主要是通过识别图像的感兴趣区域（region of interest, ROI）来确定病灶位置、形状和轮廓等形态学信息。2020 年BYRA 等[33]将迁移学习应用于2D U-Net，分别对两个放射科医生提供的膝关节MRI图像进行半月板分割的DSC 分别为86.0%和83.3%，而放射科医生手动分割半月板的DSC 为82.0%，表明所提出的深度学习模型与放射科医生的人工手动分割差异无统计学意义，可以用于半月板自动分割，但是该方法并不能完全区分半月板与膝关节其他结构。

为解决这一问题，2020 年GAJ 等[34]提出了一种基于条件生成对抗性网络（conditional generative adversarial nets, CGAN）的新方法，该方法只分割膝关节MRI 图像局部ROI，并且对分割结果反复改进，内外侧半月板的DSC 分别为87.0%和89.0%，结果优于先前发表的基于卷积神经网络模型分割半月板的方法，证明基于CGAN 模型自动分割半月板具有更高精度。2021 年JENO 等[35]提出了一种集成多类半月板分割网络的自动分割方法，将2D U-Net 和目标感知映射的CGAN 相结合，2D U-Net 用于在膝关节MRI 图像中定位内外侧半月板，CGAN 用于在膝关节MRI 图像中感知目标，并只分割出半月板局部ROI，以此解决类的不平衡以及过分割等问题，试验结果再次证实利用目标感知映射的对抗性学习可以提高卷积神经网络的分割性能。

卷积神经网络可以成功地在医学图像上进行训练，并应用于膝关节半月板MRI图像的分割任务中，它的引入有助于缩短MRI图像分割时间、提高MRI图像分割的效率、减少放射科医师的主观偏差。现阶段基于卷积神经网络的半月板MRI图像分割研究成果取得了令人满意的结果，这一研究领域在临床和科学研究都有很大的前景，但是相关研究有限，仍处在发展阶段，且算法的性能依然存在提升的空间[36]，因此未来需要发掘更多的深度学习模型去分割膝关节半月板，提高半月板MRI图像分割的精度。卷积神经网络分割半月板MRI图像的方法汇总如表1。

表1 卷积神经网络分割半月板MRI图像方法汇总Tab.1 Summary of convolutional neural network segmentation methods for MRI images of meniscus

3 卷积神经网络在半月板损伤检测中的应用

病灶检测是指在医学图像中定位和识别检测病变区域，对于为患者选择合适的治疗方案至关重要。深度学习的发展使得通过卷积神经网络进行图像检测成为主流，基于卷积神经网络的不同网络结构在医学图像检测方面具有较好的效果，且部分网络结构的诊断性能可与临床医师相媲美，有利于帮助医师提高病灶检测的效率与准确率。

3.1 卷积神经网络检测半月板损伤

卷积神经网络可以通过其强大的特征提取、反复训练学习的能力，对直接输入的膝关节MRI 图像进行检测，避免烦琐的人工分割半月板流程。2018 年BIEN 等[37]基于卷积神经网络提出了一种用于检测膝关节MRI图像中半月板损伤的MRNet模型，并发表了MRNet数据集。MRNet模型可以快速准确地检测膝关节MRI图像，从而实现全自动识别正常和损伤的半月板。该研究受临床专家小组规模的限制，AUC、准确度、敏感度和特异度分别为0.847、72.5%、71.0%和74.1%，结果显示其性能低于参与研究的普通放射科医生（平均准确度、敏感度和特异度分别为84.9%、82.0%和88.2%），试验结果有待改善，可以在此基础上改进卷积神经网络体系结构来提高卷积神经网络模型的性能和通用性。

为了提高模型的性能，2020 年TSAI 等[38]将卷积神经网络中的高效分层网络架构用于检测膝关节MRI 图像中半月板的损伤，研究中没有使用迁移学习，而是从零开始训练高效分层网络，该模型采用一种新的切片特征提取网络，结合多层切片归一化和模糊降采样，在两个不同的数据集中检测半月板损伤的AUC 分别为90.4%和91.3%，表明该模型具有一定的诊断价值。同年FRITZ 等[39]将一种基于深度卷积神经网络的模型用于全自动检测半月板损伤，内侧半月板的敏感度、特异度和准确性分别为84.0%、88.0%和86.0%，外侧半月板的敏感度、特异度和准确性分别为58.0%、92.0%和84.0%，在检测内外侧和整体半月板损伤时的AUC分别为88.2%、78.1%和96.1%，但是与肌肉骨骼放射科医师相比，其敏感度较低。

2021 年RIZK 等[40]开发了一种基于3D 卷积神经网络架构的深度学习模型，分别用于检测内外侧半月板的损伤，并使用放射科医生标记的子集进行内部验证，该方法得到内外侧半月板的AUC 分别为0.93 和0.84。同年QIU 等[41]将浅层网络CNN1 和深层网络CNN2 进行联合，提出了新的深度学习模型CNNf 用于膝关节半月板检测。浅层网络CNN1 主要获取半月板简单的低层特征，深层网络CNN2主要获取半月板复杂的高层特征，最终由CNNf结合高低层特征来检测膝关节MRI 图像中半月板的损伤，该模型的AUC、准确度、敏感度和特异度分别为0.968、93.9%、91.4%和94.7%。因此，改进卷积神经网络体系结构可以有效提高半月板损伤诊断的准确性，降低误诊率，但是研究中所使用的数据集有限，需要使用更多的数据来获得更好的泛化性能，减少模型的过拟合现象。

3.2 R-CNN检测半月板损伤

R-CNN 具有强大的特征提取能力，是第一个成功将深度学习应用到目标检测上的算法[42]。R-CNN采用选择性搜索算法提取大量目标候选区域来完成对输入图像的目标检测任务，它的提出推动了图像目标检测的快速发展[43]。2020 年ÖLMEZ 等[32]基于R-CNN设计了一个用于自动诊断MRI图像中半月板损伤的模型，将卷积神经网络的特征与ROI 特征进行结合，并使用迁移学习来训练R-CNN模型。

R-CNN显著提高了目标检测的准确率，但是训练过程过于烦琐，检测速度较慢，而且占用的存储空间较大。为了改进R-CNN的网络效率，快速区域卷积神经网络（fast region convolutional neural networks, Fast R-CNN）引入了感兴趣区域池化（region of interest pooling, ROI Pooling）层，将Softmax分类任务和边框回归任务进行同时训练，在网络训练时共享相同的卷积层，进一步提升了目标检测的性能。更快速区域卷积神经网络（faster region convolutional neural networks, Faster R-CNN）在Fast R-CNN 的基础上设计了一个区域候选网络，区域候选网络采用共享卷积层特性，实现了端到端的训练，降低了计算复杂度，从而可以更快速的确定目标的精确位置，极大地提高了网络的实时性。为了提升目标检测的速度和精 度，2019 年ROBLOT 等[44]基 于Fast R-CNN 和Faster R-CNN，提出了一种用于自动检测半月板损伤的分类算法，他们在700张膝关节MRI图像数据集上实现了半月板损伤的检测，且AUC为94.0%。

为扩展R-CNN技术，更加精准地定位每个目标，有学者提出了基于掩模区域的卷积神经网络（mask region-based convolutional neural network, Mask R-CNN）。Mask R-CNN是对Faster R-CNN的直观扩展，它使用感兴趣区域对齐（region of interest align,ROI Align）代替原始的ROI Pooling 层，ROI Align 作为一个简单、无量化的层，保留了精确的空间位置，可以精准对齐图像像素点，将掩模精度提高了10%～50%[45]，从而提高了目标检测的准确性。Mask R-CNN 不仅可以有效地检测识别图像中的目标对象，同时还可以对每个目标生成一个高质量的二进制掩码[46]。

2019 年COUTEAUX 等[47]基 于Mask R-CNN 模型自动定位MRI图像上半月板的位置并检测半月板的损伤，其中采用一种基于掩模区域的2D 卷积神经网络来定位内侧半月板和外侧半月板，该研究将经验丰富的放射科医生的诊断结果作为参考标准，对半月板损伤检测的AUC 达90.6%，位列AI 膝关节半月板撕裂挑战赛第一，该模型在整体聚合时更具鲁棒性，进一步提高了对半月板损伤的检测。2022 年LI等[48]基于3D Mask R-CNN在膝关节MRI图像全自动检测半月板损伤，将检测性能与两名经验丰富的放射科医师的评估进行比较，并通过关节镜手术证实，在检测半月板损伤方面的性能优于放射学评估，AUC 值达90.6%。因此，3D Mask R-CNN 可以用于全自动半月板损伤检测，这能够减少患者不必要的关节镜检查。

卷积神经网络在半月板病灶检测对于辅助医师临床诊断半月板损伤具有一定的价值，在提高半月板损伤检测正确率的同时，极大程度上减轻了临床医师的工作量。以上卷积神经网络模型的诊断性能大多可与临床医师相媲美，可以作为临床诊疗的辅助手段，有助于医师快速且准确地检测出半月板的损伤，为下一步半月板的损伤程度分级分期和个性化治疗方案的选择奠定了良好的基础。卷积神经网络检测半月板损伤的方法汇总如表2。

表2 卷积神经网络检测半月板损伤的方法汇总Tab.2 Summary of methods for detecting meniscus damage using convolutional neural networks

4 卷积神经网络在半月板损伤分类中的应用

大多数深度学习模型对膝关节半月板MRI图像的分割和半月板损伤检测诊断性能均接近于人类。近年来，深度学习在半月板损伤方向和程度方面的研究也相继提出，正确区分半月板损伤方向和程度可以为放射科医师临床诊断半月板损伤提供可靠的参考依据，对医师为患者合理选择个性化治疗方案具有十分重要的临床意义。现阶段卷积神经网络在半月板损伤分类中的应用主要有损伤方向二分类和损伤程度多分类。

4.1 半月板损伤方向诊断二分类

根据半月板损伤形态可将半月板损伤方向分为水平损伤和垂直损伤，准确区分半月板损伤方向是临床干预和术前诊断的重要前提，有助于节省医师的临床诊断时间以及制订科学的靶向治疗方案。

2019 年，ROBLOT 等[44]基 于Fast R-CNN 和Faster R-CNN的任务分类算法，在一组膝关节矢状面2D MRI图像中判断半月板损伤方向（垂直或水平），检测损伤方向的AUC 为83.0%。与ROBLOT 等[44]的研究类似，同年COUTEAUX 等[47]将Mask R-CNN 级联为浅层卷积神经网络，利用集成聚合对膝关节矢状面2D MRI图像进行鲁棒性增强，来确定半月板损伤的方向为垂直还是水平，该任务的AUC为0.906。

以上两项研究虽然都对半月板损伤方向做了分类（垂直或水平），但是都只使用了一组膝关节矢状面的2D MRI图像，而膝关节MRI检查通常包含矢状面、冠状面和轴状面三个方向的多个序列的上百张图像，所以该两项研究存在一定的局限性，扩展数据库或使用3D 数据可能有助于进一步提高模型的性能。

4.2 半月板损伤程度诊断多分类

半月板损伤的治疗方法因损伤程度而异，半月板损伤程度一般分为三级，对于半月板Ⅰ级和Ⅱ级损伤往往采取保守治疗，而对于半月板Ⅲ级损伤则需要进一步确诊是否进行手术治疗，正确区分半月板不同程度的损伤有助于为患者选择恰当的治疗方案。

2019 年，PEDOIA 等[31]使用3D 卷积神经网络检测半月板损伤和评估量化半月板损伤的严重程度等级，并纳入年龄和性别等人口统计学信息，结合WORMS评分将半月板损伤分为正常半月板、轻中度损伤和严重损伤三种等级，相对应的准确率分别达到了80.7%、78.0%和75.0%，最终获得了半月板病变严重程度分期的良好性能。2021 年，ASTUTO 等[49]验证AI技术可以帮助识别和评估膝关节半月板病变严重程度的假设，基于3D 卷积神经网络模型检测膝关节MRI 图像中的ROI，并对半月板损伤严重程度进行分级，3D 卷积神经网络模型对膝关节半月板损伤严重程度评分具有较高的敏感度、特异度和准确度，敏感度为85.0%，特异度为89.0%，AUC为93.0%，对正常半月板、半月板部分损伤和半月板完全损伤三个等级的敏感度分别为85.0%、74.0%和85.0%。

2022 年张卿源[50]基于三层级连接残差网络提出了一种自动检测半月板损伤程度的分类方法，他依据患者病情的严重程度以及半月板损伤信号的形态分为正常、轻度损伤、中度损伤以及重度损伤四类，最终试验得到的分类正确的概率分别为91.0%，79.0%，85.0%和99.0%，表明提出的三层级连接残差网络方法对半月板损伤程度的分类有精准的预测效果。同年，LI等[51]基于Mask R-CNN 构建深度学习网络结构，采用50层的残差网络开发骨干网络，能够有效地区别正常的半月板和损伤的半月板，并能区分半月板的损伤是撕裂还是退变，研究结果由经验丰富的医生结合关节镜手术进行评估，对正常半月板、撕裂半月板和退变半月板的诊断准确率分别为87.5%、87.0%和84.8%，可以作为临床中辅助诊断半月板损伤的有效工具。

准确区分半月板损伤方向和损伤程度对于患者的治疗和预后具有极其重要的临床意义，以上研究证明基于深度学习模型的分类方式符合临床需求，可以实现半月板损伤方向和损伤程度的自动分级，驱动AI 方法帮助放射科医师读取和分析医学图像，节省放射科医师临床诊断半月板损伤的时间。但是目前相关方面的研究较少，研究成果尚有提升空间，多数研究都缺乏一个实际的金标准作为参考，使用关节镜作为模型结果的参考标准可能是未来的研究方向。

5 总结与展望

本文总结了基于MRI的卷积神经网络在半月板损伤辅助诊断中的研究进展，探讨了现有研究存在的局限性，并指出了未来的研究方向。众多卷积神经网络模型在MRI 图像分割、检测和分类中的应用逐渐深入，在半月板损伤辅助诊断方面也取得了较大的进展，这对于半月板损伤诊断具有较高的临床应用价值。但是目前相关研究仍存在一定局限性：（1）膝关节MRI 图像数据集缺乏且存在局限性。由于保护患者隐私和数据安全等原因，公开的膝关节MRI医学图像数据集较为缺乏。基于MRI诊断半月板损伤时会一次性获取人体膝关节矢状位、冠状位和轴状位三个序列的图像，但是大多数研究只分析MRI 图像的其中一个序列，模型的适用范围较小，因此在保证膝关节MRI 公开数据集质量的同时，提高数据集的规模，并对MRI 的多个序列同时进行研究可能是未来努力的方向。（2）研究缺乏可信的参考标准。目前大多数研究都只以富有经验的放射科医生的诊断结果作为参考标准，缺少一个实际的金标准进行对比参考，限制了相关研究的临床适用性。未来可以尝试使用膝关节镜手术结果作为模型结果的参考标准，从而提高研究的可信度和权威性，对膝关节半月板损伤的研究也会起到巨大的推动作用。（3）诊断程度受限。严重的半月板损伤可能会导致患者早期膝关节关节炎的形成和发展，目前卷积神经网络模型在半月板损伤诊断的大部分研究都只针对是否有损伤，较少的研究可以进一步对半月板损伤进行方向分类和程度分级，并且还没有基于半月板损伤预测膝关节骨关节炎发生的研究，通过半月板损伤程度的情况准确预测膝关节骨关节炎的形成和发展将是未来的一个研究方向。

总之，尽管卷积神经网络基于MRI在半月板损伤辅助诊断领域的应用和研究较少且正处于发展阶段，但是该领域在未来的研究和发展中有广阔的应用前景，能够辅助医师临床诊断半月板损伤，并提高诊疗的效率与准确率，以期更好地实现精准诊疗，卷积神经网络有望逐步发展成为临床医师的得力助手。

作者利益冲突声明：全体作者均声明无利益冲突。

作者贡献声明：袁典构思和设计本综述的框架，起草和撰写稿件，获取、分析和解释本综述的文献；曹慧、魏德健、张俊忠构思和设计本综述的框架，对稿件重要内容进行了修改，获得国家自然科学基金项目基金资助；杜昱峥构思和设计本综述的框架，对稿件重要内容进行了修改；全体作者都同意发表最后的修改稿，同意对本研究的所有方面负责，确保本研究的准确性和诚信。