基于MRI的深度学习在膝关节运动损伤中的研究进展*

陈博 李颖智 唐雄风 沈先月 郭德明 何猛 秦彦国

膝关节由骨骼、软骨、韧带、半月板等组织构成，是人体最大、最复杂的关节之一，对维持人体的正常活动起到极其重要的作用。随着生活水平的不断提高，人们的运动和娱乐需求也越来越大，膝关节运动损伤的发病率也随之上升。膝关节运动损伤多集中在软骨、韧带、半月板等软组织，若诊疗不及时会引起膝关节稳定性降低，加速膝关节骨性关节炎（osteoarthritis，OA）的发生[1]。核磁共振成像（magnetic resonance imaging，MRI）是膝关节疾病诊疗的重要影像学手段，临床中常用于评估膝关节内部疾病，尤其是软骨、半月板、韧带等软组织的病变[2]。然而因膝关节解剖结构复杂，临床数据量大，低年资医生和基层医生诊疗经验水平有限等因素[3]，在基层医院针对膝关节疾病的MRI精确诊断水平尚待提升。近年来，随着人工智能技术的快速发展，人工智能可在医学图像处理与分析领域帮助不同场景下的医生提升诊断能力，提高工作效率。深度学习技术是计算机视觉领域最为先进的图像分析技术，自2017年开始广泛应用于医学领域，尤其是计算机辅助医学影像诊断方向[4]。在该浪潮下，深度学习技术在对膝关节运动损伤的诊疗中已经得到了初步的研究和应用，但同时也面临着诸多不足。本文就基于MRI的深度学习在膝关节运动损伤中的研究进展进行综述，以期为从事相关研究的人员提供参考。

1 人工智能与深度学习

人工智能（artificial intelligence，AI）是研究通过计算机模拟人的某些思维过程和智能行为的一门新兴技术科学。深度学习（deep learning）技术是AI 中的一个子类，是目前该领域最受关注的AI技术，其特征在于在学习过程中可以自行学习计算任务的特征并分析特征之间的复杂关系[5]。得益于医学影像数据的增加和计算性能的提高，深度学习技术在医学图像分析领域得到了快速发展[6]。

卷积神经网络（convolutional neural network，CNN）是目前深度学习技术在医学图像分析中最具代表性的算法，其基本组成包括：输入层、卷积层、池化层、非线性层、全连接层和输出层[5]。目前，大多数研究集中在对图像的分类、分割和检测等任务，基于此也衍生出可实现不同功能的CNN 架构，如ResNet、U-Net、VGG、AlexNet等。在医学图像分析领域的诸多研究均是基于上述CNN架构进行改良的[5,7-8]，在病灶识别、组织分割、疾病良恶性判断等方面表现出与人类医生相媲美的能力。

2 深度学习在膝关节运动损伤中的应用现状

2.1 深度学习与软骨

OA 是关节软骨慢性损伤的代表性疾病，软骨退变是该疾病的特征性改变。膝关节作为人体最大的负重关节，是OA的常见发病部位，极易出现软骨损伤[9]。MRI对关节软骨的退变较为敏感[10]，因此临床上一般使用MRI检测软骨形态并了解OA进展[11]。为进一步深入对OA疾病进展的研究，需要对软骨体积、软骨厚度、软骨表面面积和软骨下骨总面积等参数进行量化[12-13]。既往多采用手动勾勒的方式对软骨进行分割，该方法精度较高但极为费时。目前认为的最佳方法是使用深度学习实现软骨的自动分割。Dice相似系数（Dice similarity coefficient，DSC）是评价两个目标重叠程度的指标，常用于对分割结果进行评价，其结果越接近1，代表模型的分割精度越高。

Prasoon 等[14]在2013 年便将深度学习应用于膝关节软骨分割，提出了一个基于三个平面的2D CNN 系统分类器，分别对应MRI 图像的3 个切面，在对114 例患者膝关节MRI 测试后，实现了对膝关节胫骨软骨的高精确分割，DSC 达到0.825，该研究系首次在膝关节MRI 组织自动分割中使用深度学习技术，为实现膝关节MRI 骨组织自动分割提供了新思路。Liu 等[15]通过结合语义分割CNN 和3D 变形模型的方法，对膝关节软骨和骨骼实现精准、快速分割的同时又保持了较低的计算成本和极短的分割时间。Norman 等[7]选用U-Net 架构的神经网络模型实现了对关节软骨的自动分割。该模型采用“端到端”的方法，通过骨关节炎倡议（osteoarthritis initiative，OAI）的数据进行训练，在显著缩短分割时间的同时对整体软骨分割的平均DSC 也达到了0.867，实现了对膝关节软骨的快速精准分割，加快了临床医生对OA 患者的定量评估过程。Ambellan 等[16]提出了一种将3D 统计形状模型（statistical shape model，SSM）[17]与CNN 结合的方法对膝关节MRI图像进行分割，其用于SSM 与CNN 训练和评估的数据集均来自OAI 数据库和“segmentation of knee images 2010（SKI10）”挑战赛数据集，模型精准地分割了股骨软骨和胫骨软骨，其DSC 分别为0.899 和0.856。Gaj 等[18]使用CGAN 的网络架构，实现了较Ambellan 等[16]更出色的分割性能：平均DSC 为0.881。Ebrahimkhani 等[19]通过集成深度学习和传统的机器学习技术提出膝关节软骨分割的新框架JD-HCL，在使用CNN 的分割模型对关节软骨进行分割后通过手工制作的机器学习方法，利用先验知识解决边界的不确定问题，该方法在内部数据集分割股骨软骨的平均DSC 为0.925，分割胫骨软骨的平均DSC 为0.870。基于深度学习的膝关节软骨分割方法的汇总如表1 所示。

表1 用于膝关节软骨分割的深度学习方法

通过对膝关节MRI软骨分割精度的不断提高，一方面推动了OA 进展的研究，另一方面对MRI 图像的定量化研究也具有十分重要的意义。未来，在膝关节软骨分割精度进一步提高的同时，应进一步关注OA 患者关节软骨形态的动态变化并据此制定相应的OA分型，从而为OA的精准治疗提供依据。

2.2 深度学习与韧带

前交叉韧带（anterior cruciate ligament，ACL）损伤是膝关节最常见的运动损伤之一。ACL是维持膝关节稳定的重要结构，其损伤会严重影响患者的运动水平，并加速关节退变，严重可导致OA[20]。膝关节MRI 是临床上用于诊断ACL 撕裂的主要方法，该过程需要放射科医师逐张对MRI 图像进行分析，极为耗时。为提高医师的诊断效率，学术界对深度学习在诊断ACL撕裂方面的应用进行探索。

2018年，Bien等[21]率先将深度学习模型用于对膝关节疾病的诊断，研究设计的MRNet将膝关节MRI的检查结果分为三类：ACL撕裂、半月板损伤和一般异常（非ACL撕裂和半月板损伤的异常表现），该研究使用矢状位T2加权、冠状位T1加权和轴状位PD加权图像，对ACL撕裂的诊断任务在内部验证集上的AUC 达0.965，在此基础上对外部验证集测试的AUC为0.824，再次训练后提升至0.911。值得注意的是，在内部验证集MRNet对ACL撕裂的检测取得了很高的特异性，这表明在临床工作中使用该模型可以有效排除ACL 撕裂可能的情况。Awan 等[8]利用3081 张MRI图像使用基于ResNet-14的CNN模型对ACL的三种状态进行检测：正常、部分撕裂、完全断裂，使用的MRI序列为矢状位的PD 加权脂肪抑制序列，结果显示该模型在未经任何数据处理的情况下检测ACL 损伤的平均准确率达0.810，AUC 达0.863，经类平衡和数据增强进行数据处理后，模型准确率可以提升至0.920，AUC 提升至0.980。虽然目前在临床上MRI对ACL撕裂的诊断表现良好，但其与关节镜的动态检查相比仍有差距[22]。Germann 等[23]以关节镜检查作为金标准，通过构建DCNN模型，使用脂肪抑制序列和快速自旋回波序列的冠状位和矢状位图像检测ACL撕裂，在内部测试集中，该模型的AUC、灵敏度和特异性分别达到了97%、99%和94%。此外，为测试模型可推广性，研究者对来自50 多个不同机构的外部测试集进行测试，结果显示模型的整体诊断性能降低，作者推测可能是在构建和训练模型的过程中仅使用了内部数据集所致。Liu等[24]开发了一个全自动ACL撕裂检测系统，该系统由三个独立的CNN 组成：首先使用Slice Detection CNN（LeNet）筛选出包含ACL 层面的MRI 图像，然后Ligament Isolation CNN（YOLO）使用矩形框裁剪出包含ACL 的髁间窝区域，最后Classification CNN（DenseNet）确定是否存在ACL撕裂，该系统在检出ACL撕裂方面实现了与放射科医生相当的诊断性能。此研究使用较少数据集（阳性和阴性样本均为175 例）便获得该结果，作者将其归功于对MRI数据的预处理：通过对MRI图像的精准裁剪使模型更加专注于ACL。同时，作者将DenseNet、VGG16 和AlexNet 等模型的分类性能进行对比，结果显示DenseNet在检测ACL撕裂方面表现最佳。基于深度学习的ACL撕裂检测方法的汇总如表2所示。

表2 用于检测ACL撕裂的深度学习方法

内、外侧副韧带，后交叉韧带等韧带损伤也常见于膝关节的运动损伤，但目前缺少对ACL韧带以外其他韧带的研究。考虑ACL撕裂时也常出现其他韧带及半月板的联合损伤，因此未来还需要逐步扩大对韧带的研究范围，进一步促进深度学习在韧带损伤诊断的应用，使其真正服务于临床。

2.3 深度学习与半月板

半月板撕裂也是膝关节常见损伤之一。半月板作为膝关节内部的缓冲装置，承担了膝关节的部分负荷[25]。MRI可清楚地显示半月板的损伤位置及形态[26]。目前，国内外部分学者已经开展了基于深度学习诊断半月板撕裂的相关研究。

2018年，Bien等[21]构建的MRNet可区分正常和撕裂的半月板，其模型的AUC、准确度、灵敏度和特异性分别为0.847、0.725、0.710和0.741，然而，该结果依然逊色于参与研究的放射科医生和骨科医生（其平均准确度、平均灵敏度和平均特异性为0.849、0.820 和0.882）。在2018 年10月法国放射学会举办的人工智能膝关节半月板撕裂挑战赛中，Couteaux 等[27]通过Mask RCNN 对半月板撕裂进行检测，模型的AUC 可达到0.906，位列挑战赛第一。然而上述研究使用的金标准均为专家对MRI的解释，存在一定的系统误差。2020年，Fritz等[28]使用深度卷积神经网络实现了半月板撕裂的全自动检测，该研究基于关节镜手术报告作为金标准，在内侧半月板撕裂的检测任务上，模型的AUC 和精确度分别达0.882 和86%，相同指标下对外侧半月板撕裂的检测结果分别为0.781和84%，整体上对诊断半月板撕裂的AUC 达0.961。Tack 等[29]设计了一种利用3D CNN处理任意3D MRI数据的程序，用于检测半月板前角、体部和后角的撕裂，其对内侧和外侧半月板的检测效果达到了目前最先进的结果：AUC分别为0.940和0.930，对整个半月板撕裂检测的任务的AUC 为0.940。基于深度学习技术的半月板撕裂检测方法的汇总如表3所示。

表3 用于检测半月板撕裂的深度学习方法

以上深度学习模型对半月板撕裂的诊断性能均接近于人类，但大多缺乏对半月板撕裂形态和位置的研究，若在此方面得到突破，将对于医生选择恰当的治疗方式具有十分重要的意义。此外，现有研究多关注于对半月板损伤的诊断，缺乏对正常半月板形态的研究。过往因半月板的解剖学参数测量难度大、耗时长等问题而鲜有研究，深度学习的出现使此类问题迎刃而解，将有助于对国人半月板形态参数与性别、体重之间关系的研究，从而加深对半月板的了解及对人工半月板的研究。

3 当前问题与展望

使用深度学习对医学图像进行分析作为人工智能研究中的新兴领域，为肌肉骨骼放射学的研究提供了更多可能性。在深度学习的辅助下，临床医师从影像数据中获取的信息将更加完善，临床工作效率将进一步提高。然而目前基于深度学习技术对肌肉骨骼MRI的研究依然面临使用MRI序列单一、数据来源单一等问题，使得模型泛化性差，难以在临床真正落地。在模型训练过程中使用多中心来源的数据是该问题的解决途径之一。其次，缺乏大规模有标注医学图像数据的问题也一直困扰着研究人员，研究显示使用有限数量的含标注图像对模型进行训练容易导致过拟合[30]。通过使用经自然图像或各种医学图像预先训练的算法[31]或人类先验知识的加入[32]可能会使该问题在未来得以解决。另外，深度学习技术因其不可解释性而被称作“黑匣子”，使得难以被完全信任和接受，这也在一定程度上阻碍了计算机辅助医学影像诊断的发展[33]。虽有学者通过GradCam的方法使用“热力图”提高了模型的可解释性[34]，但目前对此的研究仍处于初级阶段，还需进一步的探索，从而加快对深度学习算法决策过程的了解，加深人机之间的信任。综上所述，虽然深度学习技术在肌肉骨骼放射科领域的应用还处在初级阶段，尚无法融入到临床实践中，但其应用前景依然乐观，随着研究的不断深入，深度学习势必会成为临床医师的得力助手。