人工智能技术在骨肌系统影像学方面的应用

李小敏，曲 扬，张少霆，赵 亮，刘 畅，谢帅宁，戴尅戎，艾松涛

1.上海交通大学医学院附属第九人民医院放射科，上海200011；2.上海商汤智能科技有限公司，上海200030；3.上海交通大学医学院附属第九人民医院骨科，上海200011

骨肌系统疾病可累及骨、关节及其邻近软组织，种类繁多。影像学检查作为医疗工作的重要组成部分，是疾病诊断的基础［1］。随着精准医疗、个性化诊断和靶向治疗为核心的医疗模式的形成，医学影像学已经逐步从定位、定量和定性诊断病灶，发展至评估功能变化、治疗方案选择和预后评估等多个方面。因此，如何充分挖掘和利用影像学图像中的有效信息，提升骨肌系统疾病影像诊断效率，成为当前影像学图像分析领域的研究热点［2］。近年来，人工智能（artificial intelligence，AI）在医疗健康领域的应用飞速发展，带动了医学影像、药物研制、疾病风险评估以及预后评估的发展［3］。目前，AI可以实现从大量可靠的数据中挖掘规律，自动学习影像学图像中隐含的特征信息，并对未知数据进行预测，从而辅助医师诊断疾病，减少漏诊和误诊［4］。本文就AI 在骨肌系统影像学诊断方面的研究进展进行综述，以期为开展相关研究的学者提供借鉴与参考。

1 AI与骨

1.1 骨龄预测

骨龄（bone age，BA）是衡量儿童骨骼成熟程度的指标。BA 评估是儿科常用的一种放射学检查，该检查操作简单，只对左手和手腕进行一次X 射线检查。BA评估有助于监测生长激素治疗和诊断内分泌疾病。BA评估可以在计划矫正长骨或脊柱畸形的手术时进行，也常被用来预测个体的最终身高。

现有的自动化BA 检测方法大多数建立在计分法（Tanner-Whitehouse，TW）和图谱法（Greulich and Pyle，G&P）上对手骨的X 射线图像进行自动化特征提取。2001 年，Pietka 等［5］提出一种干骺端感兴趣区提取方法，利用模糊分类法选取左手腕部X 射线图像进行BA 分析。2007 年Gertych 等［6］开发了一种自动评估儿童BA 的方法，利用模糊分类法对提取的定量特征进行BA 评估，其平均绝对误差（mean absolute error，MAE）值为2.15 岁。2009 年Thodberg 等［7］提出的BoneXpert 方法结合TW 法和G&P 法，对2～17 岁对象的1 559 张X 射线图像进行BA自动评估；其中，G&P 法评定骨龄的MAE 值为0.42 岁，TW 法评定骨龄的MAE 值为0.80 岁。2017 年Spampinato等［8］提出了一种基于深度学习的BA检测模型-Bonet神经网络模型，在0～18 岁涵盖不同种族和性别的公共数据集上进行自动化BA 评估工作，其MAE 值为0.80 岁。国内学者也进行了相关研究。2019 年李婷婷等［9］收集11 858例0～18 岁对象的左手腕部骨龄X 射线图像数据，探讨基于AI 的BA 评估方法，实现了基于整张手腕部X 射线图像高阶特征学习和预测BA，MAE 值为0.47 岁。2020 年王嘉庆等［10］采用一种以Inception Resnet v2 神经网络为基础的深度学习模型进行BA 自动评估，在涵盖不同种族、性别和年龄范围的X 射线图像公共数据集上训练以实现自动化BA 评估，MAE 值为0.37 岁，优于Bonet神经网络模型。

人工进行BA评估烦琐、耗时，AI则便捷、快速、准确度高，其在BA 测量应用优势明显。目前，国内多家医院已正式上线AI BA 评测系统，与医学影像存档与通信系 统 （picture archiving and communication systems，PACS）并行运行，以辅助临床决策与诊断。需要注意的是，深度学习很大程度上依赖于大量的训练数据，同时防止过拟合也是训练深度学习模型过程中要解决的重要问题。因此，获取临床更适宜、更精准的自动化BA 检测模型，还需更加深入的研究。

1.2 骨折检测

骨折是临床常见疾病，也是放射科常见的急诊漏诊疾病。复杂骨折的临床分类识别对临床手术术式选择至关重要，而诸多复杂骨结构如脊柱与关节部分骨折临床快速分类还存在困难。使用AI 准确发现和分类骨折具有重要的临床现实意义。虽然利用CT 图像进行骨折检测是AI 的一个新兴研究领域，但已经有研究者尝试借助AI 技术对身体各部位的骨折情况进行判读。

Olczak 等［11］选择了5 个公开的、免费的深度学习网络模型，在256 000 张腕、手和踝关节的X 射线图像上评估骨折，骨折检测的准确率可高达83%。Wu 等［12］提出了用于分割的匹配主动形状模型（registered active shape model，RASM），检测骨盆潜在创伤性骨折的轮廓不连续性。Chung 等［13］在1 891 张X 射线图像上利用深度卷积神经网络（convolutional neural network，CNN）模型检测和分类肱骨近端骨折，结果显示CNN 模型在区分正常肩部和肱骨近端骨折方面准确率高达96%，曲线下面积（area under curve，AUC）为1.00，表明使用AI 准确诊断肱骨近端骨折的可行性。此外，CNN 模型在骨折分类方面也显示了良好的结果；与医师相比，CNN 的表现优于普通医师和骨科医师，与肩关节骨科医师相似，在复杂的三部分、四部分骨折中CNN 模型的检测性能更加突出。Pranata 等［14］利用深度学习算法在CT 图像上自动检测和分类跟骨骨折，其准确率达到了98%。周清清等［15］构建了一种基于CNN 算法自动肋骨骨折检测和分类的模型。该模型具有良好的诊断效能，能在较短的时间内利用CNN 模型自动检测并分类肋骨骨折，达到放射科主治医师的诊断水平，使检测时间平均缩短132.07 s，且通过多中心测试证实该模型的鲁棒性较好。Tomita 等［16］基于CNN 模型，研究开发了一种自动化骨质疏松性椎体骨折检测系统，在1 432 例CT 图像上对该系统进行训练和评估，并用129 例CT 图像进行验证，结果显示该系统的准确率可达89.2%，F1 值为90.8%，表明该系统在辅助放射科医师诊断疾病方面具有一定价值。

骨折判读和分类的AI 算法开发具有潜在的益处。AI可作为放射科医师临床诊疗的辅助手段，提高急诊患者中骨折的检出率，同时减少工作量。随着相关研究的进一步深入，我们相信AI在X射线图像和CT图像的骨折判读和分类方面可以取得与医师相近的表现，甚至可能超过医师的表现。

2 AI与关节

2.1 软骨及骨关节炎识别

在接受关节磁共振成像（magnetic resonance imaging，MRI）检查的患者中，识别软骨病变具有重要的临床意义。研究［17］证实，具有形态学软骨成像序列的MRI 对检测膝关节内软骨病变具有高特异度，但只有中等敏感度。诊断性能高度依赖于图像阅读者的专业水平，阅读者之间只有中等程度的一致性［18］。磁共振T2 mapping 序列已被证明可以提高检测膝关节软骨病变的敏感度，但特异度有所降低［19］。在MRI 检测软骨病变中开发基于计算机的标准化方法将有助于最大限度地提高诊断性能，同时减少主观性、变异性和由于医师的分心和疲劳造成的错误。

Liu 等［20］开发了一套基于深度学习的全自动软骨损伤检测系统，该系统利用CNN 对软骨和骨骼进行分割并检测软骨结构异常，研究证实了使用基于深度学习的全自动软骨损伤检测系统在MRI 评估膝关节软骨病变中的可行性。Xue 等［21］探讨了深度学习算法对髋关节炎的诊断价值，在420张髋部X射线图像上训练并测试了该算法判读髋部骨关节炎（osteoarthritis，OA）的能力，可以达到95.0%的敏感度、90.7%的特异度和92.8%的准确率。此外，Norman 等［22］基于膝骨关节炎KL 分级（Kellgren Lawrence grading system）和DenseNet 神经网络模型提出了一个全自动检测OA 的算法，并收集4 490 张X 射线图像用来训练OA 分级算法模型，发现该模型对无OA、轻度OA、中度OA 和重度OA 的检测灵敏度分别为83.7%、70.2%、68.9%和86.0%，特异度分别为86.1%、83.8%、97.1%和99.1%。这些结果提示该模型可以协助医师做出更准确的诊断。

上述研究将AI 算法的诊断准确性同放射科医师进行了比较，大多数算法都可匹敌相关放射科医师的正确性。然而，相同疾病的不同医师间判读常常存在一定差异，如何建立用于AI 算法学习的金标准是至关重要的［23-24］。

2.2 关节影像配准

在骨科日常工作中，对运动中的关节进行精确测量是开展骨肌系统生物力学研究的关键步骤。在基于双透视成像系统的体内关节运动分析过程中，其测量的基础是二维-三维图像配准，即将CT图像与连续的X射线图像在三维空间中对齐。Miao 等［25］通过对数字重建放射影像（digitally reconstructed radiograph，DRR）和X 线图像中感兴趣区计算残差，使用CNN 回归预测配准参数，可在0.1 s 内实现膝关节假体配准，平均配准误差为0.593 mm。虽然该配准方法配准鲁棒性高，但是使用时有一定限制，其配准对象仅为医疗植入物，人体解剖结构配准效果较差。

基于AI 算法的图像配准方法，在实时性上优于人工配准方法，因此其应用场景也可扩大到术中实时导航等。然而目前来看，AI 算法的配准精度还不能完全满足临床要求，进一步提升配准精度应是AI配准算法的主要方向。

3 AI与软组织

3.1 韧带损伤检测

韧带是关节的主要组成部分，起到支持关节运动、维持关节稳定的重要作用。膝关节各类疾病的临床诊断通常都要参考韧带的状态。由于MRI、CT 等影像学图像均存在一定局限性，对韧带损伤程度的判断易受医师主观因素的影响。AI 算法的发展为提高韧带损伤检测的准确率提供了全新的技术手段。

Štajduhar 等［26］通过建立一个决策支持模型，从人体膝关节的矢状面MRI 图像检测轻微前交叉韧带（anterior cruciate ligament，ACL）损伤（不需要手术治疗）和完全ACL 断裂（需要手术治疗）的存在，来评估期辅助诊断过程的可能性；结果显示轻微ACL 损伤检测AUC 为0.894，完全ACL 断裂检测AUC 为0.943，表明该模型具有一定的诊断价值。Bien 等［27］在2018 提出了用于检测膝关节MRI 图像中ACL 和半月板损伤的深度学习模型MRNet，其中MRNet 的训练基于一个庞大的数据集，算法模型在测试集上取得了较好的性能；该模型对ACL 以及半月板损伤检测的准确度与影像科医师差异无统计学意义，且可以大幅降低ACL 损伤的误诊率。针对这一课题，Liu 等［28-29］的研究也取得了不亚于人工诊断结果的准确率。以往的韧带损伤检测算法缺乏对多模态信息的融合和利用，相关算法的性能依然存在提升空间。随着相关研究的深入，AI 在韧带损伤诊断和治疗的应用有望真正应用于临床。

3.2 肌间脂肪组织定量分析

肌间脂肪组织广泛存在于肌骨系统。通过分析肌间脂肪组织，可以对人体新陈代谢、运动能力以及肌肉功能等状况进行推断。根据医学影像，对肌间脂肪组织进行定量测定具有重要的临床医学价值。

传统的肌间脂肪组织分析不但操作复杂，效率低下，且分析结果的一致性较差。针对上述问题，Tan 等［30］提出了肌间脂肪组织自动分区算法，将机器学习算法应用于肌间脂肪组织进行定量分析。Kemnitz 等［31］研究开发了基于U-Net网络模型的全自动肌肉和脂肪组织分割的新方法，其分割结果准确，对大数据集的全自动化评估时间（小于1 s）较目前的半自动化评估（3～6 min）或手工分割技术（60～90 min）大大缩短，展现了肌间脂肪组织定量分析技术对于研究骨肌系统OA等疾病诊断和治疗进程的重要性。

4 AI与骨肿瘤

骨肿瘤是肿瘤中发病率较低的一种疾病，通常表现为多种形态成像特征，异质性强。其主要治疗方案是新辅助放射治疗和化学治疗（放化疗）以及手术治疗。精确地从骨肿瘤CT和MRI图像中分割出肿瘤病灶区域，对术前新辅助放化疗的计划制定，以及术后疗效评估都有着至关重要的作用。然而，人工勾画肿瘤区域耗时长，工作量极大。此外，不同的放射科医师对肿瘤区域的勾画结果易受主观经验、环境等诸多因素影响，且勾画结果不可重复。因此，临床上亟需实现肿瘤区域的自动分割和合理判读。目前利用CNN进行深度学习应用较广泛。

AI 在骨肿瘤分型方面的应用较早。早在1980 年，Lodwick 等［32］使用计算机模型确定了骨肿瘤分型。1994年，Reinus 等［33］研究利用神经网络模型诊断骨肿瘤，将709个病灶的影像学特征编码到预先确定的数据库中，该模型鉴别良恶性病变的准确率为85%。2017年，Do等［34］开发了贝叶斯模型来预测710张X射线图像上的骨肿瘤诊断与鉴别诊断；预测正确诊断的准确率高达62%，鉴别诊断的准确率高达80%。

AI 在骨肿瘤边界勾画方面的应用较多。Huang 等［35］提出了一种基于多监督侧全卷积网络（multiple supervised fully convolutional networks，MSFCN）模型的肿瘤边界自动分割方法，对405例骨肉瘤手工分割结果进行定量比较，平均戴斯相似性系数（average Dice similarity coefficient，DSC） 为87.80%，平均敏感度为86.88%、 平 均Hammoude 距 离（Hammoude measure，HM） 为19.81%，F1 值为0.908，与全卷积网络（fully convolutional network，FCN）模型、U-Net 方法和整体嵌套边缘检测（holistically-nested edge detection，HED）方法相比，MSFCN 模型在DSC、灵敏度、HM 和F1 值方面有着更好的性能。该算法有助于快速准确地勾画肿瘤边界，有助于医师制定更精确的治疗方案。此外，该团队［36］提出了一种基于多监督深度残差网络（multiple supervised residual network，MSRN）模型的骨肉瘤图像分割方法。与FCN、U-Net等先进算法的最佳分割结果相比，MSRN 在DSC 系数、敏感度系数、F1 值上分别提升了8.78%、 7.83%、 6.71%。 Duan 等［37］近 期 提 出 的SenseCare 平台，基于深度学习网络模型，融合了MRI 骨盆肿瘤分割、CT 骨盆骨骼多类分割、MRI/CT 骨盆区域自动配准等多种技术，利用不同模态图像，可自动提取肿瘤及其周围结构并将其融合，辅助手术规划、患者假体匹配与导板的设计。

AI 在骨肿瘤术后复发预测方面的应用起步较晚。He等［38］应用CNN 模型，根据56 例经术后病理证实的骨巨细胞瘤患者的MRI 图像和临床资料，预测骨巨细胞瘤患者术后局部复发情况，并结合患者特征（年龄、肿瘤位置等），建立预测骨巨细胞瘤复发的二元Logistic 回归模型。将CNN、CNN 回归模型与放射科医师的诊断比较，CNN 和CNN 回归模型的正确率分别为75.5%和78.6%，高于放射科医师的64.3%；敏感度分别为85.7%和87.5%，高于放射科医师的58.3%；该研究说明CNN 对刮骨术后骨巨细胞瘤复发有一定的预测价值，结合患者特点的二元回归模型提高了预测肿瘤复发的准确性。

AI 在骨肿瘤影像识别分割的应用很多。其在骨肿瘤图像的处理效率方面具有优势，但其对骨肿瘤图像识别的准确度有待进一步提高。比如，对于较小的骨肿瘤区域，自动分割方法存在一定的局限性，需要大量数据进行模型优化。

5 其他

AI 在骨肌系统影像学其他方面也有研究，如骨质疏松骨密度测量、坐骨神经病诊断、下肢力线分析等［37，39-42］。Yasaka 等［39］利用CNN 模型对183 名患者的1 665张CT图像进行深度学习，可以从未增强的腹部CT图像中估计出骨密度，从而评价骨质疏松程度。Balsiger等［41］开发和评估了一种全自动的大腿周围神经分割方法，即利用FCN 模型将MRI 图像分割为周围神经和背景组织，完整的分割过程不到1 s，较手工分割耗时（约19 min）明显减少；研究证明全自动分割健康志愿者和坐骨神经病患者坐骨神经的标准MRI 图像，具有良好的准确性和临床可行的时间。Duan 等［37］提出基于U-net 模型的下肢全长片自动关键点检测与骨骼分割技术，可以对胫骨高位截骨手术的术前规划提供辅助。以深度学习为代表的AI技术在骨肌系统应用领域还在不断拓展。

6 展望

随着数字信息化时代的到来，AI 正在对骨肌系统影像学领域产生革命性的影响，通过对大量多维数据的整合分析，可辅助医师识别人眼和大脑所忽视的数据，甚至影响放射科医师日常工作的流程。随着AI 进一步向临床实践中落地，临床医师的工作效率必将进一步提升，从而将其从烦琐的日常工作中解放出来，使其能够专注于更富有挑战性的工作任务。同时，我们也看到，AI 在骨肌系统影像学的不同领域发展的程度不尽相同，AI 算法还不能胜任人类完成的复杂任务；国内不同的医疗机构之间数据缺乏完整统一的标准，增加了多中心、高质量、大规模的骨肌系统影像学的人工标注数据库构建的难度，这在无形中限制了AI 的进一步应用。尽管如此，AI 在骨肌系统影像学的应用前景依旧乐观，需要医务工作者同算法开发者及政策制定者共同努力。