深度学习在骨关节疾病影像学诊断中的应用

邱松炜，于晓巍

1.上海海洋大学工程学院，上海 201200；2.上海交通大学附属第六人民医院骨科，上海 200233；*通信作者 于晓巍 yuxw@sjtu.edu.cn

医学影像是疾病诊断、筛选、评估和确定治疗方案的重要工具。由于影像诊断主要凭借诊断医师的阅片水平和经验完成，医师的主观性阅片、影像数量过多和重复性低以及定量分析不够等均会降低诊断率和阅片效率，而通过计算机技术体系辅助医师诊疗可以改善以上问题，提高工作效率。

继机器学习之后，深度学习迅速发展，广泛应用于图像识别和分类、语音识别和自然语言处理等多个领域[1]。目前深度学习在骨关节领域的研究也逐渐增多。骨关节疾病种类繁多，图片数据质量高、数量大，数据的多样性等特点更有利于深度学习在骨关节影像疾病诊断中的发展。本文对深度学习在骨关节影像的图像重建与合成、图像配准、图像分割和图像检测分类中的应用及研究进展进行阐述。

1 深度学习与神经网络

神经网络是深度学习的重要组成。人的大脑可视皮层是分级的，人眼观测到的图像信息会提取图像局部特征，最后汇总到大脑最上层整合为整体特征，完成对不同事物的准确区分。深度学习中的卷积神经网络（convolutional neural network，CNN）模仿人类大脑对信息接收和处理的特点进行设计，使用多层卷积提取图像特征，浅层网络提取边缘特征属性，随着网络层数增加，边缘特征合成为高层特征以模拟人脑工作，已广泛用于图像处理领域。

LeCun等[2]于1998年提出LeNet-5网络模型实现了手写数字识别，标志着CNN的成功应用，形成了当代CNN模型的雏形。随着实际任务的复杂化，数据集不断扩大，可学习参数增加，以CNN为基础的网络结构不断优化加深，并衍生出许多用于计算机视觉方向的改进网络结构体，推动了图像的重建、配准、分割和识别领域的发展。

2 图像重建与合成

2.1 图像重建 高质量的医学影像是医师诊断和利用深度学习技术实现精确诊断的必要条件。由于成像条件和采样时间受限制等问题，导致图像在成型过程中不可避免地受到噪声等因素的影响。例如CT成像，为了降低辐射风险，常采用低剂量CT成像，图像质量受噪声影响严重，需要进行图像重建获取高质量图像。深度学习技术比传统的迭代重建方法效果更佳。

Chen等[3]于2017年提出一种用于低剂量CT成像的残差编解码器卷积神经网络结构（residual encoderdecoder convolutional neural network，RED-CNN），通过对比实验证实RED-CNN在胸腔低剂量CT图像重建时可以有效地消除噪声，同时修复一些细节。该研究后续针对传统的稀疏CT图像重建时需要人工引入基于特征工程和先验知识的正则项这个问题，提出采用深度学习方法自主学习这些正则项和参数，设计了LEARN网络架构[4]。与传统重建方法对比，LEARN所得重建图像结构更加清晰，有助于发现病灶。基于深度学习的CT图像重建方法在图像效果和质量上远优于传统的重建方法。

临床上，获取骨骼的三维模型对于手术规划、植入物装配和术后评估至关重要。Kasten等[5]提出一种端到端的CNN模型，自动学习图像上骨骼形状的分布，在一对双平面X射线图上进行膝关节三维重建，重建所得的高质量模型证实了采用深度学习进行骨骼三维图像重建的可行性。金属植入物会严重削弱CT扫描中的X射线，导致重建图像中出现严重伪影，影响图像质量，并对后续诊断和治疗计划产生负面影响。Wang等[6]提出一种新的双域自适应伸缩非局部网络（dual-domain adaptive-scaling non-local network，DANNet）还原金属伪影，网络使用一种新的残差Sinogram学习策略解决可能产生的次级伪影，结果显示DANNet在定性和定量方面与金属伪影还原方法的性能均相当。

2.2 图像合成 图像合成主要用于扩充数据集和模拟成像，融合不同模态的医学影像信息可以提高临床诊断精度。多模态的影像数据获取需要借助图像合成技术，以解决稀缺图像数据的问题。图像合成的主流模型生成式对抗网络（generative adversarial nets，GAN）的成功应用，基于GAN衍生的模型应用于医学图像合成已经成为研究热点。

GAN的无监督医学图像合成是在无任何其他信息的条件下，从一个真实样本的潜在空间内生成。深度卷积生成对抗性网络可用于合成高质量肺癌结节图像[7]。Frid-Adar等[8]使用深度卷积生成对抗性网络生成肝脏CT中不同类别的病变斑块。Baur等[9]采用级联式的生成对抗网络对皮肤病变图像进行合成，专业皮肤科医师也无法判断真实性。Liu等[10]通过骨边缘引导的生成对抗性网络，从传统的胸部X线片中生成双能量减影软组织图像，骨边缘引导的生成对抗性网络可以产生高质量和高分辨率的双能量减影样软组织图像，更好地去除骨成分。

骨关节影像的图像合成更多地通过MRI合成CT完成骨骼分割等任务，因为MRI与骨结构的对比度较差，CT的骨骼成分更加清楚。Lauritzen等[11]使用调整过的2D U-Net网络作为生成器的条件对抗生成网络通过扫描儿童头部MRI合成CT，借助合成的CT完成分割头骨的任务，结果显示在合成的CT上分割比在原始MRI上分割的骨骼分割结果更精确。Zijlstra等[12]使用一种二维条件对抗生成网络对下臂的多梯度回波序列MRI进行扫描生成高分辨率的合成CT，通过骨骼分割评估合成CT的质量，结果表明合成CT的分割效果与真实CT相近。Hiasa等[13]提出一种跨模态图像合成方法，通过添加梯度一致性损失对循环对抗生成网络进行拓展，以此提高边界精确度，对包含4种肌肉骨骼结构的MRI进行扫描得出的合成CT进行分割评估。以上研究表明，相应MRI的合成CT对于骨骼的识别和疾病诊断具有很好的效果。

尽管在骨关节影像学上的图像重建与合成的研究领域暂未深入，但该领域在未来的研究和发展中有很大的前景，能够辅助临床诊断工作，提高诊疗效率。

3 图像配准

图像配准是寻找多幅图像之间的空间关系，在医学图像处理中得到广泛应用。传统的图像配准方法通过迭代优化预定义的基于灰度的不同度量解决，是一个不断迭代优化的过程。而基于深度学习的医学图像配准方法是通过大量的训练数据优化网络的参数，无需数值优化。基于深度学习的医学图像配准方法较传统的配准方法速度得到很大提升。Sokooti等[14]提出一种三维非刚性图像配准网络RegNet，具有亚像素级的配准精度。以U-Net为基线模型的VoxelMorph[15]是近年效果显著的无监督深度学习医学图像配准方法之一，无监督提示它不需要除图像以外的任何数据，在耗时上使图像柔性配准迈入秒级关口，可以使外科医师在手术的同时获取扫描图像的实时辅助。

关于骨关节影像学的深度学习图像配准的研究尚处于初步阶段，van Eijnatten等[16]使用无监督的深度学习模型VoxelMorph对纵向腹部骨盆CT图像可变形配准，提出一种基于纵向数据中连续CT图像模拟变形的新的增量训练策略，结果显示增量训练策略提高了配准的性能，缩短了配准时间，配准速度提高了300倍。未来对于X线片、CT和MRI之间的配准合成的进一步研究，可以帮助医师快速、准确地了解病变部位的形态和大小的实时变化，可以帮助有效地确定个体化临床手术和治疗方案，从而辅助医师完成术前规划、术中精准定位和术后跟踪治疗。

4 图像分割

医学图像分割针对病灶进行有效分割，快速地确定病灶部位和形态等特征。由于人体器官及其病灶的多样化、图像噪点和病灶形态各异等，精准的医学图像分割是一大难题，促使深度学习在医学图像分割领域的发展。

U-Net网络结构是近年用于医学图像分割的热点模型[17]。Dong等[18]通过基于U-Net网络的深度神经网络提出一种全自动脑肿瘤分割方法，对核心肿瘤区的分割达到满意的效果。Zhou等[19]提出一种基于U-Net的注意机制分割网络对新型冠状病毒肺炎患者的CT图像进行分割，可以快速分割出病变区域。

目前图像分割应用于软骨、肩关节、半月板和其他骨关节细微结构的分割，并且取得了较好的效果。刘云鹏等[20]使用一种基于图像块和全CNN相结合的自动分割算法用于分割肩关节MRI图像，与既往其他分割模型相比，该分割模型无需采用先验知识即可以实现MRI图像的自动分割，分割结果与传统的人工分割效果基本一致，适用于小样本数据下CT和MRI图像中特定器官和组织的精确分割。Liao等[21]利用3D全卷积网络提取椎骨周围短程特征，再采用双向递归神经网络编码可见脊柱和椎骨之间长距离的空间和上下文信息，以此确定椎骨的位置。Bjornsson等[22]研究了一种基于U-Net网络的全自动股骨近端分割方法，用于筛查识别易患髋部骨折的个体。具有亚毫米级的分割精度，每次分割预测的时间仅为12~15 s。Schnider等[23]在开源医学图像处理平台Nifty-Net中使用No-New-Net网络实现对多类别标签的3D分割，能以端到端的方式从CT扫描中完成超过100种骨的自动分割，整个处理过程仅需约1 min。宋平等[24]自主搭建PointRend_Unet神经网络，实现膝关节CT图像的快速分割处理，在分割速度和准确性方面均优于手动分割，大幅提升了人工全膝关节置换术前规划的工作效率。

5 图像检测分类

医学图像识别分类是医学图像处理的最终目的，实现对病灶的检测和识别。深度学习的发展使通过CNN网络进行图像检测分类成为主流，基于CNN网络的不同结构体在医学图像分类方面具有较好的效果。El Asnaoui等[25]使用多种CNN模型对新型冠状病毒肺炎进行快速诊断。Prellberg等[26]采用ResNeXt网络对白细胞显微镜图像进行高效良恶性分类。王风等[27]基于CNN设计了区分结节和非结节以及预测良恶性的方法。

5.1 骨骼识别分类 针对目前基于深度学习对分类任务的研究，对于X线、CT和MRI图像的不同类型骨骼的识别和分类，以及骨关节炎、骨折等疾病的检测，已经获得较高的准确度。Pradhan等[28]运用深度CNN对手指、肘、手、前臂、肱骨、腕和肩7个部位的CT图像进行分类识别，准确率高达94.23%。Varma等[29]在研究中展示了DenseNet-161和ResNet-101等不同的CNN模型，对足、膝、踝和髋的X线片异常自动分类，其中性能最好的模型分类效果最好（曲线下面积为0.88），对异常的X线片分类准确度提高到81.9%。以上研究均表明深度学习在骨骼的分类识别中具有良好的应用前景。

5.2 骨折检测 Urakawa等[30]使用VGG-16网络从股骨近端X线片中对髋关节骨折进行诊断，准确率达95.5%，高于专业骨科医师的平均诊断准确率。颈椎骨折的CT图数据分布高度不平衡，阴性病例数量更多，对此分类是一个极大的挑战，Salehinejad等[31]使用ResNet-50网络模型对颈椎CT图进行骨折自动分类，验证分类准确率最高达79.18%。Krogue等[32]使用DenseNet网络实现了对髋关节骨折的X线片多分类自动识别，其识别准确率为90.4%，达到专家级的识别率。Uysal等[33]建立了2种不同的集成学习模型对肩的X线片进行二分类（正常和骨折），分类测试准确率最高为84.72%。谭辉等[34]利用基于深度学习的计算机辅助诊断系统DL-CAD辅助医师评估胸部钝挫伤患者的CT图像，基于该系统提供的骨折位置信息，医师可以快速定位病灶并做出诊断结论，显著提高了医师的诊断效能，阅片时间明显缩短。刘珂等[35]利用ResNet50模型鉴别脊柱良、恶性骨折，总体准确率达到88%。刘想等[36]利用AI软件帮助检测肋骨骨折，对错位型肋骨骨折的敏感度较高，对部分轻微骨折的敏感度较低，与医师在临床工作中的判断情况基本一致，整体上具有良好的诊断效能。以上研究表明深度学习技术有很大的潜力成为筛查各部位骨折的有效工具。

5.3 骨关节炎检测 Xue等[37]利用VGG-16网络对420例髋关节X线片进行骨关节炎检测与分类，该模型的分类准确率达92.9%，诊断表现与主治医师基本一致。Antony等[38]设计了几种利用CNN从X线片上自动量化膝关节炎严重程度的新方法，采用Kellgren-Lawrence（KL）分级从0到4划分膝关节炎的严重程度。从传统的CNN中提取特征，导入特征并训练线性支持向量机模型，对膝关节炎图像进行分类，实验结果得出分类精度接近70%。Chen等[39]采用YOLOv2自动检测提取出X线片中膝关节部位，并输入VGG-19网络进行KL分级评估，分类精度达到70%。这些检测方法较以前使用的Wndchrm医学图像分类器效果更好，分类的精确度得到进一步提升，可用于早期诊断膝关节炎，并评估其严重程度，未来还有很大的提升空间。

5.4 骨龄检测 骨龄检测广泛应用于儿童内分泌疾病、成长和遗传性疾病的诊治。目前对骨龄检测的研究已经比较成熟，Iglovikov等[40]使用VGG网络为原型，分别构造了回归和分类网络解决儿童骨龄评估问题，对腕骨、掌骨和近端指骨、整个手部进行骨龄评估，结果显示前2个部分测得骨龄评估误差低于整个手部10%~15%，评估误差仅0.487岁，与放射科专家水平相当，并且超过既往测骨龄的Greulich-Pyle法和Tanner-Whitehouse法。Li等[41]利用AlexNet网络建立了一种基于深度学习骨龄评估模型，针对10~25岁个体的骨盆X线片进行检测，结果显示其模型的平均绝对误差和均方根误差分别为0.94岁和1.30岁。张帅等[42]提出一种基于深度学习的端到端的儿童手骨X线图像骨龄评估框架，由Mask-RCNN作为分割网络，Xception为基础模型的改进体作为回归网络进行骨龄评估，预测骨龄的平均绝对误差为4.96个月，评估误差在临床鉴定标准的1岁范围内。目前国内公司基于深度学习开发了智能评估系统，对儿童手部骨龄片进行自动判读，能秒级生成精准骨龄检测结果，评估儿童生长发育状况，有效地帮助医师减轻工作量，提高工作效率和准确性。

6 总结

本文介绍了目前深度学习在骨关节影像学疾病诊断中的研究现状，其中图像重建与合成及图像配准在骨关节医学影像中的研究和应用尚未深入，而对于已经初步应用的图像分割和检测分类的深度学习技术面临一些特有的挑战：①准确可用数据较少。尽管骨关节疾病的医学影像资源非常丰富，但缺乏有正确标签的有效训练数据，需要花费专业医师大量时间正确标注大量数据，研究团队往往缺少专业医师的指导；此外，由于同种疾病的影像表现不同、图片质量参差不齐等，导致即使拥有大量数据仍然很难应用于研究。②可信度和解释性较差。目前多数诊断系统均是端到端实现，诊断决策过程透明化程度较低，无法提供判断依据和病理表现，通过深度学习技术诊断的可信度和解释性均不能完全接受。③诊断程度受限。骨关节疾病的诊断依赖影像学，基于深度学习的骨关节影像学疾病诊断目前大部分研究均仅针对是否有此疾病，并不能进一步对疾病进行分期、分级和准确分类，对于临床的指导意义不大。

未来除深度学习算法以及框架的不断完善和优化，更需要建立大范围的医学数据实时共享机制；提高深度学习模型的可解释性，使诊断过程可视化，提供有力的理论支持和影像学依据；建立完整的智能辅助诊断治疗机制，拥有自动根据诊断结果提供治疗最佳方案以及术前的辅助模拟等功能。综上所述，深度学习在骨关节影像领域的落地应用还需要计算机领域科研人员和专业医师的共同推进。