基于深度学习构建模型识别下肢全长正位X线片中的下肢力线关键点及自动测量关键角度

张子健，马剑雄*，柏豪豪，王 颖，孙 磊，卢 斌，高之浩，于成双，孙汉宸，马信龙

(1.天津大学天津医院骨科研究所，天津 300050；2.天津市骨科生物力学与医学工程重点实验室，天津 300050)

膝内、外翻畸形指双下肢自然伸直或站立时两膝(踝)相触而两踝(膝)不能同时闭合，即下肢负重力线发生改变，可致骨关节炎、髌骨软化等疾病[1]，出现关节疼痛并影响关节功能。在下肢全长正位X线片上绘制下肢力线并测量关键角度是骨科治疗膝内、外翻畸形的关键[2]，多需由骨科医师手动标点、连线并测量角度[3]，存在主观误差且效率较低。深度学习(deep learning， DL)方法已广泛用于医学领域[4-8]，基于DL自动测量下肢全长正位X线片中的关键角度的相关研究渐受关注，如PEI等[9]基于DL开发了自动测量下肢全长正位X线片中的髋-膝-踝角(hip-knee-ankel angle, HKA)系统；NGUYEN等[10]提出两阶段卷积神经网络(convolution neural network, CNN)算法，用于测量下肢全长正位X线片中的关键角度。本研究基于DL方法构建自动测量下肢全长正位X线片关键角度模型，并评估其临床价值。

1 资料与方法

1.1 一般资料 回顾性分析2019年10月—2021年2月634例因膝关节疼痛于天津大学天津医院就诊患者，男254例、女380例，年龄47～83岁、平均(66.4±7.9)岁；膝内翻255例、外翻221例，158例无明显膝内翻或膝外翻。纳入标准：负重位下肢全长正位X线片资料完整，同时清晰显示髋、膝及踝关节。排除关节置换术后、关节融合及图像质量差者。

1.2 仪器与方法 采用Philips Digital Diagnost平板式数字化X线摄影系统采集下肢全长正位X线片。嘱患者前后站立，面向球管、背靠站立支架，两足尖及内踝并拢，尽量膝关节伸直；曝光范围自髋关节至踝关节，管电压及管电流机器自动调节，焦片距1.8 m，X线球管自动旋转曝光3次，以对接程序自动拼接图像。

1.3 关键点标注 分割图像后获得1 268幅左、右侧下肢全长正位图像。分别截取双侧髋、膝及踝关节图像，由5名具有10年以上临床经验的骨科主治医师采用Python 3.7编写的程序分别标注下肢力线[11]关键点，包括髋关节中心、股骨髁间窝顶点、胫骨髁间嵴中点、股骨内侧和外侧髁最低点、胫骨内侧和外侧平台最低点、距骨宽度中点，并依序设定为O、A、B、C、D、E、F、G，获得其坐标，以标注坐标的均值为标签。见图1。

1.4 建立模型 以各关节图像和标签构成数据集。基于网络高分辨率网络(high-resolution net, HRNet)[12]以DL方法构建自动检测图像中的髋、膝及踝关节各关键点的模型。HRNet定位关键点的精度主要取决于包含关键点信息的局部特征和整体图片的全局语义特征及二者的信息融合。该网络由4个并行子网络构成，分为4个阶段，每个阶段引出下一层子网络，同一子网络的通道数不发生变化，并行子网络的通道数增加1倍，同时分辨率下降50%，以使网络在始终保持高分辨率特征的同时获取充足的语义特征。两个阶段之间由融合模块连接，将不同分辨率的特征信息进行交换和融合，获得更好的关键点特征表示。

图1 标注下肢力线关键点及测量示意图

在HRNet基础上将4个子网络的低分辨率输出上采样至高分辨率输出，并连接起来作为高分辨率特征表示，获得HRNetV2。根据髋、膝及踝关节需要检测的关键点数量，于HRNetV2后增加相应通道数的卷积层，作为输出层形成最终的卷积神经网络。见图2。

基于HRNet进行迁移学习，训练时以HRNetV2在图像数据集分类任务中的预训练权值作为初始权重；经过高斯变换，以标注的关键点坐标标签为热图标签参与训练。训练好的模型可从各关节图像中检出包含关键点坐标信息的热图，表现为关键点坐标处颜色最

图2 基于HRNet模型自动检测髋、膝及踝关节关键点示意图

深、向外逐渐变浅；通过程序转换所获热图为关键点坐标值。采用5折交叉验证(图3)，将数据集随机均分无重复样本的5组，以其中一组为验证集、其余4组为训练集；重复以上步骤5次，轮流以各组样本作为验证集，计算自动检测模型在验证集上输出的关键点坐标与标签之间差值的平均值，以评估模型性能并筛选最优模型。

以自动检测模型检出髋、膝、踝关节最优关键点坐标后，通过余弦定律计算机械股骨远端外侧角(mechanical lateral distal femoral angle, mLDFA)(OA与CD之间的夹角)、胫骨近端内侧角(medial proximal tibial angle, MPTA)(BG与EF之间的夹角)、股骨胫骨关节线夹角(joint line convergence angle, JLCA)(CD与EF之间的夹角)和HKA(OA与BG之间的夹角)(图1)；以自动检测关键点模型和经余弦定律计算所得关键角度共同构建自动测量关键角度模型。

图3 5折交叉验证示意图

1.5 模型效能验证及统计学分析 随机选取50幅下肢全长正位X线片，由另3名具有30年以上骨科经验的主任医师分别采用AutoCAD 2019软件(Autodesk公司，美国)手动标注关键点，并测量mLDFA、JLCA、MPTA、HKA，取其均值为最后结果，用于验证关键角度自动测量模型测量各角度的效能。

2 结果

2.1 筛选最优关键点自动检测模型 5组关键点自动检测模型输出髋、膝及踝关节关键点坐标与标签之间差值的平均值分别为1.01、0.94及0.97 pt(表1)，分别以第3折模型参数、第1折模型参数及第3折模型参数为最优模型参数。

表1 5组关键点自动检测模型输出髋、膝及踝关节关键点坐标与标签之间差值(pt)

2.2 关键角度自动测量模型测量各角度的效能 3名骨科医师测量mLDFA、MPTA、JLCA、HKA的一致性均极高(W均>0.95，P均<0.05)，其均值分别为(88.50±2.59)°、(86.41±2.25)°、(2.90±2.27)°、(174.62±3.97)°。关键角度自动测量模型获得上述角度分别为(88.48±2.60)°、(86.52±2.57)°、(3.11±2.41)°、(174.53±3.99)°，与医师测量结果的一致性较好，ICC分别为0.897[95%CI(0.851，0.929)]、0.888[95%CI(0.838，0.923)]、0.826[95%CI(0.752，0.879)]、0.996[95%CI(0.994，0.997)]。

Bland-Altman图(图4)显示，自动测量关键角度模型与医师测量结果的差值分布于95%一致性界限内(差值均值±1.96×差值的标准差)，二者一致性较好，其测量mLDFA、MPTA、JLCA和HKA的差值分别为(-0.013 5±1.178 9)°、(0.112 6±1.143 3)°、(0.2126±1.3826)°和(-0.092 2±0.359 7)°。

3 讨论

下肢力线一般指通过髋关节中心和踝关节中心的轴线[11]，其关键点主要集中在髋、膝及踝关节。下肢力线和关键角度可经由髋关节中心、股骨髁间窝顶点、胫骨髁间嵴中点、股骨内侧和外侧髁最低点、胫骨内侧和外侧平台最低点、距骨宽度中点8个关键点的位置加以确定。识别下肢全长正位X线片中上述关键点的位置准确与否影响关键角度测量结果。本研究构建自动识别关键点模型，以获得关键点在下肢全长正位X线片中的坐标，进而计算各关键角度；分别截取髋、膝及踝关节图像作为关键点自动检测模型训练的样本数据集以减少冗余信息、降低模型计算量，提高训练速度，增加模型精度，所获模型用于测量耗时不足1 s。

图4 自动测量关键角度模型与医师测量结果的Bland-Altman图 A.mLDFA； B.MPTA； C.JLCA； D.HKA

在计算机视觉领域中，目前检测关键点相关研究主要集中于评估人体姿态(检测人体关键点)和人脸识别(检测人脸关键点)任务。为弥补空间精度损失，用于检测关键点的传统卷积神经网络常引入上采样或空洞卷积等，以提高特征分辨率，却并不能完全弥补空间分辨率的损失。本研究采用HRNet建立自动检测关键点模型，通过在并行多分辨率子网络上反复交换信息进行多尺度重复融合，始终维持高分辨率的表示，并通过迁移学习初始化模型权重，可在一定程度上弥补DL需要大量样本的缺陷，解决医学图像处理任务中数据集较小的问题[13]。采用热图网络可直接回归出每一类关键点的概率，在一定程度上对每一个点均提供监督信息，使网络能够较快收敛；同时对每一个像素位置进行预测，能够提高定位关键点的精度。采用5折交叉验证，通过比较关键点自动检测模型输出的关键点坐标与标签之间的差值以筛选最优模型，提高模型对关键点检测精度。

本研究结果显示，自动测量关键角度模型与医师所测mLDFA、MPTA、JLCA、HKA的一致性均较好，HKA的ICC高于mLDFA和MPTA，JLCA最小；且二者HKA测量值的差值小于mLDFA和MPTA，JLCA最大。分析原因，可能在于JLCA为关节线CD与EF的夹角，HKA是股骨机械轴OA与胫骨机械轴BG的夹角，CD、EF的长度远小于OA和BG的长度，故在检测关键点位置存在误差的情况下，JLCA所受影响大于HKA。

综上，以DL方法基于下肢全长正位X线片构建的自动测量关键角度模型有助于骨科医师识别关键点、测量关键角度，提高临床工作效率。本研究的主要局限性：①施行矫正手术时，需要同时考虑冠状位和矢状位下肢力线[14]，而本研究未分析矢状位所见下肢力线和关键角度；②为单中心研究，可能存在数据偏移；③通过人工标注获得训练标签，存在主观误差。

使用阿拉伯数字和汉字数字的一般原则

根据GB/T 15835《出版物上数字用法的规定》

(1)在统计图表、数学运算、公式推导中所有数字包括正负整数、小数、分数、百分数和比例等，都必须使用阿拉伯数字。

(2)在汉字中已经定型的词、词组、成语、缩略语等都必须使用汉语数字，例如：一次方程、三维超声、二尖瓣、法洛四联症、星期一、五六天、八九个月、四十七八岁等。

(3)除了上述情况以外，凡是使用阿拉伯数字而且又很得体的地方，都应该使用阿拉伯数字。遇到特殊情况时，可以灵活掌握，但应该注意使全篇同一。

(4)如果数字的量级小于1时，小数点前面的零(0)不能省去，如0.32不能写成.32。