基于神经网络的手骨特征区域自适应提取方法

丁维龙，丁 潇，池凯凯，陈 琦，毛科技,2

(1.浙江工业大学 计算机科学与技术学院，浙江 杭州 310023; 2.浙江康体汇科技有限公司，浙江 杭州 311215)

骨龄的评估在诸多领域中都有应用，它可以直观地反映人体的骨骼发育情况，是生物年龄的重要指标。骨龄与个体的生长发育水平呈现出完全一致的关系[1]，是评价生长发育情况的最可靠指标[2-4]。骨龄也可以用于司法领域(鉴定犯罪嫌疑人、受害者的年龄)，为审判过程提供参考[5]。在了解青少年儿童实时生长发育情况和预测成年身高方面，骨龄的准确评估都有着重要意义。目前，国际上评估骨龄的方法主要有通过对比手腕骨X光图像与标准片的GP图谱法[6]，以及从手腕骨选出部分有代表性的骨块，对每一块骨骼评定分值后计算总分，再通过已制定的标准换算成对应骨龄的TW3计分法[7]。其中GP图谱法的精准度较低且读片时医生的主观性较强，不同的人所得到的骨龄有所不同；TW3法有效降低了读片时的主观性，但在制定标准时均取样自欧洲，对中国人的骨龄评估适用性还有待证明。在结合图谱法和计分法基础上，针对中国青少年儿童的生长发育情况，张绍岩等[8]制定了《中国人手腕骨发育标准CHN法》。在使用CHN法判定骨龄的过程中，需要判断第三远节指骨、桡骨、钩骨等14 块骨块的成熟等级，之后依照CHN法所制定的得分表，查表得到最终的骨龄[9]。传统方法中，这一过程需要专业的医生进行人工读片，医生通过手腕骨X光片来确定14 块骨块的成熟等级，进而经计算得到骨龄。但是这一方法耗时较长，再加上读片量大、专业医生少的问题，使得人工读片的工作量大且效率低下。目前较为成功的骨龄自动评估软件是BoneXpert[10]，它使用活动形状模型(Active appearance model, AAM)来分割图像，提取手腕骨边缘，结合13 块骨的形态、骨密度和纹理特征确定骨龄，但此方法对图片质量要求高且有年龄范围限制。为提高骨龄评估效率，国内外已经出现了基于深度学习评估骨龄的方法[11-13]。针对不同种族、年龄，采用深度学习方法自动评估骨龄和专家评估年龄差异平均约为0.8 岁[14]。Iglovikov等[15]使用U-Net对图像进行分割，建立了关键点模型评价特定区域。王景樟[16]设计了一种基于注意力机制的卷积神经网络模型，免去了特征区域提取，但这一方法对整体的识别率提高作用有限，不利于个性化分析。Zhou等[17]利用深度卷积神经网络的方法进行分类，根据已有知识定义兴趣区域，进而通过VGG实现每个区域局部骨龄的分类模型。王永灿等[18]在研究中采用Faster R-CNN目标检测的方式来提取特征区域，进而进行骨龄阶段识别。这些实验均表明，卷积神经网络在骨龄评估上有一定的优越性。通过多特征区域识别得到骨龄的分类是目前研究的主要分类方法。值得强调的是，目前区域的提取方式均是固定尺寸区域的，而手腕部的特征骨块周围有较多其他骨块，采用固定区域提取的方式很容易带来其他骨块的干扰，进而影响卷积神经网络的学习训练过程。

针对手腕部骨块复杂的情况，笔者提出了一种区域自适应的提取方法，以减少周边骨块、肌肉组织带来的干扰像素，从而更准确地评估特征骨块的成熟等级。为了使评估结果更能适用于中国青少年儿童，笔者采用CHN法作为判断依据。鉴于钩骨是CHN法中占有最大权重(男性：14.13%；女性：10.75%)的特征骨块，桡骨也占有较大权重(男性：9.52%；女性：8.39%)，同时它们的周边其他骨块也较多，识别难度较大，故在实验过程中选取钩骨和桡骨作为实验对象，采用区域自适应的方式提取出两者的特征区域，进而通过卷积神经网络的训练学习，分别得到了87.83%和85.51%的骨成熟等级识别准确率，从而验证了该方法的可行性。

1 材料和方法

1.1 材 料

本实验所使用的原始数据是X光机拍摄的全手部位的DICOM格式图像。将DICOM格式图像转换为1 626×2 032的JPG格式图像。同时记录该图像所属儿童的身份、年龄和身高信息。另外，骨龄专家按照中国人手腕骨发育标准CHN法给出手腕骨中钩骨和桡骨的成熟等级，并将所有信息保存在CSV格式的文件中。将图片文件序号和标签序号进行匹配，最终得到有效的标签图片共8 876 张。

共制作两份数据样本集，一份996 张用于BP神经网络训练学习钩骨和桡骨自适应提取区域的尺寸大小，一份7 880 张用于卷积神经网络学习训练，以验证自适应提取区方法对特征手腕骨等级识别准确率的影响。从上述所有数据样本中取出一个小学的数据共996 张，涵盖1～6 年级以确保身高以及年龄分布的均衡性。对996 张数据样本进行标注，确定手腕骨中钩骨、桡骨的几何中心位置以及提取区域尺寸大小，对其按照等比例原则进行划分，共划分出836 张用来训练BP神经网络，余下160 张用来测试以评估所设计的尺寸大小自适应提取方法的效果。

经专家确认，剩余7 880 张有效图片中共有7 230 张数据样本可用作卷积神经网络对钩骨成熟等级的判别训练和测试；7 880 张可用作卷积神经网络对桡骨成熟等级的判别训练和测试。在CHN法中，按照不同的指征，钩骨的成熟等级共分为1～8共8 个等级，桡骨的成熟等级共分为1～10共10 个等级。鉴于本次使用样本均来自于学校学生，年龄介于6～14 岁，故实验样本并不能完全覆盖所有成熟等级，用于实验样本的钩骨成熟等级分布为等级3到等级8，桡骨成熟等级分布为等级4到等级8，且样本等级分布并不均匀，呈现出边缘等级样本数量少的特点。将各个等级的样本按照8∶2的比例划分出训练集和测试集，供卷积神经网络学习训练和测试，具体分布如表1，2所示。

表1 钩骨各等级数据分布情况Table 1 Grade distribution of uncinate bone

表2 桡骨各等级数据分布情况Table 2 Grade distribution of radius

1.2 方 法

1.2.1 BP神经网络

1986年，以Rumelhart和Mc-Celland为首的科学家小组提出了BP(Back propagation)神经网络，这是一种有误差反向传播机制的多层前馈网络结构。BP神经网络主要包含三层网络结构，即输入层、隐藏层和输出层，在每一层网络结构里，处于同一层的神经元之间没有连接，与下一层的神经元之间则采用全连接的方式相互连接。笔者采用三层网络结构，其网络拓扑结构如图1所示。

图1 三层BP神经网络结构Fig.1 Three-layer BP neural network structure

BP神经网络的训练过程主要是不断更新各个神经元间连接的权值，包括前向传播过程和反向误差传播过程。文献[19]给出了神经网络前向传播过程的计算方法如下：

假设输入层的神经元i，隐藏层的第j个神经元的输入值Sj为

(1)

隐藏层的第j个神经元的输出值Bj为

(2)

输出层的第k个神经元的输入值Sk为

(3)

输出层的第k个神经元的输出值yk为

(4)

在误差反向传播过程中，如果输出端得到的输出值与期望的输出值之间的差值大于已设定的误差值，则误差就反向传播，更新调整神经元间连接的权值、阈值。假设输入输出的样本数为P，其中P∈{1,2,3,4,5,…}，输入样本是xp，输出样本是yp，期望的输出值是dp，则误差信号Ep的计算式为

(5)

再对神经元间连接的权值进行迭代更新，即

(6)

式中η为学习率。这样逐层修改每个神经元间的连接权值，直至所有的权值都修改更新完毕，使误差达到预先设定值，完成一次学习过程。BP神经网络就是通过不断更新权值以及阈值的学习方式使系统精度不断提高。

1.2.2 基于BP神经网络的自适应骨骼图片提取

根据CHN法判断骨龄，钩骨和桡骨在手腕骨所占权重较大，而钩骨和桡骨所在位置周围又有掌骨、头状骨、三角骨等手腕部骨骼。在训练卷积神经网络过程中，周围骨块会带入过多干扰像素。为提高识别过程中钩骨和桡骨的识别准确率，笔者提出了一种基于BP神经网络的自适应骨块特征区域提取方法。可以根据手腕骨X光片所属者的身高和年龄信息，得到与钩骨、桡骨大小自适应的提取区域(以长和宽两个数值来刻画)，进而提取出干扰像素少的特征骨块图片以供卷积神经网络训练学习，以提高图像识别的准确率。

基于BP神经网络的骨块特征区域自适应提取主要步骤为

1) 首先取第2节中所述的样本图片996 张，记录其所属者身高、年龄信息，以及能涵盖全部钩骨、桡骨骨块的特征区域尺寸大小，将这些信息一一对应。

2) 搭建BP神经网络，输入层的神经元个数为2，隐藏层的神经元个数为50，输出层神经元个数为2。

3) 将确定的836 个训练样本集输入BP神经网络，确定期望的输出目标样本，训练BP神经网络。使用剩余160 个样本作为测试集，测试神经网络训练结果，根据网络输出值与测试集的差别，调整参数。

4) 保存训练好的BP神经网络模型参数。

5) 在全手的手腕骨X光图片提取特征区域时，向模型传入学生身高和年龄信息，得到钩骨、桡骨的尺寸大小自适应的提取区域，完成图片的特征区域提取。

根据上述基于BP神经网络的钩骨以及桡骨特征区域自适应提取的方法，可以批量提取出数据样本图片的所有钩骨、桡骨区域。提取后的每张图片的大小由身高和年龄决定，尺寸各不相同，特征区域自适应的提取效果如图2所示。由图2可知：提取出的钩骨、桡骨特征区域图片尺寸大小符合特征骨骨块本身的大小，在保留全部识别特征的基础上，尽可能地减少了周边骨块和肌肉组织带来的干扰像素。

图2 特征区域自适应的提取效果Fig.2 Adaptive extraction of feature regions

1.2.3 搭建卷积神经网络用于钩骨和桡骨等级识别

卷积神经网络被广泛应用于图像识别等领域的机器学习问题中[20-22]，是一种具有多层结构的神经网络，其典型结构中拥有卷积层、池化层、全连接层。通过这样的组合，可以使得数据量极大的图像识别问题不断降低维度，使计算机可以对其进行训练学习。在卷积神经网络中，由卷积核进行卷积，逐层提取图像特征，并通过全连接层来完成图像的分类工作。

笔者采用AlexNet网络模型结构进行学习训练。AlexNet是由2012年的ImageNet竞赛冠军Alex Krizhevsky设计提出的[23]。AlexNet拥有8 层网络深度，其中卷积层5 层，全连接层3 层(不包括LRN层和池化层)，采用ReLU作为激活函数，并使用Dropout技术避免过拟合。在每层的参数设置里，输入尺寸是227×227，第一层卷积层的卷积核是11×11，步长是4，再接一层LRN，然后接核为3×3，步长为2的最大池化层。第二层卷积层的卷积核是5×5，步长是1；第三、四、五层卷积层的卷积核是3×3，步长是1，且每层卷积层后都接LRN层和核为3×3，步长为2的最大池化层，参数同上，最终输出各个等级概率，并取概率最大的作为等级输出，其结构如表3所示。

表3 CNN模型结构Table 3 Architecture of CNN model

2 结 果

为了验证骨骼特征区域自适应提取方法在实际骨龄自动评估应用中的效果，采用Pytorch深度学习框架，使用卷积神经网络对钩骨和桡骨的成熟等级进行训练和学习，并用得到的钩骨以及桡骨的成熟等级识别模型对测试集中的数据进行识别准确率测试。比较了固定尺寸大小方式提取图片、Faster R-CNN[24-25]目标检测方式提取图片、YOLO-V3[26]提取图片和笔者提出的基于BP神经网络的特征区域自适应提取图片的准确率差异。

2.1 钩骨和桡骨区域提取与数据预处理

依照1.2.2节中的方法，使用训练得到的BP神经网络模型，批量传入7 880 张数据样本图片，以及个体的身高和年龄信息，完成钩骨、桡骨区域的自适应提取。所得的钩骨区域图像中，最小的特征区域尺寸为90×120像素，最大的为150×192像素；桡骨区域图像中，最小的特征区域尺寸为154×134像素，最大的为242×220像素，特征区域大小由每一个个体的数据决定，批量效果如图3(a)所示。因不同身高、年龄的青少年儿童的手腕骨骨块大小存在差异性，若采用统一固定大小的区域提取，为满足保留全部骨块所需的识别特征信息，则应以尺寸较大的提取区域尺寸为统一尺寸，以保证全部特征信息的完整保留。在不考虑个体差异时，本实验采用的钩骨固定提取区域尺寸为180×180像素，桡骨固定提取区域尺寸为250×250像素，批量提取后的效果如图3(b)所示。为进一步验证这一提取方式的可行性，笔者还采用了Faster R-CNN和YOLO-V3的方式自动检测目标骨块的位置区域并作提取，批量提取的效果如图3(c，d)所示。

图3 特征区域批量提取效果Fig.3 Extraction of feature region

卷积神经网络需要大量数据进行训练，而本文的数据量有限，尤其是边缘等级的缺少。在实际拍片过程中，会存在手腕部摆放不规范的问题，造成了手腕部X线片中的骨块存在一定的斜率角度变化，产生重影等问题。针对实际X线片中可能存在的问题，采用数据增强技术可以保证模型针对这些情况也能有较高的识别准确率，提高模型的鲁棒性。同时数据增强技术也可以有效减少训练过程中出现的过拟合现象，降低模型对特征骨块的部分特征的依赖性，进而提高模型泛化能力。笔者对训练集数据使用了随机旋转、随机平移和随机中心裁剪的数据增强技术。输入钩骨图片时，以图片中心为原点，首先进行随机角度旋转，旋转角度α∈[-30°，30°]；然后在水平或垂直的任意一个方向上进行一次随机平移，平移距离L为0～20像素；之后以原图的中心点坐标为中心进行中心裁切，将图片边缘随机裁去0～10像素；最后对图片进行填充并以图像为中心进行裁切使得大小为符合卷积神经网络输入的227×227像素。由于桡骨图像本身较大，为保留图像信息，在图像处理中的最后一步是使用中心裁切至280×280像素后再缩放为符合卷积神经网络输入的227×227像素。在实验中处理后的图片如图4所示，使用经过数据增强处理后再让卷积神经网络对其进行训练学习。

2.2 钩骨和桡骨等级识别准确率评估

使用1.1节中所述的数据样本进行训练学习，钩骨的训练集共5 882 张，测试集共1 348 张；桡骨的训练集共6 306 张，测试集共1 574 张。分别使用固定尺寸提取、Faster R-CNN目标检测提取、YOLO-V3提取和笔者所提出的特征区域自适应方法提取的钩骨、桡骨骨块区域的图像，使用1.2.3小节中搭建的卷积神经网络进行学习训练，并测试结果。本研究的整体测试框架结构如图5所示。

图5 本研究的测试框架Fig.5 The experimental framework of this paper

训练学习模型后对测试集数据进行测试，表4～7分别记录了使用区域自适应提取方法、固定尺寸提取方法、Faster R-CNN方法提取和YOLO-V3方法提取所得到的钩骨成熟等级准确率。表8～11记录了桡骨在不同特征区域提取方法下的成熟等级准确率测试结果。

表4 区域自适应提取钩骨的成熟等级测试准确率

表5 固定尺寸提取钩骨的成熟等级准确率

表6 Faster R-CNN提取钩骨的成熟等级准确率

表7 YOLO-V3提取钩骨的成熟等级准确率

表8 区域自适应提取桡骨的成熟等级测试准确率

表9 固定尺寸提取桡骨的成熟等级准确率

表10 Faster R-CNN提取桡骨的成熟等级准确率

表11 YOLO-V3提取桡骨的成熟等级准确率

由表4～7可知：采用区域自适应提取方式所得到的钩骨区域图片的成熟等级判定综合准确率为87.83%，而采用固定尺寸提取方式，Faster R-CNN和YOLO-V3方法提取的钩骨区域图片的成熟等级判定综合准确率分别是86.57%，85.01%和83.31%。在桡骨的成熟等级测试中，由表8～11可知：采用区域自适应提取方式所得到的桡骨区域图片的成熟等级判定综合准确率为85.51%，而采用固定尺寸提取方式，Faster R-CNN和YOLO-V3方法提取的桡骨区域图片的成熟等级判定综合准确率分别是84.05%，84.18%和83.67%。通过钩骨和桡骨的成熟等级测试实验，均表明特征区域自适应的提取方法具有一定的优势。这说明该方法能够根据个体的不同信息，提取出符合骨骼本身大小的特征区域，从而减少了周边干扰像素，提高了图片质量，进而提高了卷积神经网络对特征骨块成熟等级判定的准确率。

3 讨 论

笔者提出了一种基于BP神经网络的手腕骨特征区域的提取方法，并以钩骨、桡骨为例，使用这一方法进行了特征区域的自适应提取。提取的结果表明：特征区域图片的尺寸大小和钩骨、桡骨骨块本身的大小是能够相匹配的，成熟等级高的钩骨和桡骨，特征区域尺寸也大，反之亦然。骨龄识别过程中，对于14 块特征骨块的成熟等级判定，主要依靠特征骨块的形状、纹理等信息。采用笔者方法提取的钩骨和桡骨特征区域可以保留完整的钩骨、桡骨特征，特征信息不仅没有缺失，还减少了周边骨块和肌肉组织带来的干扰。在对比实验中，采用了固定尺寸的特征区域，因为在个体成长过程中，骨骼也是在不断成长的，这一方式不能体现出骨骼的各异性，为保证全部特征信息的不缺失，需要较大的特征区域来将骨骼覆盖，而在特征骨块的成熟等级较低时，这一切区域必然会偏大，导致周边不必要的骨块进入特征区域，从而形成干扰；采用Faster R-CNN提取的特征区域可以表现出一定各异性，但是在实验过程中，采用这一方式批量提取骨骼时，会存在因部分信息不完整和个别骨头无法检测到从而没有提取出所需特征区域的问题；YOLO-V3在该场景使用中，存在特征区域大小不匹配的问题，从而导致图片信息缺失进而影响识别准确率。在完成区域提取后，笔者又用卷积神经网络对钩骨、桡骨的特征进行训练学习。测试结果表明：采取特征区域自适应的提取方式，在数据集标签相同情况下，有着更高的成熟等级的判定综合准确率，从而证明了这一方法的可行性和有效性。

目前已有的骨龄研究中，也有研究人员采用其他的提取方式。相比于目前的提取方式，笔者提出的特征区域自适应提取方式，可以根据个体的专属信息(身高和体重)进行特征区域的自适应提取，每个个体都拥有专属的特征区域尺寸，而且不存在批量提取时检测不到目标区域、图片丢失的问题，在分区域识别骨龄的过程中也能够提高单个特征骨块成熟等级的判定准确率。

本研究尚存在一些不足之处：没有提取训练剩余12 块CHN法所需的特征骨块的单个模型，只是以钩骨、桡骨为例；用于学习训练的样本较少；自动检测提取的精确度还有提高的空间；由于样本的不均衡性，边缘等级的识别准确率较低。这些都有待于进一步探索。

4 结 论

笔者所提特征区域自适应提取方法能够较为准确地提取出目标骨块的特征区域，保留完整信息并有效减少周边骨块、肌肉组织带来的干扰像素。并通过卷积神经网络测试了该方法提取的特征区域图片对成熟等级判定准确率的影响。笔者所提的方法在骨龄自动评估、生物医学图像分析中，值得进一步探索。如何在样本不均衡的情况下进一步提高样本量少的边缘等级识别准确率是接下来的研究方向。