基于卷积神经网络的X图像骨龄评估方法

谷静，马瑞齐，朱恒安

西安邮电大学电子工程学院，陕西西安 710121

前言

骨龄是一项人体生长发育的重要指标，医生通常通过X光片观察左手掌指骨、腕骨、桡骨、尺骨的骨骺大小、形态和相互关系的变化反映体格发育程度，通过统计处理，以岁（月）为单位进行表达的生物年龄［1］。由于生物个体的成长伴随着骨骺的变化，这种连续性和间断性的变化体现出个体的生长变化，代表着个体的生长时间，反映生物年龄。因此，经过医生长时间的检验和对比一致认为骨龄可以预测儿童成年身高、判定发育状况以及性成熟程度［2］。如今骨龄评估应用领域越发广阔，不仅应用于临床医学领域、体育竞技领域，还应用于法医学领域［3-5］等。

目前最常用的传统骨龄评估方法是图谱法（GP图谱法）和TW 计分法［6-8］。其中具有代表性的计分法有TW3 计分法和适用中国青少年的中华05 计分法［9］。传统的GP图谱法和计分法都可以完成骨龄评估的任务，但都过于依赖骨科医生的专业知识，在骨龄评估过程中不仅会存在许多影响因素，而且工作量大、评估时间长，同一医生在不同的时间评估出现的结果可能也会不同，误差大、具有很大的不确定性［10］。

为了解决以上问题，目前已有相关研究利用深度卷积神经网络基于整个左手自动化评估或者左手掌固定特征区域骨骺或者基于某个特定骨骺进行骨龄评估。2020年，蔡荣辉［11］利用深度迁移学习技术基于全手腕骨X光片的自动骨龄评估，最终该方法实现了0.539岁的平均骨龄误差，误差在1.0 岁范围内的准确率达到86.77%。2019年，陈易京［12］基于深度卷积神经网络的骨龄评估方法，利用划分样本解决样本数量不平衡的方法进行骨龄评估，最终最好的实验结果在完全正确、1 岁误差和2 岁误差的准确率分别为0.507、0.851 和0.964。2020年，Chen等［13］基于指骨利用TW方法对女童进行骨龄评估，在1年内的准确率为71.17%。为了实现更精准、更迅速、更稳定的骨龄评估方法，本文提出一种基于卷积神经网络的X图像骨龄评估方法，由3部分完成。第一部分，改进TW3-C RUS骨龄评估方法，精减左手掌骨X图像用于骨龄评估的骨骺区域；第二部分，将精选的具有代表性的骨骺送入卷积神经网络ResNet等级评定分类器上，获取不同骨骺等级；第三部分，基于改进后的TW3法骨龄映射规则，对照修改后的等级计分表计算骨龄。

1 数据集处理

1.1 收集手骨X图像

本文采用的数据集由某三甲儿童医院提供，为了使各个年龄段的图像数据分布均匀，通过网络爬虫获取一些左手手骨X图像，包含中国青少年儿童左手手骨X图像共6 225张，其中男性3 315张，女性2 910张，覆盖的男女年龄均为3～16岁，分为14个类别。该数据集均为身体健康发育良好且没有任何先天性疾病的左手手骨X图像，样本数据分布如图1所示。

图1 样本数据分布Figure 1 Distribution of sample data

1.2 数据扩充

由于手骨X 图像中关键区域的骨骺处于较小等级的数据量有限，与同一骨骺的其它等级数据量不平衡，在等级评定的过程中容易出现过拟合现象，所以采用图像旋转的方法来扩充较小等级的数据量，使得手骨X 图像关键骨骺的各个等级样本覆盖更加全面［14］。针对本文的骨骺图像数据集的特点，由于掌骨I 倾斜程度非常明显且等级小的数据量少，所以以掌骨I 图像为例采用图像旋转方法扩展图像数据量。掌骨I旋转图像效果图如图2所示。

图2 掌骨I原图与旋转图Figure 2 Original and rotation images of metacarpal bone I

1.3 数据增强

由于手骨X 图像每块骨骺的等级数据量分布不均且关键区域骨骺的特征较模糊，不利于等级评定网络的训练。为了解决以上问题，利用图像增强算法增强图像的局部对比度亮度，使手骨轮廓、纹理变得清晰［15］，关键区域的特征更加清晰即生成了一些特征明显的图像，生成的图像如图3所示。

图3 原图与增强图Figure 3 Original and enhanced images

2 改进的TW3-C RUS骨龄评估方法

2.1 精减评估区域

由于TW3-C RUS 方法是利用左手掌固定的13个骨骺评估骨龄，评估区域的选取及卷积神经网络在提取相同特征时会降低网络学习的效率以及拉低评估准确率，为了避免相似特征重复提取，提高骨骺识别准确率，提出了精减骨骺。

首先将左手掌X 图像分割出13 个骨骺区域（桡骨、尺骨、掌骨I、掌骨III、掌骨V、近节指骨I、近节指骨III、近节指骨V、中节指骨III、中节指骨V、远节指骨I、远节指骨III、远节指骨V）统一尺寸（64×64），如图4所示。

图4 分割评估区域示意图Figure 4 Segmentation evaluation areas

根据“中国人手腕骨骨龄标准—中华05”［16］，在儿童手腕骨骨化中心融合年龄范围一致中选择识别率高、特征明显的骨骺用于骨龄评估。近节指骨III、V 以及远节指骨I、III、V，这两组各自的骨化中心出现的年龄一致，通过采用卷积神经分类网络AlexNet和ResNet 对特征相似骨骺X 图像进行识别，结果如表1所示。在相似骨骺之间选择经过网络ResNet 和AlexNet 分类准确度相对高的骨骺。通过以上结果最终在TW3-C RUS 评估方法固定的13 个评估骨骺区域中精选10个骨骺（桡骨、尺骨、掌骨I、掌骨III、掌骨V、近节指骨I、近节指骨III、中节指骨III、中节指骨V、远节指骨III）用于骨龄评估。由于卷积神经网络ResNet 相对于AlexNet 网络对骨骺识别准确率更加敏感，进而使用卷积神经网络ResNet，其模型如图5所示，进行骨骺评估区域选取以及等级评定。

表1 不同网络的准确率Table 1 Accuracy of different networks

如图5所示，ResNet网络结构有卷积层及最大池化层、平均池化层和全连接层。卷积层通过卷积核在输入图像的像素上滑动，滑动像素点和相邻像素点进行卷积运算来提取图像的特征图［1,9］；池化层可以有效缩小参数矩阵的尺寸，减少最后全连接层中的参数数量，达到加快计算速度和防止过拟合的作用［1,9］；全连接层把以上提取的局部特征重新通过权值矩阵组装成完整的用于分类的信息［1,9］。在精选评估区域骨骺时，ResNet网络的输入是有固定标签及统一尺寸的相似骨骺图像，输出骨骺的标签和对应的准确率；在等级评定时，输入的图像是精减后特征区域图像，然后将其归一化为64×64的灰色图像，输出为每个骨骺对应的等级。

图5 ResNet模型的分类图Fig.5 ResNet network structure diagram

2.2 改进TW3-C RUS骨发育等级计分法

针对已经精选出的评估骨骺区域，按照TW3方法，采用“分类特征计分算法”计算简化后TW3-C RUS中各个骨骺的等级分值，根据骨发育等级定义，重新分配各骨骺等级分值，最终得到改进后TW3-C RUS骨发育等级分值表。如表2所示，各骨骺区域均分为1～8等级，每个等级都有对应的得分，将各骨骺等级得分相加得到骨成熟度总分，对照TW3-C RUS骨成熟度第50百分位数标准曲线，得到骨龄。

表2 改进TW3-C RUS法各骨发育等级分值表（分）Table 2 Score table of each bone development grade using improved TW3-C RUS method(scores)

3 试验

3.1 试验环境

本文试验是在Window10 系统的GPU 计算平台运行，采用Intel Core i5-9400F CPU 以及Nvidia GeForce GTX 1660Ti GPU，所有程序利用深度学习开源Pytorch 框架，Python3.7 编程语言进行实现。每次训练时，输入的图像数据量设置为32，为了避免较大的初始学习率使训练过程梯度爆炸训练失败，初始学习速率设为0.000 1。训练数据集与测试数据集在程序运行中，以8∶2比例随机划分。

3.2 评价指标

为准确评价骨龄评估模型的性能，采用平均绝对误差的评价方法，将预测结果按照不同年龄段、不同性别进行分类，每一岁为一个类别，分别统计测试集所有数据预测骨龄与真实年龄在±1 岁以内的准确率，并计算平均绝对误差（MAE），公式为：

式中，N表示收集到的手骨X 图像总的样本数据量；fi表示收集到的每一个样本对应的真实骨龄；yi表示相对于真实骨龄同一样本的预测骨龄。

3.3 试验结果和分析

试验中无论男性还是女性都是在相同的环境下进行试验。男性数据在ResNet 网络模型训练迭代6 000 次，女性数据迭代4 800 次，以及男、女性利用GP 图谱法和未改进TW3-C RUS 方法在相同测试数据得到骨龄预测值与实际年龄值在±1 岁之间的准确率和MAE结果如表3所示。

表3 不同方法对男、女性评估结果Table 3 Results of assessments for male and female by different methods

在TW3-C RUS骨龄评估方法的基础上，改进后计算的男、女各个年龄骨成熟总分曲线与TW3-C RUS骨成熟度第50百分位数标准曲线［17］如图6所示。图6为男、女性各个年龄对应的标准与测试骨成熟总分曲线图，图中红色曲线为男标准骨骺成熟总分，黑色曲线为男测试骨骺成熟总分；蓝色曲线为女性标准骨骺成熟总分，绿色曲线为测试女骨骺成熟总分。由图可知改进后的骨龄评估方法与TW3-C RUS评估方法相比，测试男性在年龄12～15岁之间的评估骨成熟总分曲线在标准骨成熟总分曲线附近，在低年龄段与标准几乎重合；测试女性在5～9岁之间的骨成熟总分曲线在标准骨成熟总分曲线附近，9～11岁骨成熟总分与标准几乎重合，说明了改进后的TW3方法预测的各年龄段的骨成熟总分曲线与标准曲线各年龄段的骨成熟度总分曲线具有一致性，说明了对骨龄评估方法TW3的改进具有一定的有效性。

图6 成熟分对比曲线Figure 6 Maturity score comparison curve

通过以上对比试验可以看出，本文提出的改进骨龄评估方法与未改进的骨龄评估TW3-C RUS 方法、GP图谱法以及其它文献骨龄评估方法，如占梦军等［18］基于TW 方法改进AlexNet 网络对男、女性进行骨龄评估和张世杰等［19］基于TW 方法提出区域融合对男、女性骨龄评估方法相比，具有以下特点：（1）使用卷积神经网络学习的框架进行骨龄评估相对于人工看片，具有很高的效率，可以很好地辅助医生工作；（2）精减评估区域，简化TW3-C 等级计分法，避免相似特征重复提取，减少全部骨头各种姿势区域的加入带来骨龄评估误差；（3）提高骨龄评估准确率。

4 结论

针对传统骨龄评估效率、准确率偏低的问题，本文提出了基于卷积神经网络的X图像骨龄评估方法。在TW3 骨龄评估方法的基础上，结合分类卷积神经网络的特点，提出精减骨骺评估区域方法，设计等级评定分类器进行骨龄评估。在大量数据上的试验结果表明，该方法在精减骨骺评估区域的同时，能有效地保留特征明显、分类的细小信息，与未改进的TW3-C RUS法以及GP图谱法相比，在试验过程中达到了较好的结果。目前由于1～3 岁数据集实际图像较少，试验的数据集主要覆盖的年龄范围是3～16岁，这也是当前相关研究中存在的普遍问题，扩充1～3岁数据集后可能会获取更低的骨龄MAE，会使骨龄评估更加全面、更加精确。