骨龄自动化评估的研究进展

占梦军，张世杰，陈虎，宁刚，邓振华

（1.四川大学华西基础医学与法医学院，四川 成都 610041；2.四川大学视觉合成图形图像技术国防重点学科实验室，四川 成都 610065；3.四川大学计算机学院，四川 成都 610065；4.四川大学华西第二医院放射科，四川 成都 610041）

骨龄评估是通过对骨骼的发育特征进行识别，从而获得对骨骼发育程度的定量评估。骨龄指标在预防医学、临床医学、体育科学等领域有着广泛的应用价值[1]。此外，骨龄鉴定作为确定刑事责任年龄的证据之一，能够较真实地反映犯罪嫌疑人的生物学年龄，在司法审判中亦具有重大意义[2]。

传统的骨龄评估均是由专家根据标准对待测X线片进行评定，由于不同专家的认识程度不一，应用这些方法评估骨龄的主观性较强，容易受人为主观因素的影响。目前，人工评定骨龄的缺点主要有以下几点[3-8]：（1）可重复性差。不同专家对同一张X线片的判定结果会产生一定的差异，同一位专家在不同时期对同一张X线片的判定结果亦可能不同。因此，该方法不利于骨龄的客观评估。（2）难以普及。人工评定骨龄需要评定人员具有较强的专业知识，往往需要经过长期的培训以及经验的积累才能较为准确地判断骨龄。（3）耗时费力。由于要对手腕部多块骨骼进行评估，人工处理所需要的时间较长。上述诸多因素决定了将计算机视觉、数字图像处理、模式识别等与骨龄评估相结合，实现骨龄自动化评估，使评估的过程和结果更加客观和真实、效率更高成为一种现实需要。

因此，研究出新的骨龄评估方法，尤其是实现骨龄的自动化评估，使得骨龄评定达到简单、快速、准确、可重复性强的要求，也就成了国内外众多同行的研究热点。当前，骨龄评估方法已经过专家人工评估、计算机辅助评估以及传统机器学习评估3个阶段的发展，正朝着结合计算机视觉、数字图像处理、模式识别以及人工智能的方向发展[3-8]。本文综述了近年来国内外在骨龄自动化评估方面的相关研究与进展，以期为相关研究人员提供参考与思路，为骨龄自动化评估指明研究方向。

1 传统人工骨龄评估方法

在身体的各个部位中，由于手腕部对全身骨发育的代表性最高，手腕部有众多不同类型的骨化中心，易于拍摄，且所需照射剂量小。因此，在骨龄评估中，手腕部骨发育成熟度评估方法的应用更为广泛[9-10]。

目前，国内外传统人工评定骨龄的方法主要有两种。（1）图谱法。1937年由TODD首创，后美国学者GREULICH和PYLE在TODD制定的手腕部图谱的基础上，于1950年依据美国30年代中上社会阶层白人儿童研制出手腕部骨骼成熟系列性X线图谱，并于1959年进行修改，该图谱即为G-P图谱，在国际上具有较高的权威性。图谱法评定骨龄较为简便、直观，且易于掌握。因此，目前各国应用较广泛，但其易受到观察者内部和观察者间变异性的影响。有研究[11]结果显示，应用该方法评估骨龄，观察者间的差异范围为0.07～1.25岁，观察者内的差异为0.11～0.89岁。（2）计分法。TANNER和WHITEHOUSE于1962年以50年代英国伦敦中产阶层儿童2 700人（其中一次性横向观察2 200人，纵横结合观察500人）为研究对象，研制出了判定骨龄的TW1计分方法，后于1975年修改成TW2标准，又于2000年进一步修改成TW3标准[12]。1988年，国家体育运动委员会委托河北省体育科学研究所，根据我国儿童骨骼发育的特点，在TW2标准的基础上修订了适合我国青少年儿童骨骼发育的骨龄评估标准——《中国人手腕骨发育标准（CHN法）》（TY/T 001—1992），该方法同属计分法。为适应新时代我国青少年儿童生长发育的需要，又于2002年重新修订上述标准，并于2005年初步完成骨龄标准的修订，该骨龄评估标准即为2006年开始实施发布的《中国青少年儿童手腕骨成熟度及评价方法》（TY/T 3001—2006）[13]。计分法通过选定一组特定的感兴趣区域（region of interest，ROI），将这些ROI分为骨骺/干骺端 ROI（epiphysis/metaphysis ROI，EMROI）和腕骨ROI（carpal ROI，CROI），并分析每个具体区域的发育程度，根据每个ROI的发育将其分为不同的发育阶段，每个阶段都有对应于种族和性别而变化的数值得分。通过计算所有ROI的总得分，查表获得骨成熟度总得分对应的骨龄值。该方法具有明确的量化概念，评定骨龄的结果较为精确，但此方法比较繁琐，且评定人员需要经过专门的培训才可进行较准确的评定。

为更好地适应我国法医学骨龄鉴定的需要，21世纪初，公安部物证鉴定中心和司法鉴定科学研究院先后对当代中国汉族青少年骨发育情况进行了广泛系统的研究，重点研究了肢体六大关节、锁骨胸骨端、骨盆等全身多部位骨骺闭合程度与年龄之间的相关性，并先后建立了骨龄鉴定的“数学模型推导法”[14]和“青少年骨发育标准图谱法”[15]。这种骨发育程度的评估是建立在当代中国青少年骨关节骨骺出现及骨骺闭合分级的基础之上，因而能够较为精确地反映我国当代青少年不同年龄骨发育的变化特征。

2 基于计算机辅助的骨龄评估方法

1992年，TANNER和GIBBONS设计了一种基于手腕部TW-RUS法的计算机辅助骨龄评分（computer assisted skeletal age scores，CASAS）系统[16]。操作者将每个骨骺依次置于摄像机下方，通过系统将X线片传至计算机，在计算机屏幕上查看待测骨骼图像，通过与屏幕上显示的TW阶段的标准骨骼模板匹配来校正X线片的位置，并对骨骼的发育等级进行评定。这个过程由计算机自动完成，不需要人工操作。图像随后被数字化，并由大量的数学系数表示。然后将这些系数与由TW标准每个阶段生成的系数进行比较，找到匹配最接近的。由于是定量的比较，所以该系统产生的发育阶段评分是连续的，从而代替了以往方法中按A、B、C、D等离散的评分方法。因此，在纵向研究中，随着年龄的增长，骨骼成熟度评分的进展更平稳。此外，该研究表明，评估者对骨龄重复评估的差异平均约为0.25个等级，CASAS系统的可靠性明显高于通常的人工方法。但该方法仍需人工帮助操作，尚未达到完全自动化评估。

1999年，SATO等[17]根据对第三指骨的分析，为日本儿童提出了一种计算机辅助骨骼成熟度评估系统（computer-aided skeletal maturity assessment system，CASMAS）。该方法根据第三指的近侧、中间和远侧骨骺至干骺端的距离以及骨骺相对于干骺端的宽度进行骨龄评估，当所有骨骺完全闭合时对桡骨骨骺进行评估。该系统骨龄评估的结果在2～15岁较准确，但对于非常小的儿童以及15岁以上的青少年，结果并不那么准确。这是因为骨骺在幼儿中还没有开始发育，在年龄较大的青少年中已经闭合，这个问题在一定程度上限制了该系统的应用。

1998—1999年，第四军医大学[18]和上海第二医科大学[4]相继研制出了计算机辅助骨龄评估系统。该系统通过将X线片传输到计算机，医生可以在电脑端很快将待测X线片与标准X线片进行比较，并判断发育等级，计算机根据医生评估的发育等级，能够实现自动查表给出骨骼发育的总体得分。虽然这些工作并没有完全替代人工骨龄评估实现骨龄的自动化评估，仅仅是提供了一种自动查表和计算的功能，但避免了繁琐的人工查表过程以及因疲劳而引起的计算错误等，大大提高了骨龄评估的速度和准确性。

3 基于传统机器学习的骨龄自动化评估方法

3.1 基于腕骨的神经网络系统

评估手腕骨骨龄的常用方法是先勾勒出骨边缘轮廓，然后从轮廓中提取特征。对于腕骨，由于边缘对比度低、X线图像存在噪声或软组织重叠，导致很难发现骨边界。1995年，RUCCI等[19]通过使用一个训练好的神经网络提取图像的特征从而克服了这个问题。该方法在神经网络结构中使用了一个注意力聚焦器和一个骨分类器。注意力聚焦器实现像素处理，在像素处理过程中链接了一个隐藏的神经网络以创建一个输出，该输出是与图像骨骼质心相关的X值和Y值。该研究用56张低质量的X线图像和16张额外的图像对该方法进行了测试。结果表明，准确度分别为65%和97%，标准差为0.85岁。该方法将神经网络作为一种强有力的技术引入图像处理中，结果显示神经网络是一种有用的分类技术。然而，神经网络系统最主要的缺点是其“黑盒子”性质（即不知道神经网络是如何以及为什么会产生某种输出结果）。

2001年，中国台湾国立“清华大学”[20]开发出的骨龄自动化评估系统，相对于计算机辅助骨龄评估系统来说，已经有了较大的突破。他们首先寻找腕骨的ROI，基本定位出所有骨块的大概位置，再根据腕骨各骨块之间的灰度直方图信息，得到腕骨各骨块之间的粗略分割线。然后在原图像上进行阈值化，通过图像的灰度信息得到实际的骨块边缘，从而提取需要分析的骨块。再对分割出来的每个骨块计算相应参数并与数据库中已有的信息进行匹配，得到各骨块的相应发育等级。最后他们分别通过最小距离、贝叶斯分类器和神经网络3种方法对各骨块的发育等级进行分类，均取得了不错的效果。但该系统使用的算法要求各腕骨骨块间不能紧密相连，否则难以分割开各骨块，因此该骨龄评估系统仅适用于7～8岁以下的儿童。

3.2 基于主动形状模型的骨龄评估系统

2002年，NIEMEIJER[21]基于TW2方法开发了一个利用主动形状模型（active shape model，ASM）对第三指中节指骨进行分类的自动化系统。该模型使用均值对象、变异模式描述和协方差矩阵进行统计测量。在这种方法中，由放射科医生对第三指骨进行指定，计算机通过使用主动形状模型分割骨骼。通过将待测骨骼的ROI像素大小与标准样本图像的像素大小进行匹配，将相似性最高的图像所对应的骨龄作为待测图像的骨龄值。与人工骨龄评估相比，该骨龄评估系统的准确率是73%～80%。但该系统主要有两个方面的缺陷：（1）仅适用于TW方法中的E-I阶段；（2）仅适合对年龄范围在9～17岁的人群进行年龄评估。

2003年，王珂等[22]基于中国人手腕骨发育标准CHN法研制了一种骨龄自动化评估方法，该方法包括对手腕骨X线图像中骨骼边缘的自动提取和骨骼成熟度的自动分级。该研究应用主动形状模型，结合了特定的先验知识，提出多模板多训练集的方案，改善了边缘检测的效果。通过考察一系列形状几何信息并结合灰度信息，将CHN标准中有关的文字描述转化为数字特征，采取多层次分步骤的方法用于最终的骨龄自动评估，结果表明骨龄评估的正确率和稳定性均有所提高。

3.3 基于粒子群算法的人工神经网络系统

2008年，LIU等[23]基于桡骨、尺骨和短指骨（radius，ulna and short finger bones，RUS）和腕骨的两个几何特征，利用人工神经网络开发了一个骨龄评估的计算机系统。该系统使用一个巨大的样本数据库，并将粒子群算法应用于骨骼分割。该方法使用两个分类器进行骨龄估计：第一个分类器用于RUS，第二个分类器用于9岁以下样本的腕骨。将该系统与人工评估结果进行比较，发现该系统具有较小的标准差。与以往的系统相比，该系统的优点在于其降低了腕骨系统的可变性。

3.4 BoneXpert系统

BoneXpert系统是2009年提出并在欧洲开始商业化应用的一种骨龄自动化评估软件[24]。该系统基于形状驱动的主动外观模型（active appearance model，AAM）和TW RUS法进行骨龄评估。形状和强度特征使得主动外观模型具有很好的鲁棒性。该系统采用Gobar滤波器，对一组超过3000个骨轮廓的图像进行旋转和缩放，然后使用线性回归技术选择图像特征的30个系数，将其反馈送入主动外观模型。虽然该系统的可用性仍在进一步的评估中，但初步测试表明性能是合理的，使用G-P图谱法的误差为0.42岁，使用TW2法的误差为0.80岁。对于质量较差的图像，该系统的拒绝率为1%左右，但在某些情况下，对桡骨和尺骨的拒绝率增加到18%。该方法的特点在于其利用X线图像与线性生长之间的关系进行骨龄评估。利用BoneXpert系统进行骨龄评估的标准偏差为0.50岁，表明骨龄自动化评估的可重复性已发生了巨大的飞跃。

3.5 基于支持向量机的骨龄评估系统

2010年，北京航空航天大学董娜等[25]依据我国常用的骨龄评估方法CHN法，提取手部X线图像的骨骺特征作为骨龄特征参数，运用支持向量机（support vector machine，SVM）进行骨龄识别，提出了一个基于手部X线图像骨龄自动评估算法，并设计和实现了一个骨龄自动评估系统。该评估系统仅采用从地坛医院和儿童医院收集的1～16岁的X线手部图像64幅，每岁3幅图像，对分类算法进行测试，其中训练集48幅，验证集16幅，但利用该X线数据库建立的SVM分类器效果仍然欠理想。虽然验证结果显示91%的图像识别结果与专家识别结果相一致，但其余的图像由于年龄较小、图像噪声较大等原因仍存在一定的误差，需经人工调整特征点后才能够准确分类。

2014年，王亚辉等[5]通过收集我国140例11～19周岁青少年左侧腕关节X线正位片，将尺、桡骨远端骨骺分为5个发育等级，并运用SVM实现尺、桡骨远端骨骺发育分级的自动化评估，建立了尺、桡骨远端骨骺5个发育分级的SVM分类模型。该研究利用核函数处理骨骺图像特征与所对应的骨骺发育分级的非线性关系问题，使得该模型在骨龄自动化识别中有较高的准确性。SVM是一种在统计学习理论的基础上发展起来的机器学习方法，具有适用于小样本量的数据挖掘且训练速度高等优点，但在准确率上一直存在难以突破的瓶颈，对于要求准确率高的任务，难以达到任务要求[26]。其次，对于小样本量的骨骼影像图片，SVM难以更深入地挖掘其深部的有效特征。

3.6 基于直方图的自动化网络系统

2012年，MANSOURVAR等[27]基于直方图技术开发了一种全自动化骨龄评估系统。该系统使用基于内容的图像检索（content-based image retrieval，CBIR）方法进行图像处理，并利用图像库和相似性度量进行骨龄评估。这种方法提供了一种新的图像处理技术来评估骨龄，认为骨骼的每张X线图像是唯一的，并且也具有唯一对应的图像直方图。在进行骨龄评估时，创建X线片的相应图像直方图，并将其与存储在数据库中的标准图像的直方图进行比较。该方法通过将待测图像的直方图与标准图像的直方图进行比较，匹配最相似的图像来估计骨骼的年龄，克服了以往研究的分割问题。该系统骨龄评估的误差为0.17岁，表明该方法是一种可靠的骨龄评估方法。但是，该系统对质量差或骨结构异常的图像评估结果不可靠。

4 基于深度学习的骨龄自动化评估方法

实际上，上述研究方法基本都是通过先人工提取特征再使用传统分类器进行分类，并不能算是真正实现了骨龄的完全自动化评估。2016年，意大利卡塔尼亚大学SPAMPINATO等[6]首次将深度学习算法应用到骨龄自动评估领域，同时利用迁移学习的方法创建了3种基于ImageNet上预训练的卷积神经网络模型和一种基于从零开始训练专门针对手部X线片的特定卷积神经网络（BoNet）用于骨龄自动化评估。通过将预处理的图像用于网络模型训练，经深度学习网络自动学习并进行特征提取，最终实现自动化输出骨龄值。研究结果显示，BoNet模型的输出骨龄值与人工读片之间的平均绝对误差（mean absolute error，MAE）仅0.79岁。虽然迁移学习同样能达到较高的准确性（微调GoogLeNet骨龄评估的MAE为0.82岁），但以骨龄预测为目的的从零训练算法效果更优。该研究首次在公共数据集上测试了深度学习在骨龄自动化评估中的性能，并将其源代码公开发布，为今后类似的研究提供了一个有价值的参考基准。

2017年，哈佛大学医学院LEE等[7]同样基于迁移学习的方法，研发出了一套全自动的深度学习骨龄评估系统，包含兴趣区域的分离，影像图片的标准化及预处理，骨龄自动评估以及一键生成结构化放射学报告。该研究使用的数据集包含5～18岁的X线片共8 325张，其中女性4 278张，男性4 047张。利用GoogLeNet作为分类卷积神经网络的框架进行微调学习，微调卷积神经网络在测试集图像中的结果显示，女性的准确率为57.32%，男性的准确率为61.40%。利用女性X线片估计骨龄，1岁误差范围内的准确率可以达到90.39%，2岁误差范围内的准确率可以达到98.11%；利用男性X线片估计骨龄，1岁误差范围内的准确率可以达到94.18%，2岁误差范围内的准确率可以达到99.00%。女性的均方根误差（root mean squared error，RMSE）为0.93岁，男性为0.82岁。作者进一步使用遮挡的方法创建注意力热图，揭示训练模型使用哪些特征来进行骨龄估计，研究系统对手部骨骼的哪些区域更为敏感。研究结果发现，这些热点区域与人类专家人工评估骨龄时的关注区域基本一致。虽然该系统极大地提高了工作流程和骨龄评估的速度，但也有其局限性。该研究由于0～4岁的图片样本较少，因此未将0～4岁的儿童考虑到该系统，限制了该自动化骨龄评估系统的广泛适用。后期通过向数据库中逐渐添加更多的影像图片，有望使该系统的应用覆盖所有年龄段的人群。

2018年，斯坦福大学放射科LARSON等[8]基于G-P图谱法通过使用一个深度残差网络结构建立了一个骨龄自动化识别的深度学习模型，并采集帕卡德儿童医院和科罗拉多州儿童医院共14 036张左手X线片用于模型训练和验证。该研究通过一个200张图像的测试集比较模型估计值与参考标准骨龄之间的RMSE和MAE，以评估该模型相对于人类评估者的性能。利用公开可用的Digital Hand Atlas数据集中的1377张片子组成的第二个测试集与既往自动化模型报告的性能进行比较。结果表明，深度学习神经网络模型和专家的骨龄估计值之间的平均差异为0岁，平均RMSE和MAE分别为0.63岁和0.50岁。该深度学习模型在Digital Hand Atlas数据集中测试的RMSE为0.73岁，既往模型报告的RMSE为0.61岁。他们认为，基于卷积神经网络的骨龄自动化评估模型具有类似于当前使用特征提取技术获得最先进的自动化模型的精确度。但该模型不能有效预测2岁以下幼儿的骨龄，这可能与该年龄组相对较少的训练集图像以及G-P图谱法对这个年龄组进行骨龄评估并不那么准确有关[28]。

2018年，司法鉴定科学研究院王亚辉团队[3]将深度学习运用于维吾尔族青少年左手腕关节数字化X线图像识别中，探索该方法在法医学骨龄鉴定中的应用价值，初步实现了骨龄的自动化评估。该研究在我囯新疆维吾尔自治区采集13.0～19.0岁维吾尔族男性青少年245例、女性青少年227例的左手腕关节DR图像，将预处理后的图像作为研究对象，并应用迁移学习的方法，将AlexNet作为图像识别的回归模型。该模型的试验结果表明，误差范围在±1.0岁及±0.7岁以内的训练集准确率，女性分别为80.5%和74.8%，男性分别为81.4%和75.6%。误差范围在±1.0岁及±0.7岁以内的测试集准确率，女性分别为79.4%和66.2%，男性分别为79.5%和71.2%。该研究的局限性是样本量相对有限，不利于深度学习神经网络有效地学习图像的深层图像特征，导致该模型的泛化能力较低、稳定性较差，因此，骨龄评估的准确率还有进一步提升的空间，如果后期继续增加样本量以及改进网络结构及网络算法，有望进一步提高骨龄评估的准确率。

从计算机辅助骨龄评估，到传统机器学习评估，再到当前的深度学习运用，虽然骨龄自动化评估的方法发生了巨大变化，骨龄自动化评估的精度也得到了极大的提高，但从文献的回顾可以看出，近20余年国内外骨龄自动化评估几乎均是基于左手腕关节的系列研究。直到2018年11月，四川大学LI等[29]首次通过回顾性收集1 875例10～25岁人群的骨盆X线片，将深度学习运用于骨盆X线片进行骨龄自动化评估。通过将深度学习自动化评估骨龄的结果与直接使用骨化分期方法进行骨龄评估的三次回归模型结果进行比较，并计算两种模型的骨龄估计值与实际年龄间的MAE和RMSE，从而评估深度学习模型的性能。结果显示，所有测试样本（10～25岁）使用深度学习模型自动估计的骨龄值与实际年龄之间的MAE和RMSE分别为0.94和1.30岁。此外，采用同样的测试样本对深度学习模型与现有的三次回归模型进行测试，深度学习模型的MAE和RMSE分别为0.89和1.21岁，而现有三次回归模型的MAE和RMSE分别为1.05和1.61岁。该研究结果表明，利用深度学习对骨盆X线片进行自动化骨龄评估的性能已达到人工采用骨化分级进行骨龄评估的方法，并进一步为青少年骨盆发育与人工智能技术相结合的研究提供了新思路。

5 深度学习在骨龄自动化评估中的应用前景

随着社会的不断发展，对骨龄评估的需求也呈现出极大的增长。由于传统骨龄评估方法的诸多局限性，必将促使骨龄评估逐步向自动化转变。通过对当前骨龄自动化评估研究的回顾可以看出，传统机器学习都集中在改善ROI提取上。ROI提取的目的是将X线片按照某一特征分为不同的阶段，以更好地适应分类器进行分类，从而自动化输出骨龄值。不同方法中使用的ROI不同，如腕骨、掌指骨、桡骨和尺骨骨骺均可以作为ROI。这就是为什么多种手腕部算法都存在X线图像特殊区域的分割问题，ROI的提取阶段显示，当前自动化系统的主要挑战是图像分割。

深度学习是机器学习的一种重要技术手段，该算法模拟了大脑的神经连接结构，通常包含多个连接层，各层之间在数学上相互关联。全自动骨龄评估多年来一直是计算机视觉和放射学研究的目标，现有的大多数自动化评估方法都是基于人工提取手腕部ROI，再采用不同的计算机算法分割特定的骨骼，最后用传统的分类器进行分类或回归。而深度学习则是将图像作为一个整体进行处理，不需要任何预处理来提取特定的ROI，能够自动从ROI提取重要特征，很好地克服了以往研究中图像分割的问题。

深度学习已在骨龄评估领域成功应用，其研究结果已达到人工阅片评估同样的水平，甚至优于人工，提示利用深度学习辅助进行骨龄评估乃至独立于人工进行自动评估具有巨大的研究潜力。相对于国外，我国的骨龄深度学习自动评估研究较为落后，目前缺乏大样本训练集建立的深度学习算法。因此，我们应首先通过收集大样本数据集，采用深度学习的方法建立汉族群体的骨龄自动化评估系统，并逐步建立其他少数民族种族特异性骨龄自动化评估系统，深度挖掘深度学习在骨龄自动化评估中的巨大潜力。其次，当前骨龄自动化评估系统几乎均是基于正常人群左手X线片建立的模型。对于因意外事故受伤而导致手部缺损以及手部骨骼发育异常的人群还没有一个很好的解决办法。此外，法医学骨龄鉴定的目的与临床上对青少年儿童骨龄测定的目的不同，法医学骨龄鉴定更注重的是判断被鉴定人是否满14、16、18周岁这几个法律年龄节点的准确性，但此时左手腕关节大多已闭合，利用左手腕关节进行骨龄自动化评估可能不再适用。因此，今后不应局限于左手的单一研究，有必要将深度学习运用到其他骨骺闭合较晚的骨骼中，建立单一的或多部位骨骼的混合骨龄自动化评估系统，可以用来解决这些问题，并可能获得更好的输出结果。最后，目前国内外学者主要运用深度学习对X线片进行骨龄自动化研究，这可能主要是因为拍摄左手X线片测骨龄的人群较多，样本采集较容易，且骨骼在X线片上的影像较清晰，很适合用于图像识别。随着深度学习在骨龄自动化评估中的深入研究，今后还可以考虑将深度学习运用到CT、MRI图像中进行自动化研究，并逐步将该方法推广至法医影像学等其他研究领域，如影像资料的同一认定等。