二维与三维头影测量自动定点的研究进展

刘力嘉 毛婧 龙欢 蒲亚龙 王军

1.口腔疾病研究国家重点实验室 国家口腔疾病临床医学研究中心四川大学华西口腔医学院 成都610041；2.口腔疾病研究国家重点实验室 国家口腔疾病临床医学研究中心四川大学华西口腔医院正畸科 成都610041

头影测量由Broadbent和Hofrath于1931年分别提出，逐渐成为检查颅颌面软硬组织生长发育和畸形的重要手段[1-2]。二维头影测量经历了手工头影测量、计算机辅助头影测量的阶段。自Cohen等[3]于1984年尝试在X线片上进行自动头影测量以来，二维头影测量逐渐向计算机自动头影测量转变，有部分二维自动定点的研究达到了较高的精确度，目前已经开始在临床上运用。

医学成像技术和计算机辅助技术的发展促进了二维头影测量向三维头影测量的转变。与二维头影测量相比，三维头影测量具有能精确识别解剖结构、评估复杂的颅骨结构、避免几何结构图像失真等优点[4]。近年来，有一些自动定点的研究取得了很好的结果，但仍缺乏可靠而精确的三维头影测量自动定点方法。

本文对二维和三维头影测量自动定点的研究进展作一综述，并探讨不同定点方法所达到的精确度。

1 二维头影测量自动定点

二维头影测量即X线头影测量，是对标准化定位的X线片进行测量分析，它是了解患者颅颌面特征的重要方法。根据二维头影测量自动定点所采用的技术或技术的组合，可以将二维头影测量自动定点方法分为以下4类：1）图像过滤与基于知识的标志点搜索；2）基于模型的方法；3）基于学习的方法；4）混合方法[5-8]。目前，精确度较高的技术是混合方法和基于学习的方法[9-10]。

1.1 图像过滤与基于知识的标志点搜索

基于知识的方法是较早应用于二维头影X线影像自动定点测量的方法，通常是先对图像进行降噪、增强等预处理，然后采用滤波技术、小波分析等技术提取边缘线，并基于先验知识对边缘线进行追踪，最后根据标志点的解剖特征确定标志点的位置。1986年，Lévy-Mandel等[11]提出了一种采用预滤波、边缘检测器等方式对边缘线进行突出和检测追踪，用全局跟踪算法提取特征边缘线，最后计算标志点位置的方法，成功定位了23个标志点；与他们不同，1989年，Parthasarathy等[12]从一开始即采用多分辨率金字塔的形式提取特征线，最后通过计算定位了9个标志点，平均误差为2.06 mm；1994年，Davis等[13]提出了黑板系统，采用分割策略进行计算测量，该方法对不同X线影像的适应性更强；1996年，Forsyth等[14]提出了一种类似Lévy-Mandel等[11]提出的系统，该系统通过识别图像灰度值的差异，对特征边缘线进行定位，从而识别标志点，最终成功识别了19个标志点，其中12个点的平均误差＜1 mm。但由于基于知识的方法受到图片质量、强度的影响，且只能定位位于边缘的标志点，准确性并未超过人工定点，具有较大的局限性，因此并没有应用于临床。

1.2 基于模型的方法

自一些学者[15-16]提出主动形状模型（active shape model，ASM）和主动外观模型（active appearance model，AAM）以来，头影测量的标志点检测自动化得到了很大的发展。从理论上来说，AAM系统可利用整个对象的所有灰度等级信息来进行模型匹配，较ASM系统能更好地匹配图像纹理，搜索匹配能力更强大。虽然ASM在临床应用中对标志点识别的准确性不高，但能为未来的研究提供一个模型[17]。因此，在基于模型的方法的基础上，后来的许多研究者提出了不同的混合方案以修正模型。Rueda等[18]将AAM与数学方法结合，应用顶帽变换来校正图像亮度不均匀性，较ASM系统[17]的精度提高了4.25%。Vucinić等[19]提出基于AAM和多分辨率的方法，17个标志点的平均误差为1.68 mm，高于ASM（35%），但仍低于手动识别（87%）。这样的精度在临床上是不可接受的[6,14]。由于ASM或AAM系统的头影测量技术的精确度易受图像分辨率、标志点的可变性、模型的初始形状和模型参数等多因素影响[16-18,20-21]，较新的技术多采用混合方法来改善其精确度，优化检测结果[19]。

1.3 基于学习的方法

作为人工智能（artificial intelligence，AI）领域的热点之一，机器学习在医学影像分析方面具有突出的优势，尤其是其中的深度学习。基于学习的方法通常采用卷积神经网络（convolutional neural network，CNN）、随机森林（random forest，RF）等计算方法，先设定训练集对AI系统进行训练，通过调整算法逐步形成测量系统，达到全自动定点测量的目的。CNN的基本原理示意图如图1所示。Lindner等[10]采用RF回归算法和约束局部模型框架成功定位了19个标志点，且精度较高。Arık等[22]在2017年提出采用CNN研究自动头影测量，不仅成功实现了CNN在全自动测量中的应用，同时还证明了该系统具有较高的定位准确性和分类精度。而Kunz等[23]也采用CNN研究了自动定点系统及其准确性和可行性，以专家人工测量为金标准，评估了该方法对12个常用的正畸参数预测的精确度，也是成功将AI实施到牙科中的研究之一。在新的研究中，一些学者[24-25]分别比较了You-Only-Look-Once version 3（YOLOv3）与Single Shot Multibox Detector（SSD）和人工定点对于80个标志点定位的准确性，得出了YOLOv3优于SSD以及与人工定点没有较大差异的结论，且通过Park等[24]的不断调整，YOLOv3是目前提出的基于深度学习方法中精度较高的人工智能系统。而Dai等[26]提出了一种通过构造对抗性编解码网络来自动定点标志点的新方法，该方法虽然对大部分标志点的定位效果良好，但较之前提出的方法成功率较低。基于学习的方法不受观察者主观性的影响，使得定位的速度和准确性得到了大大提高。但其准确性很大程度上取决于训练数据的数量与准确性，如何增强数据的准确性以及测量的准确性仍是研究的重点。

图1 二维头影测量中CNN基本原理的示意图Fig 1 Schematic diagram of the basic principle of CNN in 2D cephalometric measurement

CNN在卷积层中通常先将图像划分为若干个小区域，通过卷积核过滤这些区域，从而提取特征值。再通过池化层进行降采样，在不影响图像质量的情况下压缩图片，减少参数。通过任意次卷积、池化后，再通过全连接层将卷积层和池化层的图像特征进行整合，获取图像特征具有的高层含义，之后将其输出给分类器用于图像分类，最终得到自动定点结果。

1.4 混合方法

混合方法即混合以上3种方法，有研究[9-10]表明：目前，在二维头影测量自动定点中，基于学习的混合方法的精度是最佳的。

Wang等[27]在生物医学成像国际研讨会（International Symposium on Biomedical Imaging，ISBI）的支持下做了一项对5组具有代表性的现有方法的挑战比较，采用100张图像作为训练集，结果表明：应用博弈论概念并采用RF和形状模型结合的方法对19个标志点在2 mm精度范围内获得了最优结果。在ISBI的支持下，Wang等[28]又进行了一次新的挑战比较，采用150张图像作为训练集，结果表明：随机森林回归投票方法（random forest regression-voting，RFRV）在2 mm的精度范围实现了最高的成功检测率74.84%，较之前挑战中的最佳方法成功检测率平均增加了约4.4%。而2018年，Vandaele等[9]提出了一种基于像素分类和机器学习技术的标志点检测算法，并与上述2次挑战中最佳的算法进行了比较，得出与RFRV差异较小的结论，但由于其算法具有适用于小数据集、无需附加手动标志点注释和细化的优点，故他们的算法更具竞争力。

混合方法结合各类方法的优点以提高算法的精确度，其优缺点与基于学习的方法相似，优点在于算法的客观性以及处理大数据的便捷性，但准确性仍依赖于训练集的数量与准确性[27-28]。

二维头影自动定点各类方法内容摘要如表1所示。

表1 二维头影测量自动定点收录文章摘要Tab 1 Two-dimensional cephalometric measurement automatically fixed-point collection article abstract

总的来说，二维头影测量自动定点方法在不断地研究改进下已趋于完善，尤其是基于学习的定点方法的提出，降低了观测者的主观影响，极大地提高了定点的准确性。相关软件如Dolphin、WinCeph、Uceph等已投入到临床使用。但由于价格较为昂贵等问题，这些软件多在大型医院使用，并未得到充分推广。同时，如何进一步提高软件测量的准确性和稳定性仍是值得研究的重点。

2 三维头影测量自动定点

三维头影测量是基于计算机断层扫描（computed tomography，CT）或锥形束计算机断层扫描（cone beam computed tomography，CBCT）的头影测量分析。随着三维头影测量的普及，三维头影测量自动定点技术已经有了较好的发展。可以将三维头影测量自动定点的方法分为以下3类：1）基于知识的方法；2）基于模型的方法；3）基于学习的方法。目前，精确度较高的方法是采用深度学习的方法，更准确地说，是采用全卷积神经网络（fully convolutional networks，FCN）和Unet架构的方法[29]。

2.1 基于知识的方法

基于知识的方法是指根据预先确定的定义，使用数学描述（如峰值、最低点等）在图像的解剖轮廓上定位坐标[29]。Neelapu等[30]设计了一种基于颅骨对称性特征的标志点自动检测算法，将正中矢状面分为4个象限，在解剖轮廓上自动检测出标志点，20个标志点的总平均误差为1.88 mm。Gupta等[31]提出了一种基于知识的CBCT标志点自动检测算法，将相邻的标志点分成不同的组来检测，20个标志点的总平均误差为2.01 mm。又进一步采用基于知识的方法[32]在30幅CBCT图像上自动测量了28个长度、16个角度和7个比值，这也是在自动三维头影测量研究中少有的以自动定点为基础自动测量角度和比值的研究。部分测量在二维射线片上是不可能完成的，例如从正中矢状面标志点到双侧结构的角度；而这正是使用CBCT进行三维测量的显著优势。

2.2 基于模型的方法

基于模型的方法依赖于特征提取的参考模型系统，较早的三维自动定点研究较多的采用这种方式。Codari等[33]采用一种半自动的方法，手动确定下颌骨的最低点后，采用基于强度的图像配准，将21个标志点从参考颅骨转移到特定颅骨上完成自动定点。Shahidi等[34]采用结合了基于特征和基于体素相似性的图像配准方法，将测量图像进行缩放、旋转和平移，缩放后，测量图像矢量在各个方向都与参考图像向量一样长，再将标志点转移到测量图像上完成自动定点。Montúfar等[35]结合了基于模型和基于学习的方法，使用ASM关联CBCT的数字重建二维照片进行自动三维头影测量的统计形状建模，用冠状位和矢状位投影训练了2个ASM，自动定点平均误差为3.64 mm；这些学者[36]又进一步提出了基于模型和知识方法的头影测量自动定点的混合算法，改进了Gupta等[31]基于知识的算法，实现了更高效的自动定点，标志点的平均误差降低到2.51 mm。尽管如此，由于不同患者颅面部结构的形态学差异，基于模型的方法依旧很难精确地自动检测标志点，无法满足临床应用的需求。

2.3 基于学习的方法

在三维头影测量自动定点中，基于学习的方法通常先从CBCT图像中提取影像特征信息，然后输入分类器或回归器进行骨分割和自动定点[37]。常用的分类器或回归器包括RF、回归森林（regression forest）、神经网络（neural network）等。Zhang等[38]提出了一种分段引导的部分联合回归森林模型在CBCT上自动数字化颅面部标志点，15个标志点的平均误差为1.44 mm。de Jong等[39]提出了一种利用2D-Gabor小波和集成学习自动定位头骨解剖标志点的新方法，33个标志点中9个自动定点结果较稳定，误差小于2 mm。

深度学习作为目前机器学习的热点，在医学影像分析领域的各个方面广泛应用。在三维头影测量定点中主要使用到的深度学习模型有神经网络、CNN、FCN、U-net等。O’Neil等[40]提出了一种FCN代替传统的决策森林（decision forest）自动定位CT扫描中的解剖标志点，结果表明：FCN的性能明显优于决策森林方法。Lachinov等[41]证明了直接回归与CNN、热图回归和Softargmax回归3种方法定位严重颅骨变形患者的4个标志点和Frankfort平面的有效性。随着二维头影测量逐渐让位给三维头影测量，测量的数据量和几何结构复杂程度显著增加。如果采用二维数据，就可以避免高维数据训练中的维数灾难问题，因此，Lee等[42]提出了基于二维阴影图像的三维头影测量自动定点方法，7个标志点的平均误差为1.8 mm。Yun等[4]在Lee等[42]的基础上提出了一个多阶段的深度学习框架，采用CNN、变分自编码器（variational autoencoder，VAE）和非线性回归进行基于2D图像的3D特征学习，93个标志点的平均自动定点误差为3.63 mm。

一些研究在现有深度学习算法的基础上进一步改进，以探索精确度更高、更符合临床需求的自动定点方法。在基于学习的方法中，特征提取和分类器/回归器训练的步骤通常是相互独立的，因此，所使用的特征和所学习的模型不一定相互协调。针对这个问题，Zhang等[43]采用2个U-net结构的上下文引导的FCN进行关节骨分割和标志点数字化，又进一步提出一种联合骨分割和标志点数字化的深度学习框架[37]，获得了更精确的分割结果，15个标志点的平均误差仅为1.10 mm。此外，患者间不同的形态学差异也是三维头影测量自动定点的一大挑战。Torosdagli等[44]对于具有高度颅颌面变异性的患者提出了一个深度学习框架，设计一种新的CNN结构自动分割下颌骨，使用改进的U-net[43]算法和基于长短期记忆网络的算法来识别标志点。在高度颅颌面变异性患者的CBCT中自动测量9个标志点，其中8个标志点平均误差小于0.5 mm。与二维头影测量自动定点相同，上述2个目前精确度最高的三维头影测量自动定点研究也采用了深度学习的方法[43-44]。然而，目前大多数机器学习的研究使用的CBCT图像较少，且仅对局部或少量标志点进行检测，无法进行完整的三维头影测量，这限制了它们的临床应用价值。

三维头影自动定点各类方法内容摘要如表2所示。

表2 三维头影测量自动定点收录文章摘要Tab 2 Three-dimensional cephalometric measurement automatic fixed-point collection of article abstracts

总的来说，在三维头影测量自动定点已有的方法中，运用基于知识的方法可达到与人工定位相似的准确度；由于个体影像差异，基于模型的方法精确度不佳，但在二维测量基础上有了进一步的发展；基于深度学习的方法的误差最小，有满足临床应用的潜力。目前，三维头影测量自动定点的研究尚处于起步阶段，还未有投入临床应用的报道。

3 小结与展望

经过几十年的发展，目前二维头影测量自动定点已趋于完善，大大减少了分析所需要的时间和因主观性而导致的错误，提高了标志点识别的准确性，已经开始应用于临床。同时，三维头影测量自动定点也有部分研究在精确度上报告了出色的结果。然而，目前三维头影测量自动定点技术还存在许多问题：1）受伦理等因素的影响，多数研究使用的CBCT样本数量有限，需要扩大样本量来减少测量误差、验证方法的可行性；2）年龄、种族以及颅面部畸形等因素导致不同患者之间具有高度的颅颌面变异性，算法的稳定性和精确度还需要在不同样本下进行测试；3）三维测量数据运算量大、处理时间长，对计算机中央处理器（central processing unit，CPU）、内存等要求较高；4）许多方法的误差水平还不能满足临床需求，标志点的测量误差还需要进一步减小，尤其是部分误差较高的标志点；5）缺乏相应的误差评估标准，自动定点在三维影像x、y、z轴上可接受的误差极限尚无公认的标准。尽管困难重重，但相信随着未来机器学习的发展，各类深度学习算法将不断改进和完善，为头影测量自动定点的发展指引新的方向。

利益冲突声明：作者声明本文无利益冲突。