基于深度学习的蝶鞍自动分割研究

冯琦 刘曙 颜颋 冯红超

摘  要： 研究蝶鞍的形态变化及生长规律对于口腔医生获取额外诊断信息具有重要意义。本文开发并评估了一个基于深度学习的蝶鞍自动分割模型。实验将包含400张头颅侧位片的数据集随机划分成两个子集，其中360張图像作为训练集来训练蝶鞍的自动分割网络U-net，40张图像作为测试集来测试模型的分割性能。Dice系数用于评估模型的分割性能，训练好的蝶鞍自动分割网络的Dice系数为0.9074。所提方法能够快速准确地在头颅侧位片上自动分割出蝶鞍区域。

关键词： 蝶鞍； 头颅侧位片； 深度学习； 图像分割； U-net

中图分类号：TP399          文献标识码：A    文章编号：1006-8228（2023）06-134-05

Sella turcica automatic segmentation based on deep learning

Feng Qi1， Liu Shu2， Yan Ting2， Feng Hongchao1，2

（1. College of Medicine， Guizhou University， Guiyang， Guizhou 550025， China; 2. Guiyang Hospital of Stomatology）

Abstract： It is significance to study the morphological changes and growth rules of sella turcica for stomatologist to obtain additional diagnostic information. This paper aims to develop and evaluate a deep learning-based model for automatic segmentation of sella turcica. The experimental dataset containing 400 cephalometric radiographs is randomly divided into two subsets， in which 360 images are used as training dataset to train sella turcica automatic segmentation network， and 40 images are used as test dataset to test the segmentation performance of the model. Dice coefficient is used to evaluate the segmentation performance of the model， and the Dice coefficient of the trained sella turcica automatic segmentation network is 0.9074. The proposed method can quickly and accurately segment the sella turcica on cephalometric radiographs.

Key words： sella turcica; cephalometric radiographs; deep learning; image segmentation; U-net

0 引言

蝶鞍是垂体窝和鞍背的合称，位于颅中窝正中部、蝶骨体上部，形似马鞍状。蝶鞍的前缘为鞍结节，后缘为鞍背，其骨组织包围形成垂体窝，容纳脑垂体。位于蝶鞍中心的蝶鞍点，是头影测量学中常用的标记点之一[1]。在胚胎发育过程中，神经嵴细胞由蝶鞍区向鼻部、额部和上颌等区域迁移，共同参与了蝶鞍、垂体前叶和牙齿的形成和发育[2]。蝶鞍在帮助临床医生预测患者的生长发育、评估颅面形态特征以及发现垂体异常或病理改变上有重要提示作用，研究蝶鞍的形态变化及生长规律具有重要意义[3]。

目前对蝶鞍形态的分析主要依赖于人工，而人工测量分析耗时费力且受主观因素影响较大。随着计算机视觉的快速发展，深度学习被广泛应用于医学图像处理领域。Shakya等人于2022年提出一个使用卷积神经网络在头颅侧位片上自动分割蝶鞍的新方法[4]。Ahn Y等人于2020 年开发并验证了一种肝脾自动分割与体积测量的深度学习算法[5]。Park等人于2020年提出基于U-net实现血管壁的自动分割[6]。这些研究基于深度学习算法实现了目标区域的自动分割，并在此基础上完成了对目标区域的形态分析。本文开发并评估一个能够在头颅侧位片上自动分割出蝶鞍的深度学习模型，为进一步实现蝶鞍形态的自动测量提供可能，帮助口腔医生评估蝶鞍区域的形态变化。

1 材料与方法

1.1 数据集的构建和标注

1.1.1 数据集的构建

本研究使用的图像为2015 ISBI挑战赛公共数据集中的回顾性影像数据。该数据集中共包含400张X射线头颅侧位片，图像的分辨率为1935*2400，图像的原始格式为bmp，实验中将其转换为jpg格式的图像。这400张图像被随机划分成两部分：360张图像作为训练集来训练自动分割网络，实现蝶鞍的自动分割，40张图像作为测试集。蝶鞍在X线头颅侧位片上，呈现为致密白线所分界的圆弧形的窝状结构，可以容易地在图像上观察到[7]，如图1所示。

1.1.2 数据的标注

由主要研究人员使用标注工具Labelme（version 5.0.1）对蝶鞍进行手动分割，生成相应的分割掩膜。蝶鞍在头颅侧位片中显示为一条致密白线所分界的圆弧形窝状结构，沿着这条白线分割出蝶鞍区域。具体的标注规则为：以鞍结节顶点（TS）为起点，鞍背顶点（DS）为终点，沿着骨白线勾画蝶鞍轮廓，然后连接DS点和TS点，所形成的闭合区域即为蝶鞍分割的ground-truth。如图2所示，标注完成之后每张图像会生成一张对应的掩膜图像。所有图像的标注由同一名观察人员来完成，并请一名经验丰富的正畸科医生对标注结果进行复核，对存在争议的图像进行讨论并重新标注，确保ground-truth的可靠性。

1.2 蝶鞍自动分割模型的建立

1.2.1 实验环境

实验环境配置如表1所示。

1.2.2 数据预处理

在训练蝶鞍的自动分割网络之前，先要对所有的图像做预处理，主要包括三个预处理操作。①ROI提取，目的是剔除图像中的无关背景。由于原始图像分辨率为1935*2400，而待分割目标蝶鞍在原始图像中只占一小块区域，若将原始图像整个输入到分割网络中进行训练，会极大的浪费计算机的显存资源，且不利于蝶鞍的特征提取。目前医学图像ROI粗提取方法主要有基于先验知识[8]、模板匹配和基于目标检测的边框回归等。在Song等人的研究中运用模板匹配的方法完成ROI的自动提取，将一副测试图像与所有训练图像配准需要大约20分钟[9]，比较耗时。而基于目标检测的边框回归需要增加大量的模型参数[10]。考虑到数据集中图像的尺寸相同，同时，虽然不同人的蝶鞍形态不同，但蝶鞍在不同头颅侧位片上的位置变化范围不大。因此，我们考虑基于先验知识，通过设定坐标参数并调用OpenCV中的函数，完成ROI提取。坐标参数为image[y1：y2，x1：x2]，其中，（x1，y1）为ROI的左上角坐标，（x2，y2）为ROI的右下角坐标。就本实验而言，我们随机观察10张图像的蝶鞍位置，将坐标参数设置为[800：1200，600：1000]。然后调用OpenCV中的相关函数，基于坐标参数遍历并剪裁数据集中的所有图像，即可快速准确的完成ROI的提取。②直方图均衡化，目的是增强图像的对比度。通过直方图均衡化处理，可以使蝶鞍的形态结构在图像中更加清晰。③中值滤波，目的是去除图像中孤立的噪声点。中值滤波既能去除一些孤立的噪声点，又能保持图像的细节。经过预处理操作后，所有图像变为400*400大小的单通道图像。图像的预处理过程如图3所示。

1.2.3 训练U-net实现蝶鞍的自动分割

U-net是一个基于卷积神经网络的图像分割网络，常用于医学图像的分割[11]。U-net的网络结构主要由卷积层、最大池化层、反卷积层、跳跃连接以及非线性激活函数Relu组成。本研究将训练数据集中的360张预处理之后的图像及其对应的掩膜图像输入到U-net中进行训练，训练好的自动分割网络模型能够自动分割出测试图像中的蝶鞍。在本研究中，U-net网络模型的超参数设置如表2所示。

Dice系数是一种集合相似度度量函数，常用于验证图像分割模型的分割精度。本研究使用Dice系数来评估蝶鞍自动分割网络模型的分割性能，Dice系数的定义如下：

[Dice=2A∩BA+B]

其中，A表示ground-truth的集合，B表示利用模型预测的分割结果[12]。待模型训练完成之后，保存分割表现最好的模型作为最佳模型，运用最佳模型自动分割测试集中所有图像的蝶鞍区域，分割结果保存为二值图像。蝶鞍的自动分割过程如图4所示。

1.2.4 分割结果的后处理

部分自动分割结果中可能存在一些小的噪声斑点，因此需要做进一步处理，去除自动分割结果中的噪声斑点。后处理操作首先使用OpenCV库中的“findCountours”函数，来检测二值分割结果中所有独立对象的边界，然后仅保留内部具有最大数量像素的单个边界，即可实现噪声斑点的去除。完成后处理操作后，所有二值图像中惟一的白色联通区域即为对应的蝶鞍分割结果。图5所示为图像执行后处理操作的一个示例，其中5a为测试集中的一张待分割图像，5b为基于自动分割网络的分割结果，圆圈中的白色斑点为自动分割结果中的噪声点，5c为执行后处理操作后的分割结果。可以看出，后处理操作可以有效的去除分割结果中的噪声点。

2 实验结果

在本研究中，使用训练数据集中的360张图像对U-net进行训练，直到loss收敛、Dice系数没有更多改善时训练停止。U-net模型训练过程中的loss变化曲线和Dice系数变化曲线如图6所示。从图6中可以看出，经过1-6个epoch，loss快速收敛，Dice系数已经接近0.9。随着epoch的增加，Dice系数略有改善。

经过50个epoch的训练，分割网络的Dice系数达到0.9074，使用表现最好的模型分割测试数据集中的图像，可以在半秒内完成蝶鞍的自动分割。图7展示了测试数据集中多个图像的蝶鞍分割结果。

3 结束语

蝶鞍对临床医生预测患者颅面发育、评估颅面形态特征、发现脑垂体异常或病理改变具有重要的提示作用。我们初步提出并评估了一个基于深度学习实现蝶鞍的自动分割新方法，能够快速、准确的在头颅侧位片上分割出蝶鞍区域，为蝶鞍形态的自动分析测量提供了可能。目前关于蝶鞍自动分割的研究较少，Shakya等人于2022年提出了一种使用卷积神经网络在头颅侧位片上自动分割蝶鞍的新技术，他们的研究比较了VGG19、ResNet34、InceptionV3和ResNext50实现蝶鞍自动分割的分割性能，得到的Dice系数分别为0.7794，0.7487，0.4714，0.4363[4]，与该研究相比，我们达到的Dice系数为0.9074，自动分割精度有明显提升。对比两项研究，我们的方法主要在图像的预处理上做了一些改进，通过ROI提取、直方图均衡化和中值滤波提高图像质量，使分割网络能够更容易完成对图像的特征提取。此外，我们的研究增加了后处理操作去除分割结果中的斑点噪声，进一步提高了自动分割结果的准确率。

虽然我们的方法有效地实现了蝶鞍的自动分割，但是研究中仍有几点有待完善。第一，實验使用的图像数量较少。对于深度学习算法，训练样本量的增加理论上可以提高模型的分割性能。第二，使用的分割模型较为单一。如果能够对算法进行一些改进，如在模型架构中加入注意力机制或残差结构等，可能会获得更好的分割性能。第三，因为蝶鞍形态的研究大多是在二维图像上进行的，所以本研究以二维图像为研究对象。但随着CBCT技术的临床应用，一些研究者开始关注三维图像上的蝶鞍形态[13]。因此，后续工作中我们可以尝试实现三维图像上的蝶鞍分割。我们主要有两点设想。①通过增加样本量、改进算法进一步优化蝶鞍的自动分割性能。②在蝶鞍的自动分割结果上，利用蝶鞍轮廓上的特征点和OpenCV中的相关技术，进一步实现蝶鞍形态的自动测量，为蝶鞍的形态研究提供一套完整的自动测量分析工具。

参考文献（References）：

[1] MUHAMMED F K， ABDULLAH A O， LIU Y. A

morphometric study of the sella turcica： race， age， and gender effect [J]. Folia Morphol （Warsz）， 2020，79（2）：318-26

[2] KJAER I. Sella turcica morphology and the pituitary gland-

a new contribution to craniofacial diagnostics based on histology and neuroradiology [J]. Eur J Orthod，2015，37（1）：28-36

[3] ANDREDAKI M， KOUMANTANOU A， DOROTHEOU D，

et al. A cephalometric morphometric study of the sella turcica[J]. Eur J Orthod，2007，29（5）：449-56

[4] SHAKYA K S， LADDI A， JAISWAL M. Automated

methods for sella turcica segmentation on cephalometric radiographic data using deep learning （CNN） techniques [J]. Oral Radiol，2022

[5] AHN Y， YOON J S， LEE S S， et al. Deep Learning

Algorithm for Automated Segmentation and Volume Measurement of the Liver and Spleen Using Portal Venous Phase Computed Tomography Images [J]. Korean J Radiol，2020，21（8）：987-97

[6] PARK J H， LEE S J. Ultrasound Deep Learning for Wall

Segmentation and Near-Wall Blood Flow Measurement[J]. IEEE Trans Ultrason Ferroelectr Freq Control，2020，67（10）：2022-32

[7] 鄭博文，边慧慧，刘奕，等.蝶鞍的类型和鞍桥的发生率[J].

口腔医学，2016，36（8）：756-60

[8] 方宏文.基于多先验知识的乳腺病灶显著性检测算法研究[D].

硕士，广东工业大学，2021

[9] SONG Y， QIAO X， IWAMOTO Y， et al. Automatic

Cephalometric Landmark Detection on X-ray Images Using a Deep-Learning Method[J]. Applied Sciences，2020，10（7）

[10] WANG G， LI W， OURSELIN S， et al. Automatic Brain

Tumor Segmentation Using Cascaded Anisotropic Convolutional Neural Networks[M].Brainlesion： Glioma， Multiple Sclerosis，Stroke and Traumatic Brain Injuries，2018：178-90

[11] YIN X X， SUN L， FU Y， et al. U-Net-Based Medical

Image Segmentation[J]. J Healthc Eng，2022：4189781

[12] SHAMIR R R， DUCHIN Y， KIM J， et al. Continuous Dice

Coefficient： a Method for Evaluating Probabilistic Segmentations[J]. bioRxiv，2018：306977

[13] AKAY G， EREN I， KARADAG O， et al. Three-

dimensional assessment of the sella turcica： comparison between cleft lip and palate patients and skeletal malocclusion classes[J]. Surg Radiol Anat，2020，42（9）：977-83