机器学习在口腔植入体无损测量中的应用

李晨，张家伟，齐守良，王丹宁

1. 东北大学 医学与生物信息工程学院，辽宁 沈阳 110819；2. 中国医科大学 口腔医学院，辽宁 沈阳 110122

引言

口腔健康是人类一直无法忽视的一个重要问题，口腔医学应运而生并迅速发展[1]，口腔医学理论与实践也在不断更替，其中口腔曲面计算机断层扫描（Computed Tomography，CT）技术在口腔医学的发展中起到了弥足珍贵的作用[2]。曲面CT使用计算机与CT机相结合的手段，将螺旋式的CT数据合并为一张曲面CT图像[3]，有助于从三维角度对口腔组织情况进行分析[4]。

自从上世纪60年代的Br-nemark教授研制并开发出了应用钛金属的骨结核理论之后[5]，口腔植入技术开始在民间普及，随之而来的口腔种植技术也飞速发展[6-8]。但是在医院中就诊的病人常常会遇到老旧病历或者档案丢失的问题，无法确定已经植入的植入体规格，这种情况会对植入体的更换与维护造成较大的困难。在这种情况下医生通常会使用肉眼粗略估测植入体规格，或使用计算机进行半自动测量，又或购买专业的硬件设备进行测量[9]。医学界暂未有将机器学习应用于口腔植入体检测领域的先例。因此，精准地测量植入体规格对于检测患者口腔内骨骼的稳定性以及提高植入手术的安全性起着重要作用。

相比以上方法，本文提出的口腔植入体无损测量方法具有以下特点：相比肉眼观测的巨大误差，使用本方法可使结果更加精准；相比使用计算机软件（如CliniView）进行半自动测量，本方法更加智能，也更加适应大数据的发展趋势下老旧病例的整理；相比使用专业的器材进行测量，本方法节省了成本，只需要较低的投入就可以有可观的成果。本文同时也为人体其余位置植入体（如骨钉、接骨板等）的检测提供了新的思路与方法。

1 方法

1.1 方法的整体流程

图1为本研究的研究技术路线，包括七个步骤。

图1 项目流程示意图

（1）从医院获取的大量数据作为原始数据。

（2）需要对其先进行合理的筛选，本数据库主要使用了手术后的、含有植入体的图像。

（3）由于数据库中的图像的格式与尺寸等信息不尽相同，需要对其进行预处理，包括统一格式与尺寸，方便后续的特征值提取。

（4）手动截取了不同的口腔植入体为训练组，其中包括：单植入体，双植入体和多植入体三种情况，每种情况各选取了200张作为positive训练集，截取了其他随机区域作为negative训练集。

（5）通过训练集提取的纹理特征训练分类器，主要提取了灰度共生矩阵（Gray-Level Co-occurrence Matrix，GLCM）和方向梯度直方图（Histogram of Oriented Gradient，HOG）作为分类特征。

（6）再用训练好的分类器对测试集进行分类，得出分类结果并计算其准确率。

（7）通过训练的模型提取图像中植入体的位置，通过提取规格统一的钢珠直径作为标准，计算植入体实际大小并计算其误差值。

1.2 纹理特征提取

1.2.1 GLCM

GLCM是一种经典的图像纹理特征，它通过测量两个像素之间的空间位置信息来反映纹理特性。纹理特征指的是两个像素之间的灰度关系：以一个像素为基准，找到包裹着它的八个方向上的像素与基准像素的对应关系。而GLCM就是将空间上两个像素之间的联合共生矩阵集中起来而形成的一种纹理特征[10-13]。

1.2.2 HOG

HOG是运用在图像处理中识别图内物体与图像纹理特征的一种经典方法[14-15]。其原理为：选择图片边缘区域的梯度并提取其密度分布系数。对于一张全局的图像来说，先将其分为以像素为基准的子图，不同的子图即为不同的单元。接着计算其方向梯度值并将其存入矩阵中，然后将所有的子图按照原始图像进行整合，从而构成HOG。由于本研究所使用的图片尺度多样性高，图像中的内容比较丰富，所以采集的HOG特征维度不同，因此需要将HOG特征归一化为一个36维向量（4个区块，每个区块9个方向）。

1.3 径向基核函数

径向基（Radial Basis Function，RBF）核函数的本质是高斯核，而SVM的主要核心之一就是RBF核函数。RBF核函数使用非线性变换将低维空间的随机矢量映射到高位特征空间并在其中设计线性学习算法。当用其训练SVM分类器，需要定义惩罚系数C和，较小的C会使决策表面更加平滑，而则定义了单一训练样本的影响力[16-19]。

2 方法

2.1 口腔曲面CT图像数据库

本研究采用中国医科大学口腔医院提供的420张曲面CT图片作为实验数据，并截取口腔内包含植入体的区域作为Positive训练集，随机截取其他区域作为Negative训练集。其中Positive训练集包括：单植入体，双植入体与多植入体数据各200张，Negative训练集200张。训练集如图2所示。

图2 植入体训练集示意图

2.2 实验数据与设置

2.2.1 分类器选择

提取训练集的GLCM与HOG特征作为训练数据，然后分别使用不同的分类器对其进行训练，并用十折交叉验证来评价其准确率，结果如表1所示。

表1 不同分类器在十折交叉验证下的准确率

通过表1中实验结果对比发现，RBFSVM是分类准确率最高的分类器，所以本系统接下来将使用RBFSVM分类器作为识别口腔内植入体区域的学习算法。

2.2.2 SVM训练

本实验对GLCM与HOG两种特征的机器学习分类效果进行比较，其最终分类结果如图3所示。

图3中蓝色的点代表了Negative集的特征所在位置，红色的则代表了Positive集的特征所在位置，红色集与蓝色集之间有比较明显的区分。其中以GLCM特征训练的分类器准确率和以HOG特征训练的分类器准确率相差甚微，所以在本次项目中，将选择若干分类器中准确率最高的，即准确率为96.7%的以GLCM特征训练的RBFSVM分类器。

图3 SVM分类训练后的分类结果

2.2.3 准确率评价

在机器学习中，准确率评价是对于一个分类器性能最好的性能参考指标。为了测试以GLCM为特征的分类器准确率，准备了200张随机区域的图片，其中100张包含植入体，100张不包含植入体。经过测试后得出，100张含有植入体的图像识别准确率为97%，而不含植入体的图像识别准确率为90%。系统对于含有植入体的部分识别精准度比较高，证明了RBFSVM分类器及GLCM特征的有效性。

2.2.4 接受者操作特征曲线

在案例实施过程中，教师的核心地位很重要，要求教师熟悉和理解案例，具有渊博的知识，缜密的逻辑分析能力，具有较强的控制和驾驭课堂的能力，通过案例教学可以考验教师的业务水平，提高教学水平和教学质量，使教师认识到自己的不足和短板，从而加强自身对理论知识和工程实践的学习，将理论教学与实践环节紧密结合起来，促进知识与能力的有机结合，只有这样才能使培养出的学生具有创新能力和工程实践能力，成为应用型高级纺织专业人才。

接受者操作特征（Receiver Operating Characteristic，ROC）曲线，在曲线上的各个点代表了一组信号发射入系统之后，对这个信号的感受性曲线[20]。在ROC曲线中，对角线代表了纯机遇线，即不加任何训练，完全随机分类的一条分界线，那么曲线离对角线越远，代表分类结果越准确，本系统使用的RBFSVM分类器的ROC曲线如图3所示。

观测到RBFSVM分类器的ROC曲线越接近于正方形，其分类结果越准确，大部分击中点都可以落在远离纯机遇线的位置。在图4中，以不同判断标准下的虚报概率为横坐标，以击中概率为纵坐标，得出此分类器的辨别能力比较强。

图4 RBFSVM分类器ROC曲线示意图

2.3 植入体检测

由于口腔内植入体具有单、双、多等情况，所以本项目分别训练三种不同的分类器，然后分别进行植入体的识别。经过测量，在口腔曲面CT图像中齿区的位置一般在图像的横坐标的0.3～0.7倍之间，见图5红框内容。

图5 齿区在曲面CT中的范围

为避免错误识别，本系统将图片扫描的范围选取在以上所标定的范围之中。本系统为单、双、多植入体分别设计了多尺度滑动窗口，可以更加精准地识别出植入体的所在区域。在多次对比实验中确定了准确率最高的滑动窗口尺度，其中，单植入体为50×80像素，双植入体为100×100像素，多植入体为150×100像素。

匹配方案的核心思路如下述，RBFSVM可以量化每一块区域接近Positive与接近Negative的程度，例如，对图像进行扫描的过程中截取到一张子图，而且其中包含着植入体，那么它的Positive系数一般高于0.95，而其Negative系数则比较低。针对以上思路，本系统将扫描过程中所有截取到的子图的Positive系数与Negative系数全部保存为一个矩阵，然后分别提取其最高值与最低值，那么最准确的植入体截图区域就是Positive系数最高的那个部分。单植入体、双植入体与多植入体测试结果如图6～8所示，黄框为自动检测的植入体位置。

图6 单植入体测试结果

图7 双植入体测试结果

图8 多植入体测试结果

接着，需要对三个分类器进行协同使用。预期目标为输入一张口腔曲面CT作为测试图像，无论其中有几个植入体，也无论植入体存在于几个不同位置，都可以准确地将植入体识别出来。为了将两个不同的位置都有植入体的图像中的植入体全部识别出来，提出以下解决方案：由于两个位置都有植入体，所以如果按照只有单个区域存在植入体的方法来识别，选取的位置只有Positive系数最高的区域，所以只能识别出两块区域中的其中一块如图9所示。

图9 多植入体检测缺失

因为之前保留过三种分类器的Positive系数，这个过程中需要将三个系数都保存起来并分别提取其Positive系数的最高值，这样就可以在扫描图片的过程中，找到三个值中最高的那个，代表此分类器的训练结果与扫描的区域相似度最高，将其标记出来即可。

关于如何处理多位置植入体的问题，本系统采用了限制其相对位置的方法。在一张图片中，含有植入体的子图Positive系数必然很高，所以需要将上述的Positive系数进行降序排序，提取其前一百位的位置信息，这样一幅图片中所有包含植入体的位置都可以被提取出来。但若将这些区域全部标记出来，会标记很多重复植入体的位置（图10）。

图10 标记所有植入体

为了避免出现图10的情况，本系统限制了两块区域的相对位置，因为如果是同一个植入体的不同截图被选取时，两个子图的相对位置都必然在100×100像素之内，而如果两个区域有不同的植入体，那么必然大于这个范围。所以本系统在做每一次扫描的过程中，当判断到其中含有植入体时，都会记录其位置信息，然后检索Positive系数在前100位的位置信息，如果其位置信息与当前已经记录的Positive系数最高值的位置的相对距离在100像素以内的话，那么忽略这个区域，直到找到与系数最高的位置的相对距离大于100像素的子图，截取这个区域并且测算其特征值。

最后的结果如下所述，先将图片的齿区全部扫描三遍，用单、双、多植入体的分类器对其进行分类，分别记录其Positive与Negative值，然后进行排序，记录其最高值。接着重新扫描图像，当选取到的位置的Positive系数与上述的Positive矩阵的最高值相同时，标记这个区域并记录其位置信息，然后接着扫描，若Positive系数在Positive矩阵的前100位，Negative系数在Negative矩阵的后100位并且位置与之前记录的区域不相邻时，标记这个区域并记录其位置。最后测试的图像采集了随机6张图像，得出的结果如图11所示。

图11 随机测试数据结果展示

2.4 植入体规格测量

在识别出植入体的范围之后，需要测量植入体对应的实际规格参数。先将植入体部分的区域截取出来并对其进行二值化操作以避免灰度对于结果的影响，然后对其进行一系列形态学处理，如去噪、腐蚀、膨胀等操作，最后提取的植入体为比较完整的植入体形状。然后提取植入体的形状特征，其中长轴与短轴分别用来计算植入体的长度和直径，可用如下方法计算长轴、短轴的像素与植入体实际规格的比例系数。

如图12所示，植入手术过程中会在患者口腔内放置一枚直径为5 mm的钢珠，本实验采用此钢珠作为参照物，用以计算植入体的实际规格。其中，黄色窗口标记检测到植入体的位置，蓝色窗口标记检测到钢球的位置。由于口腔曲面CT成像过程中对图像产生一定形变，导致钢球并不是理想的圆形，所以其直径可以通过计算钢球的长轴与短轴的平均值来获得。

图12 检测钢球以及植入体示意图

提对植入体尺寸进行测量如图13所示。为了对植入体尺寸进行测量，首先对植入体所在区域图像进行图像分割。可以看出阈值处理将牙齿和口腔内骨骼等大部分都已经去除，植入体的轮廓被很好地提取了出来。但是其中孔洞比较多且表面相对不规则，所以使用形态学操作对其进行完善以便于尺寸测量。

图13 口腔曲面CT植入体检测示意图

先用[0 1 0,1 1 1,0 1 0]的结构元对图像进行膨胀操作来对植入体的边缘进行完善。看出膨胀后的图像边界更加圆润，可以避免提取形状特征时将一个植入体分为多个部分而影响测量准确性的情况，但是其中还有一部分孔洞未填充，对其进行孔洞填充操作并使其形成完整的植入体图像，然后测量植入体图像的长轴与短轴。如图14所示，结果为长度为15.36 mm，直径为4.00 mm。

图14 植入体测量示意图

3 结果

由表2可得，本文提出的全自动方法与医院实际使用的半自动CliniView软件的测量结果只存在极小的差别，绝大多数差距都在2%以下，充分证明了该方法的有效性与潜在的应用可行性。

表2 本文方法与CliniVIew结果对比

将得到的结果与CliniView测量出来的结果作比较，每一张图片经由三次测量，取其平均值。

4 讨论

本项目针对口腔曲面CT图像使用分段阈值、形态学处理等方法完成预处理，通过对比多种分类器与纹理特征，确定了基于GLCM的RBFSVM分类器作为植入体检测方法，并通过近似计算方法达成全自动无损测量植入体规格的目标，获得了与医院使用的半自动CliniView软件高度接近的结果。

本文的口腔植入体无损检测系统不仅具有高度的识别与计算精度，还能应用于计算人体中其余无法取出测量的植入体的规格，如骨钉、接骨板等。

本文提出的方法也需要做出一定的改进：① 在识别的过程中仍然有错误识别的问题，下一步需要对算法进行优化；② 本项目虽然比较了很多分类器，但却只比较了两种特征，还有很多其余纹理特征没被用到，下一步将融合更多特征用于分类器的训练；③ 在最终测算植入体长度与植入体直径的过程中，对阈值处理过的图像进行长短轴检测的时候也会存在一些误差，还不够精准，下一步将改进阈值处理算法，提升检测精度。后续可以继续使用特征融合与深度学习进行研究。