刘宝龙,孙 萍,陈 桦,王秀斋(.西安工业大学计算机科学与工程学院,西安700;.西北医疗器械(集团)有限公司,咸阳7000)
义齿窝洞预备体三维重构关键技术研究*
刘宝龙1,孙萍1,陈桦1,王秀斋2
(1.西安工业大学计算机科学与工程学院,西安710021;2.西北医疗器械(集团)有限公司,咸阳712000)
摘 要:义齿窝洞预备体的数字化评估目前在我国还是空白,该类产品主要由国外垄断.基于激光三角测量法的义齿窝洞预备体三维重构技术以制备的窝洞预备体为测量对象,利用非接触式三角测量技术获取预备体表面形态的数据信息,采用K-D(K-Dimension,K-D)树搜索策略实现ICP(Iterative Closest Point,ICP)算法中对应点的选取,将ICP拼接后的数据分为四个块,保留每个相机径向上的部分,在此基础上通过去噪、消差、三角面法等技术实现被测预备体的三维重构.结果表明,本分提出的解决方案能够客观的呈现窝洞预备体的三维形貌.与国外同类技术比较,在保证三维点集配准精确度的情况下,有效提高了系统的整体运算速度.
关键词:激光三角测量;三维重构;窝洞预备;K-D树;ICP算法
基金资助:陕西省科技统筹创新工程(2014KTCQ01-22);陕西省特种加工重点实验室开放基金(ST-12011)
口腔医学具有很强的技术性和实践操作性,要求口腔医师具有过硬的心理素质和熟练的操作技能,要达到这些要求,就必须在临床实践中不断地锻炼和积累,这是一个长期的磨练过程.然而,目前我国大部分口腔医学院校的实验室教学还处于基础实验室教学水平,主要利用模型或离体牙,观察和重复带教老师的操作来进行操作学习.在这种情况下进入临床,会立刻发现口外模型操作与临床实际之间的巨大差异,出现不敢进行临床操作的现象,导致临床操作水平提高缓慢.同时在口腔科临床教学过程中,操作过程的规范性和操作技能水平主要由考核老师根据经验来进行考核,在考核过程中必然引入很大的主观性,且容易出现错误的评价[1-2].
基于激光三角测量法的义齿窝洞预备体三维重构技术以制备的窝洞预备体为测量对象,采用非接触式三维测量技术,将制备的窝洞预备体客观呈现,能够直观的显现窝洞制备过程中存在的问题,解决了肉眼观测存在的主观性.缩小了实践和临床之间的差距,使口腔医学操作者在前顺利掌握一些基本的临床操作技能,如医患体位的调节、支点的选择、口镜牵拉组织的手法、保护操作区邻近组织的方式、以及牙体预备和软硬组织手术操作等,实现理论学习与临床实习间的平滑过渡.目前的口腔教学评估系统主要包括美国公司的DentSim系统、德国公司的Ka Vo系统以及日本公司的CLINSIM系统,我国在该领域没有实现口腔教学评估系统的产业化.
本文以义齿窝洞预备体为测量对象,采用非接触式激光三角测量法获取预备体的点云数据,研究了测量系统标定、点云数据的搜索、拼接及三维重构及系统误差分析等关键技术.
1.1 硬件系统组成
为了获取窝洞预备体的三维测量数据,系统由两个CCD(Charge-coupled device,CCD)相机,激光器,工作机台和计算机组成,如图1所示[2],计算机通过串口控制激光器进行激光线投影,CCD相机通过USB2.0与计算机连接并传输采集到的光条图像.然后由计算机进行相移解码等处理,最后得到被测牙齿的三维点云数据.
同时,三维测量及定位系统在评估系统中能够实现相关区域的位置、长度、面积等测量,并根据位置信息,建立屏幕坐标、相机坐标之间的对应关系.
1.2 系统总体结构
在图1原理的基础上,文中的系统总体结构如图2所示,激光源发出激光线,计算机发出指令由电机控制电动平移台(电动旋转台)进行运动,制备的窝洞预备体由牙齿夹具(基台)固定在电动平移台(水平支架或者电动旋转台)上,激光线扫描运动的窝洞预备体,两个CCD相机收集激光线扫描的数据,CCD相机通过IEEE1394与计算机连接并传输采集到的光条图像,然后由计算机进行相移解码等处理,最后得到被测牙齿的三维点云数据.由于传输到计算机中的点云数据受外界噪声和光等的影响要经过拼合、消差和去噪等操作后,数据以三维立体图像呈现.
图1 系统组成Fig.1 System components
图2 系统总体结构图Fig.2 System architecture
2.1 系统标定
测量系统标定是指确定测量系统的结构参数,其目的是为了确定牙齿的世界坐标和图像坐标之间的非线性关系.根据这一非线性关系,对牙齿三维曲面的形态信息进行提取后可以重构出其三维形貌.系统标定结果的精度直接影响到后续牙齿模型重构的精度,因此它是一个重要的因素.
由于测量过程中的物距、像距及系统结构参数间具有非线性关系,并且这些结构参数在实际中很难测量,通常解决这个问题的方法是测量几个样本点对应的物距、像距值,再把物像关系线性化后用最小二乘法拟合,或者采用查表和线性内插结合的方法.第一种方法对基准点附近的位移不能标定,且拟合误差随位移增大而增大;第二种方法为了再内插区间内用直线代替曲线,要进行较细的划分[3].
利用三坐标测量机在已知的一系列不同的世界坐标点处获取激光线图像,通过提取激光线与牙齿的边缘点的像素坐标值解出标定矩阵,从而得到激光线中心成像的图像坐标和对应的世界坐标的映射关系,并且同时对三个方向进行标定,弥补了仅对深度方向进行标定的方法的不足.
采用平面靶标(靶标坐标系)为中介进行传感器标定[4-5],如图3所示.
图3 立体视觉模型Fig.3 The model for stereovision
将(1)式中Xw消去后得到
若用R和T表示两个摄像机之间的几何关系,由式(2)可得
以平面靶标为中介,进行传感器标定的同时也可完成摄像机的标定.这种方法的优点是将摄像机标定与传感器标定合二为一,简化了标定步骤,操作简单、方便,而且精度较高.
2.2 窝洞预备体三维重构技术
通过对预备体进行三维测量得到预备体表面几何数据,在测量数据上进行拼合、消差、去噪等预处理后,对点云数据构造可操作的三角网格实体模型.在三维重构过程中,本文选用数据点拟合逼近的三次B样条曲线,其具有最近逼近和较好收敛性等特点.B样条曲线[6]可定义为
式中:Pi为控制点;Ni,k(u)为k+1阶基函数;u为曲线中的位置,取值;k为样条曲线的阶次;n为数据点个数;t0~tn+k为节点值.控制点数越多,精度越高,但计算复杂,也更容易出现奇异现象,因此在满足精度的前提下尽量减少点数.本文中曲线重建时首先根据待拟合数据点提取n个特征点数据,此时曲线的控制点为n+1个,样条点为n+k+2个,运用最小二乘法反求控制定点,并得到初始拟合曲线,在误差范围内调整控制点,得到最终的拟合结果.
曲面是沿着u方向的B样条曲线和沿着v方向的B样条曲线交织而成,其曲面可以表示为
式中:Pi,j为(n+1)×(m+1)个控制点阵;k×l为样条曲面的阶次.
2.3 点云数据的径向拼接
传统ICP算法是靠迭代求解最近点来实现的,在所求数据量不大的情况下,传统ICP算法在配准速度和精度上都基本能满足要求.但传统的算法对海量数据进行迭代计算就会出现速度慢、效率低的现象,文中采用K-D tree加速的ICP算法[7].这样就会降低迭代搜索最近点的时间,加速了传统算法的速度,提高了工作效率.
不同视野下的两组数据点云A=(a1,a2,…,an),B=(b1,b2,…,bm),A,B中点的主曲率分别为k1(a1),k2(ai)(1≤i≤n),k1(bj),k2(bj)(1≤j ≤m),对点云A中的每个点ai∈A,在点云B中寻找所有与aj的曲率相近的点bj,并满足式(5)的条件[8]
所有曲率相近的点构成一个配对点云,分别记为P,Q,其中P∈A,Q∈B对每个配准点对pm∈P,qn∈Q,求出使pm和qn法矢量方向一致且坐标重合的三维变换,并用该变换对B进行旋转和平移变换,完成拼接.
对比左右相机的数据如图4所示,在相机的径向方向,被测物体表面倾斜度小,获得的点数数据失真较小.把ICP拼接后的数据分为四个部分,保留每个相机径向上的部分.
图4 左右相机数据拼接Fig.4 Image stitching of left and right CCD
2.4 ICP算法中的搜索策略
在测量结果进行左右数据补偿时,需采用ICP算法进行拼接,为提高测量结果精度,就需要增加采样的点数,这样势必会影响系统的运算速度,使得点云数据的处理时间过长.因此,提高运算速度的瓶颈是对应点的选取.本文采用K-D树搜索策略时,其基本思想是对搜索空间进行层次划分,如图5所示的搜索空间,及图6所示的层次划分.
在这一过程中,实际点云数据一般都会呈现出簇状的聚类形态,首先需要建立数据索引,然后再进行快速匹配,因此针对大量的点云数据(本文中产生的点云数据在50000个左右)设计有效的索引结构用以提高检索的速度是一个关键技术.经过试验对比,在35 121个有效点云数据下,迭代计算20步,基于几何距离的搜索策略耗时155.97 s,文中基于K-D树的搜索测量耗时3.6 s,因此文中采用的搜索策略大幅提升了点云数据的处理时间.
图6 层次划分Fig.6 Divided levels
系统在研发过程中涉及到了硬件与软件的设计与开发,是一个系统工程.因此,各个环节的误差控制对最终测量结果与评估结果的客观性有着至关重要的影响.本系统中激光三角测量的基本构造如图7所示.
图7 激光三角测量Fig.7 Laser triangulation
由图7的测量原理可知,被测预备体的位移改变引起光敏元件上的成像点产生位移,而光电检测器件输出的电信号与光斑的中心位置有关,通过对光电检测器件输出的电信号进行运算处理就可获得传感器与被测预备体表面之间的距离关系.因此,测量误差与被测预备体表面特性(粗糙度、颜色、曲率半径)和预备体表面倾斜度有关[9].
图8 预备体倾角与误差关系Fig.8 Relationship between preparation obliquity and error
从图8可以看出,在相机径向的径向方向,被测预备体表面表面倾斜度小,获得的点云数据失真较小.同时,软件在对点云数据进行预处理时会进行去噪,以及后期数据的拼合都会对数据的客观性产生误差.
本系统中能控制的测量误差主要为激光束强度、光束直径大小及被测义齿表面倾斜度,尤其是旋转扫描时机台的倾斜度。采用聚焦深度长等特点的无衍射贝塞尔光束作为激光源能满足误差范围内的测量要求。针对倾斜度引起的误差,采用误差补偿的方法给出测量补偿曲线,来修正测量值.
本文基于激光三角测量的义齿窝洞预备体三维重构关键技术。在提出的硬件结构基础上,采用标靶坐标系完成了系统的标定;采用K-D树搜索策略实现ICP算法中对应点的选取,通过去噪、消差、三角面法等技术实现被测预备体的三维重构。该研究成果能大幅提高口腔实验教学的工作效率,为口腔评估系统的国有化奠定了基础.
参考文献:
[1] 施敏.口腔医学临床前实验教育[J].西北医学教育,2009,17(4):831.SHI Min.Stomatological Preclinical Practical Skill Training Education[J].Northwest Medical Education,2009,17(4):831.(in Chinese)
[2] 刘宝龙,孙萍,闫涛,等.牙齿窝洞预备标准化数字教学评估研究[J].西安工业大学学报,2013,33(9):712. LIU Baolong,SUN Ping,YAN Tao,et al.Research on Cavity Preparation Skill Evaluation for E-Education[J].Journal of Xi’an Technological University,2013,33(9):712.(in Chinese)
[3] DURET E,TERMOZ C.Method of Making a Prosthesis,Especially a Dental Prosthesis:US,US4742464 [P].1988-05-03[2015-05-14].http://xueshu.baidu.com/s?wd=paperuri%3 A%28e0111 bf17 eacb 4650 988 c1 fbd0007 f5d%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2E%2Ewww.freepatentsonline.com%2E4742464.html&ie=utf-8.
[4] 陈明舟.主动光栅投影双目视觉传感器的研究[D].天津:天津大学,2002.CHEN Mingzhou.Research on Sensor for Binocular Vision Based on Line Eringe Projection[D].Tianjing:Tianjing University,2002.(in Chinese)
[5] 马颂德,张正友.计算机视觉——计算理论与算法基础[M].北京:科学出版社,1998.MA Songde,ZHANG Zhengyou.Computer Vision—Basics of Computing Theory&Technology[M].Beijing:Science Press,1998.(in Chinese)
[6] QURBAN M,SOHAIB K.Camera Calibration and Threedimensional World Reconstruction of Stereo-vision U-sing neural Networks[J].International Journal of System Science,2001,32(9):1155.
[7] 邹际祥.基于kd-tree加速的点云数据配准技术研究[D].安徽:安徽大学,2013.ZOU Jixiang.Research on Point Cloud Data Registration Technique Based on KD-Tree Acceleration[D].Anhui:Anhui University,2013.(in Chinese)
[8] 涂志强,张轲,杨成龙,朱晓鹏,黄洁.三维模型重建中点云ICP拼接算法的改进[J].焊接学报,2013,34 (1):97.TU Zhiqiang,ZHANG Ke,YANG Chenglong,ZHU Xiaopeng,HUANG Jie.Improved ICP Registration in 3D Model Reconstrcution[J].Transtractions of The China Welding Institution,2013,34(1):97.(in Chinese)
[9] 吴剑锋,王文,陈子辰.激光三角测量误差分析与精度提高研究[J].机电工程,2003,20(5):89.WU Jianfeng,WANG Wen,CHEN Zichen.Analysis of Error in Triangular Laser Measurement and Method of Improving Accuracy[J].Mechanical&Electrical Engineering Magazine,2003,20(5):89.(in Chinese)
(责任编辑、校对 张立新)
Research on 3D Model Reconstruction for Cavity Preparation Based on Laser Triangulation
LIU Baolong1,SUN Ping1,CHEN Hua1,WANG Xiuzhai2
(1.School of Computer Science and Engineering,Xi’an Technological University,Xi’an 710021,China;2.North West Medical Instrument(Group)Co.,Ltd,Xianyang 712000,China)
Abstract:Digtal evaluation of cavity preparation is still a gap in China.The products of this class are still monopolized by forerign companies.The 3D model reconstruction for cavity preparation based on laser triangulation took the dental cavity preparation as the object.The original data of dental surface were obtained by non-contact 3D scanning.The corresponding points in ICP algorithm were selected by using K-D tree searching policy,and the results were divided into four sections with each radial direction kept.The 3D model reconstruction was completed through denoising,triangular meshes techniques.The testing results show that the proposed method can present the 3D model of cavity preparation.Compared with other techniqnes abroad,the new method improves the efficiency of the system.
Key words:laser triangulation;3D reconstruction;cavity preparation;K-D tree;ICP algorithm
作者简介:刘宝龙(1976-),男,西安工业大学副教授,主要研究方向为XML安全技术及逆向工程.E-mail:liu.bao.long@hotmail.com.
*收稿日期:2015-05-20
DOI:10.16185/j.jxatu.edu.cn.2016.01.006
文献标志码:中图号: TP309.2 A
文章编号:1673-9965(2016)01-0026-05