赵晓晴,刘景鑫,王春月,张海涛,李慧盈
1.吉林大学 计算机科学与技术学院,吉林 长春 130012;2.吉林大学中日联谊医院,吉林 长春 130033
随着网络时代下科技的不断发展,仅仅依靠先前的医疗诊断技术已经不能满足医生和病人的要求。为此,研究人员将临床医学与计算机技术进行了交叉融合,借助计算机图像处理技术可以更大限度地快速、精确地确定人体病变的位置,并进行针对性的治疗。可以看到,计算机图像处理技术为临床医学进行治疗提供了十分重要的参考根据。
超声(US)[1-2]、磁共振(MRI)[3]、计算机断层技术(CT)[4-5]等现代医学成像设备以及相关技术不断发展,使得医学影像可视化备受关注,医学影像三维重建是其中的一个重要分支,其原理是通过相关算法,将在医院里拍摄的数字化影像在计算机里直观地用三维建模的方式展现。传统的医学影像技术只是通过用CT等技术拍摄人体某一断层的影像数据进行二维固定视角的观察与诊断,这需要医生有较好的实际经验,具有很大的主观性。而三维重建利用计算机技术对二维切片序列进行分析与处理,重建出三维模型,在计算机中定位病灶的具体位置、大小、形状以及同周边器官的关系,可以极大地提高医生诊断病情的准确率。
就医学影像器官的三维重建技术在国内外的现状而言,国际上的技术还是占主导地位。目前国外的可视化研究方面的软件有很多种,例如丹麦奥福斯大学提出的医学影像开源框架Gadgetron[6],纽约州立大学的VolVis[7]系统,麻省理工大学与哈佛医学院合作开发的开源软件3DSlice,另外还有开源可视化工具包VTK[8]和像Mimics[9]等功能卓越的商业系统等。但是上述大部分系统都非常昂贵,因为它们需要专门的硬件进行加速,另外要求存储容量大,计算速度高等性能,这些都要借助计算机系统和图形工作站。国内在三维重建领域也有了长足的进步,例如医学图像处理和可视化类库MITK[10],医学影像三维重建软件3DMed[11]都是由中科院自动化所研究和维护,除此之外,由清华大学组织,各个学校和相关机构配合,共同开发完成了基于二维序列的解剖影像三维重建系统,支持对血管、神经与骨骼的建模和可视化。本文从基于序列影像的腹部器官三维重建方法出发,通过对比不同方法的实验结果,最终采用移动立方体法重建腹部器官和脊椎的模型。
实验是基于CT影像的三维重建,因为CT[12]影像相对于PET[13],MRI等医学影像具有更高的分辨率和更多的结构细节。移动立方体法根据体素上8个顶点的函数值与等值面阈值的比较结果,构造索引表,进而确定体素与等值面是否有交点;如果存在交点,根据线性插值原理计算出交点坐标和等值面的法向量,从而构造出等值面;最后合并等值面来实现三维重建。该方法的流程图,见图1。
图1 腹腔内器官三维重建流程图
1.2.1 构造体素
根据二维的切片序列构成一个三维的体数据场,将数据场中上下相邻切片中的8个邻近像素点组成的立体结构称为体素,体素是三维数据场中的基本结构单元。体素模型,见图2,每个体素包含了12条边,8个顶点,各个顶点的坐标分别为 P0(i,j,k),P1(i+1,j,k),P2(i,j+1,k),P3(i,j,k+1),P4(i+1,j+1,k),P5(i+1,j,k+1),P6(i,j+1,k+1),P7(i+1,j+1,k+1)。
图2 体素模型
1.2.2 确定剖分方式
将空间中经过计算得到某个相同值的所有点集称为等值面,表示为集合{(x,y,z)|f(x,y,z)isova,其中isovalue是常数类型的等值,基于可视化要求来计算或指定(图3)。
图3 等值面
首先需要确定一个等值isovalue,相对于该值,一些体素与等值面存在交点,另一些体素则对应在等值面上面或者下面。各个顶点在每个体素中只有两种状态:大于等值面或者小于等值面,因此有28=256种等值面与体素的交叉方式。根据互补对称性,即体素的角点标记置反(也可以称为顶点状态翻转对称性)不影响该体素的三角剖分,也就不会影响表面的拓扑结构,这256种交叉方式就简化成128种。再根据旋转对称性(即旋转后,其等值面的拓扑结构不变)可以将这128种构型进一步简化成15种,见图4。
图4 体素与等值面15种组合情况
1.2.3 确定等值面与体素边界的交点
移动立方体算法假定数据场中的灰度值是连续变化的,那么对体素中8个顶点进行线性插值可以得到体素内任何位置的灰度取值。设P(x,y,z)是体素中的任意一点,根据线性插值运算,可得P点处的函数值,如公式(1)所示:
其中,系数ai(i=0,1,2,…,7)是立方体中8个顶点函数值。因为等值为isovalue,则等值面方程如公式(2)所示:
由此,可以计算出等值面与立方体边界面上的交线,联立方程组如下公式(3)所示:
设边界面方程为z=z0,带入公式(3)可以发现,最后表示的是一对双曲线,如果简单地用直线代替,就会引起误差,但是如果立方体很小,误差可以忽略不计。
如果体素的一个或多个像素小于用户指定的等值,并且一个或多个像素大于该值,则等值面一定与体素的边界具有交点。建立一个8位的立方体索引,将体素中的所有顶点与等值进行比较,确定该顶点是在内部、外部还是在等值面上,更新该索引中的对应位。定义一个查找表[14],由立方体的索引值作为查找表的索引,被用于查询包括基于等值面与体素交叉的三角形边缘连通性的边表edgeTable中的地址,1表示体素的边界与等值面有交点,如果没有则记为0。在图3中,顶点3在等值面之下,那么这个体素的索引就为0000 1000;等值面与边2、3、11相交,那么边表的索引就为1000 0000 1100。通过确定体素的哪些边与等值面相交,我们可以创建三角形面片,通过在等值面的内部还是外部来划分体素。
利用线性插值原理,等值面与体素的交点坐标可以用端点坐标计算得到,公式如下:
其中,P代表等值点坐标,P1,P2代表两个端点的坐标,V1,V2代表两个端点的灰度值,isovalue代表等值。
1.2.4 确定等值面的法向量
在计算机中对等值面进行绘制需要确定此时三角面片的法向量,如果面上一点的梯度矢量在面的切线方向的分量为0,那么可以直接用属于面的任意一点的梯度矢量的值表示等值面在这个点处的法向量,即
体素各顶点处的梯度矢量容易计算,同时体素与等值面的交点已知,那么可以通过体素顶点的梯度和交点来插值计算出三角面片各顶点的梯度矢量。通过三角面片直接计算其法向量比较浪费时间,但借助哥德罗模型,使用面的三个顶点的梯度矢量可以采用简洁的方法绘制出整个三角面片。设三维数据场中的某像素点的值是f(x,y,z),该点的梯度矢量(gx,gy,gz)的计算公式如下:
其中,Δx、Δy和Δz是该像素点在x,y,z轴方向上的采样间距,即体素的边长。
1.2.5 绘制渲染
三维图形的重建需要合并与体素有交点的等值面。采用递归算法,从一个等值面开始,通过合并相邻且包含在相邻体素内的等值面来生成任意大的等值面,根据判断出来的合并方向可以一直合并到不满足合并条件为止,并将最后的等值面作为下一次迭代的初始等值面。在合并过程中,三角面片的任意一个顶点处的法向量代表该面片的法向量(图5),一个正在合并且法向量为(Nx,Ny,Nz)的等值面IS试图去合并法向量为(Fx,Fy,Fz)的等值面F。
图5 等值面合并
合并成功必须满足以下条件:① (Nx,Ny,Nz)与 (Fx,Fy,Fz)之间的夹角必须小于给定阈值θ;② F中的三角面片到IS之间的最短距离必须小于给定阈值D;③ 连通的等值面F被合并到IS,而非连通的等值面则直接输出三角面片。
在满足上述3个条件的情况下,可以合并F。合并过程就是减少公共边的过程,见图6,等值面包含的边界边和内部边均被移除。
图6 三角面片的合并
实验算法在vs 2013开发平台上进行编写和测试,采用C++语言实现,使用openGL展示模型,实验数据来源于吉林大学白求恩第一医院。腹部CT多器官分割图像,见图7。
图7 腹部CT多器官分割
在实验之前已经进行了预处理,并且分别对肝、胃、脾进行了二维切片分割。对肝脏、胃、脾进行三维重建的效果图,见图8,并分别采用了不同的颜色加以区分。红色代表肝,黄色代表胃,蓝色代表脾。使用二维CT影像,应用移动立方体方法对分割结果重建脊椎三维立体结构(图9)。
图8 腹部CT器官三维重建结果
图9 脊椎三维重建结果
现代临床医学中,面绘制和体绘制是三维重建常用的两类方法。面绘制[15-16]是一个只绘制物体的表面,而不需要考虑物体具体的内部细节的绘制方法。体绘制[17-18]方法将数据场中的所有立体结构细节直接展现在二维图像上,该方法可以同时展现物体的内部和表面。实验分别采用了面绘制中的轮廓线方法、立方体法,剖分立方体法和体绘制中的光线投影法、错切变形法、域频法对腹部器官进行三维重建,并且与上述移动立方体方法进行对比。算法的重建效果、绘制速度和主要特点几个方面的总结评价,见表1。
基于上表的对比分析,从实验条件和算法质量等方面综合考虑,移动立方体算法易于实现;从实验结果上看,该算法可以满足大部分医学影像的三维重建需求。
医疗水平与民生直接相关,随着计算机技术在国内外的迅速发展,与之相关的医学影像处理成为计算机和医学领域共同关注的焦点。医学图像的处理影响着医疗系统的进步和发展,因此必须将先进的计算机技术与临床医疗和学术研究结合起来。
表1 医学影像三维重建方法对比表
单张二维影像尽管可以反映各个器官的结构分布、组织状态,但也仅仅局限在二维空间,有必要将分割处理后的影像序列构成一个立体模型,以三维的形式重塑组织和器官的形态。本文主要研究了基于移动立方体方法的脏内器官的三维重建,实验中根据二维腹部切片序列,重建了骨骼的立体模型;根据预处理和分割结果,重建了的肝、脾、肾的三维模型。
对于医学影像三维重建系统,实时性是非常关键的,如基于云计算分布式计算平台[19-20]可以应用到面绘制,发挥其原生支持分布式并行的特点,大大增强结果的精确性和实时性。计算机技术在临床医学领域的应用不断深入,相信随着两个学科不断地交叉与融合,新型医疗技术一定会在将来造福于人类。
[1] 李德来,舒贞权.医学超声成像前沿技术述评[J].中国医疗器械信息,2011,17(6):20-22.
[2] 韩若凌,徐庆,张凤娟,等.评价常规超声联合超声弹性成像诊断甲状腺癌的临床价值[J].中国医疗设备,2011,26(12):113-115.
[3] 王巧英,曾晓霞,祝青,等.磁共振造影剂的研究进展[J].现代生物医学进展,2013,16:3186-3189.
[4] 陈盛祖.我国PET/CT的发展和配置管理[J].中国医学装备,2011,9:1-4.
[5] 孔祥云,李尹岑.CT技术的发展与其在医学上的应用[J].影像技术,2014,3:39-40.
[6] Hansen MS,Sørensen TS.Gadgetron: An open source framework for medical image reconstruction[J].Magnet Reson Med,2013,69(6):1768.
[7] Avila R,He T,Hong L,et al.VolVis: adiversified system for volume visualization research and development[A].Proceedings of Visualization[C].1994:94.
[8] Schroeder WJ,Avila LS,Hoffman W.Visualizing with VTK: A tutorial[J].IEEE Comput Graph,2000,20(5):20-27.
[9] 刘登均,贺小兵,王明贵,等.Mimics软件在齿状突骨折诊断中的价值[J].局解手术学杂志,2012,21(1):10-11.
[10] 赵明昌,田捷,薛健,等.医学影像处理与分析开发包MITK的设计与实现[J].软件学报,2005,16(4):485-495.
[11] 何晖光,田捷,杨骅,等.三维医学影像诊断工作站——3Dmed[J].中国体视学与图像分析,2001,6(2):73-77.
[12] 梁启堂,钟向阳.心脏冠状动脉多排CT扫描的优化措施[J].中国医疗设备,2011,26(8):161-162.
[13] 刘健,张晓军,张锦明等.国产PET/CT 技术进展[J].中国医疗器械信息,2013,10(5):21-24.
[14] Montani C,Scateni R,Scopigno R.A modified look-up table for implicit disambiguation of marching cubes[J].Visual Comput,1994,10(6):353-355.
[15] Zeng GL.Medical Image Reconstruction[M].Berlin:Springer Berlin Heidelberg,2010,12(124):63-68.
[16] 唐占红,於时才.面绘制三维重建原理及其改进算法研究[J].计算机工程与设计,2009,30(9):2225-2228.
[17] 尹学松,张谦,吴国华,等.四种体绘制算法的分析与评价[J].计算机工程与应用,2004,40(16):97-100.
[18] 李郭.基于体绘制的医学图像三维可视化技术[D].成都:电子科技大学,2010.
[19] 马锡坤,杨国斌,于京杰.基于虚拟化的云计算数据中心整体解决方案[J].中国医疗设备,2012,27(12):62-64.
[20] 王甜宇,孙艳秋,燕燕.大数据时代云计算在区域医疗信息化中的应用[J].中国医疗设备,2015,30(6):72-74.