何洪林,赵育新,莫雅芬,雷 跳,钱 俊,张 华
光栅立体成像应用于缺血性脑血管疾病诊断研究
何洪林,赵育新,莫雅芬,雷 跳,钱 俊,张 华
目的:针对二维CT灌注图像在脑血管疾病的诊断中对病情展示效果不佳的问题,研究利用立体灌注图像来辅助诊断的方法。方法:在较前构建的智能化神经网络融合模型的基础上,开发基于光栅立体成像技术的灌注状态三维图像功能模块。采用3DMAX对头颅灌注融合图像进行三维重建、虚拟立体拍摄,从而得到序列视差图像,然后经专门软件处理得到合成图,最后经光栅立体显示器展现出三维立体效果。结果:实现了头颅灌注成像多参数图像综合分析的立体化。结论:立体灌注图像生动逼真,使诊断结果更易于被临床医生参考,不仅有助于医生和患者之间的交流,而且可以用于医学教学和会议讨论,具有一定的学术研究价值。
裸眼立体图像;立体摄影;柱透镜光栅
CT灌注成像(CT perfusion imaging,CTPI/CTP)是一种常用的诊断缺血性脑血管病最常用的功能性成像方法之一。CTP的理论基础是指示剂稀释原理和中心容积法则。其基本方法是在注射造影剂一定时间(如5 s)内,对选定的大脑层面进行连续增强动态扫描以获得该层面内每一像素的时间-密度曲线,然后通过复杂的数学模型计算出一系列的灌注参数[1]。这些参数包括相对脑血流量(relative cerebral blood flow,rCBF)、相对脑血流容积(relative cerebral blood volume,rCBV)、对比剂平均通过时间(mean transit time,MTT)和峰值时间(time to peak,TTP)等[2]。接着对获得的参数进行伪彩处理,得到血流灌注图、血容积图、平均通过时间图和峰值时间图等,以此全面评价组织器官的灌注状态。
普通的CT灌注图像是多幅的单参数图像,需要经验丰富的医师通过综合分析各个灌注参数图,才能对脑组织缺血状态作出合理评价,对人工的依赖性较大,为此我们在文章[3]中提出了一种智能化的神经网络融合模型,利用其对单参数图像和原始灰阶图像进行多重融合,实现头颅灌注成像多参数图像综合分析的智能化和自动化。然而,由于融合图像是二维的,对病灶区域范围及大小的表现力不够,对病情的展示也不够形象逼真,不利于医生与患者的交流沟通。因此,本文在前文成果的基础上,开发了生成三维立体灌注图像的“光栅立体化模块”。本文研究的三维立体灌注图像是一种基于柱透镜光栅的裸眼立体显示图像,不需要佩戴眼镜、头盔等辅助设备即可直接观看。相比二维图像,光栅立体图像具有形象逼真的立体纵深感,能给人强烈的视觉冲击和身临其境的感受,因此被广泛应用于影视、军事、医疗、工业等领域[4]。该模块不仅可以使灌注成像结果更易于被临床医生参考,而且能够作为医学教学和会议讨论,具有一定的学术研究价值。
本研究的技术路线流程如图1所示,整个分析过程整体思路如下:
(1)对rCBF、rCBV、MTT和TTP等一系列灌注参数图像进行预处理即进行提取、增强、匹配等操作。
(2)运用神经网络模型对预处理后的头颅灌注图像进行模拟、训练、学习、优化等操作,进行灌注图像的初步融合,从而将多幅单参数头颅灌注图像转换为单幅多参数头颅灌注图像。
(3)针对多参数信息图像的特征关系和解剖学成像图像纹理的空间关系,通过代数加权乘积变换的方法进行二次融合处理,从而实现缺血性脑血管病(ischemic cerebral vascular disease,ICVD)患者的CT灌注诊断结果直观显示[5-6]。
(4)根据融合图像以及CT自带的三维图像重建信息,精确重建头颅灌注三维模型,并通过光栅立体化模块得到裸眼光栅立体灌注图像。
其中,(1)~(3)已通过前文提出的神经网络融合模型实现,因此本文着重研究光栅立体图像生成的模块。根据头颅实质灌注状态及相关信息,拟采用3DMAX软件对病灶区域脑组织、血管等进行高仿真三维建模,将病灶区以不同于正常组织的颜色进行标示,并导入预先建好的脑组织模型,从而得到整个头颅灌注情况的3D模型。然后通过三维软件自带的摄像机进行虚拟立体拍摄,获得可用于立体显示的序列视差图像。通过专业图像软件处理从而生成立体合成图像,最后通过光栅自由立体显示器显示出来。
图1 技术路线流程图
光栅立体成像技术是基于双目视差原理和光栅板折光分像原理,通过柱透镜光栅使二维图像呈现立体感的一种技术。
2.1 人眼立体视觉原理
自然界是一个三维的空间,其中所有物体都是三维的。人们在观察自然景物时,双眼能接收到由物体反射的光线,然后通过视觉神经的融合功能以及大脑神经中枢的处理,可以形成完整而有纵深感的立体视觉。人眼结构示意图如图2所示[6]。
图2 人眼视觉系统
正常人都是用双眼来观察三维空间的物体,而双眼之间具有一定距离(成人约64 mm),所以在观看某个特定对象时,2只眼睛观察的角度稍有差别,因而被观察物体在人的左、右眼视网膜上所形成的像也存在略微的差异,这种差异叫做双眼视差。双眼视差是形成立体视觉的关键因素。
2.2 柱透镜光栅的折光分像原理
柱透镜光栅是由一系列相同规格的半圆柱透镜单元经过线性排列而成的,其背面是平面,也即是柱透镜单元的焦平面,每个柱透镜单元都相当于一个汇聚透镜,起到聚光分像的作用[7]。经软件处理后的条纹状的二维合成图像,按一定顺序排列在焦平面上相应的位置,然后柱透镜光栅板会把经过每一个透镜单元的光束所携带的图像信息全部组合起来,在左右视网膜上分别形成左右眼的子图像,最后经中枢神经作用而形成立体图像的视觉。图3为柱透镜光栅折光分像原理示意图[8]。
图3 柱透镜光栅的折光分像原理
本文采用的三维图像的制作主要包括三维建模、立体拍摄、图像处理、立体显示等环节。拟通过3DMAX软件对头颅灌注融合图像的病灶区域脑组织进行三维重建、虚拟立体拍摄,从而得到视差序列图像,然后经PhotoShop软件处理制得二维合成图像,最后通过特定的光栅立体显示器而呈现出立体感。
3.1 头颅实时灌注状态模型的三维重建
3DMAX是一款常用的三维软件,具有模型构建、动画制作、图像处理等多种功能,目前已广泛应用于建筑、广告和游戏娱乐等行业。运用三维软件来辅助制作立体图像、动画、视频等立体内容,是当前3D领域的一个研究热点。该方法不仅可以省去传统拍摄设备的昂贵成本,还能有效提高制作的效率。运用3DMAX进行三维建模,一般需经过三维场景布局、三维模型重建、灯光和材质设置这几个步骤。三维场景布局应符合立体摄影的要求。建模时对病灶部位的血管进行有区别的颜色标示,与预先导入的病灶周边正常组织颜色形成鲜明的对比,以凸显病灶区域的范围和病情程度。通过该软件的摄像机功能,可模拟双眼立体视觉,对该三维场景进行投射,以得到序列视差图像。
3.2 虚拟立体相机拍摄获取序列视差图像
立体拍摄就是采用立体相机对实时的场景或动作进行拍摄,从而获得2幅或多幅序列视差图像。立体相机的形式可以是由多个相同规格相机组成的相机阵列或者多镜头立体相机(如双目立体相机),也可以由相机和特定路径的导轨组合。其中,相机可以是实体的,也可以是虚拟的。常见的立体相机摆放方式主要包括平行式、会聚式、离轴平行式和弧形式4种。本文拟采用3DMAX软件自带的虚拟摄像机,按照平行式的立体相机结构进行摆放,如图4所示。根据透视原理可知,这种方法下只有水平视差而没有垂直视差,也不会产生梯形失真,具有比较理想的效果。
图4 平行式相机摆放结构
3.3 脑灌注立体图像的处理
立体图像的制作必须严格按照显示设备的特征和参数来进行。通常制作光栅立体图像时,将视差序列图进行同名点匹配后即实施间隔抽样,然后得到合成图像。对序列视差图像进行抽样时,一般以像素为单位,合成时要保证每一组抽样条恰好布满在一个光栅间隔内,且须逆序排列。本文中的三维立体灌注图像,采用的就是这种间隔抽样的图像合成方法。合成图像拟通过四川省宜宾普什集团有限公司提供的裸眼3D显示终端(型号为PUSH3D55LS2I)进行立体显示。由于该显示器自带的3D播放器能够自动实时抽取每幅图的子像素,因此在经过PhotoShop软件处理后,将序列视差图按照一定的次序合成一幅大图即可。为了保证生成光栅立体图像与光栅板的精确匹配,序列视差图像的分辨率设定为柱透镜光栅分辨率的N倍,一般取8≤N≤24。实验所采用的是15线的柱透镜光栅,最终显示的光栅立体图像尺寸为640像素×360像素,按照光栅显示器和立体拍摄的参数,批量渲染输出后得到9幅序列视差图像,在播放前拼成一个1 920像素×1 080像素的大图,如图5所示。
图5 光栅立体图像的合成
3.4 脑灌注图像的立体显示
柱透镜光栅的三维显示系统一般包括一个平面显示器和一个柱透镜光栅板。平面显示图像位于光栅板的焦平面,根据液晶屏幕的像素的被分割成相等数量、交叉排列的左右子像素。接着左右子像素在通过光栅的折射作用之后分别在左右眼的视网膜上形成左右子视图,然后视神经会将具有合理视差的左右眼图像融合成立体图像并由大脑感知。如图6所示,将制作好的立体图像用相匹配的显示设备进行展示时,就能体验到多角度、色彩层次丰富、立体效果逼真的视觉感受。
图6 头颅灌注状态立体图像
为评价本文研究成果的应用效果,我们随机抽取了20名医生对脑灌注立体图像的效果进行评价。实验对象为武汉地区多家医院的脑CT医生(相关经验3 a以上),年龄35~45岁,男性14名、女性6名,视觉功能或矫正视力均为1.0。实验采用主观评价的方法,邀请实验对象分别对光栅立体图像和原二维图像的效果进行对比评价,设置2个参数,即病情的醒目性和病灶范围的精确性,实验结果见表1。
表1 光栅立体成像与原二维图像相比的应用效果评价 人
由表1可以看出,脑灌注立体图像具有较好的醒目性,能使观看者一目了然,迅速知悉病情的严重程度,而且还能够较为准确地表示病灶的范围和大小,有一定的实际应用价值。
本文开发的灌注图像光栅立体化模块,通过3DMAX软件以虚拟立体摄影的方式生成序列视差图像,再经抽样、合成输出到液晶显示屏上,最后经柱透镜光栅板折射分像再现立体感,实验证明具有良好的可行性。采用这种方法得到的脑灌注状态立体图像,具有较强的立体感和清晰度,将病灶的区域
(►►►►)(◄◄◄◄)范围及大小特别标示了出来,因此能够更形象、生动、真实地展示脑血管疾病的病情,使诊断结果更易为临床医生和患者提供参考,并且有望用于医学教学与培训。将该模块集成到之前已有的灌注图像诊断系统,不仅进一步提高了该系统的可视化程度,而且能够实现头颅灌注多参数图像综合分析的立体化,具有较好的应用前景。
[1]任丽.CT灌注成像在缺血性脑血管病中的应用进展[J].国际神经病学神经外科学杂志,2011,38(1):69-73.
[2]王琼华,王爱红.三维立体显示综述[J].计算机应用,2009,30(3):579-581.
[3]何洪林,赵育新,钱俊,等.基于神经网络融合模型的头颅灌注图像分析[J].医疗卫生装备,2013,34(1):19-21,31.
[4]张晓媛.裸眼立体显示技术的研究[D].天津:天津理工大学,2006.
[5]于瀛洁,蔡明义,张之江.柱透镜光栅自由立体显示中几何参数间关系分析[J].光电子技术,2010,30(1):10-16.
[6]李鹏.立体印刷的成像原理[J].印刷质量与标准化,2007(3):8-11.
[7]刘文文,杜江.3DMAX自由立体显示功能的实现[J].合肥工业大学学报,2008,31(4):585-590.
[8]雷跳,陈娜,马先铎,等.光栅立体图像 视觉新魅力[J].印刷技术,2014(7):21-25.
(收稿:2014-10-17 修回:2015-01-11)
Research on grating stereo imaging technology applied to diagnosis of ischemic cerebral vascular disease
HE Hong-lin1,ZHAO Yu-xin1,MO Ya-fen2,LEI Tiao2,QIAN Jun2,ZHANG Hua3
(1.Wuhan General Hospital of Guangzhou Military Area Command,Wuhan 430070,China;2.School of Printing and Packaging,Wuhan University,Wuhan 430072,China;3.State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing,Wuhan University,Wuhan 430072,China)
ObjectiveTo explore stereo perfusion imaging replacing 2D CT perfusion imaging for the diagnosis of cerebrovascular diseases.MethodsPerfusion 3D imaging module based on grating stereo imaging technology was developed with the intelligent neural network fusion model.3D Max was used for 3D reconstruction and virtual stereo photographing of fusion images for cranial perfusion to obtain sequence parallax images,and the synthetic images came into being with some specific software,and then were shown on the grating stereo display.ResultsStereoscopic analysis of multi-parameter cranial perfusion imaging was realized.ConclusionThe stereo perfusion image may contribute to the communication between the doctor and patient,as well as medical teaching and conference.[Chinese Medical Equipment Journal,2015,36(7):13-15,39]
naked-eye stereo picture;stereography;lenticular screen
R318;R445
A
1003-8868(2015)07-0013-04
10.7687/J.ISSN1003-8868.2015.07.013
武汉市科技攻关计划项目(2013060602010245)
何洪林(1960—),男,高级工程师,主要从事放射影像技术方面的研究工作,E-mail:wdrf2004@163.com。
430070武汉,广州军区武汉总医院(何洪林,赵育新);430072武汉,武汉大学印刷与包装系(莫雅芬,雷 跳,钱 俊);430072武汉,武汉大学测绘遥感信息工程国家重点实验室(张 华)
张 华,E-mail:wdrf2004@sohu.com