医学虚拟现实技术研究

中国医科大学计算机教研室 郑琳琳 郑 璐 李 静

1.虚拟视觉环境显示(Virtual Visual Environment Display-VIVED)

由美国宇航局约翰逊宇航中心(JSC)等部门，使用虚拟现实技术为人们提供了一个别出心裁的医学教育策略。它集成了所有囊括人类颅骨和心脏的虚拟现实技术，为人们提供了与其他多媒体(音频、视频等)的交互能力[1]。

2.虚拟手术(Virtual Surgery)

作为医学虚拟现实技术领域正在发展起来的一个研究方向，其目的是利用各种医学影像数据，采用虚拟现实技术，在计算机中建立一个摸拟环境，医生借助虚拟环境中信息进行手术计划制定，手术演练，手术教学，手术技能训练，术中引导手术，术后康复等工作，虚拟手术充分体现虚拟现实作为计算机图形学在医学治疗过程的作用。

图1 通过人体体验虚拟现实所需的步骤

3.硬件

一台由Silicon Graphics公司生产的Reality Engine计算机，被用来打开计算轴向体层摄影术(CAT/CT)和磁共振成像切片，放入三维容积图像和可产生身体"飞行"观察效果的电影中。在具有16M内存的Macintosh IICX计算机上观看最终的3D图像。之所以先择Mac是因为它的性价比和音像都优于同类PC，另外它在北美各学校系统被广泛使用，可以说它是桌面多媒体的领跑者，并且有各种各样的软件和硬件支持它。而VR电影可以存储在硬盘上，或转移到CD上，并通过红蓝眼镜观看。它也可以使用虚拟现实头戴式显示器(HMD)或双目全方位显示器(臂架系统)查看。最终图像可以存储在CD-ROM或激光视盘上。

4.软件

4.1 文件转换和数据准备

加尔维斯顿提供的厚度为1.5mm的人类头骨CAT/CT切片和心脏的MRI的切片被用于创建3D图像。在对头骨的CT扫描过程中要经过一个泡沫带，因此会有一些无用数据被生成。颅骨扫描的结果是生成一个数据集，其中有超过120片通过颅骨，60片通过下颌骨(下巴)，而心脏的MRI扫描可导出200片的数据集。将医学分会创建的数据文件，送至IGOAL公司(集成显卡，操作和分析实验室)。在那里进行扫描和筛选，去除无关数据，且尽可能不丢失任何重要信息。IGOAL公司开发出一种名为“Ctimager”的工具，用于阈值计算，从而把切片中不需要的噪声和无关数据去掉。

4.2 数据过滤和体数据转换为多边形数据

使用被IGOAL称为“dispfly”的开发工具，在稍后可将转换大量的数据直接由计算机显示出来。此工具用于多个过滤算法准备CT和磁共振成像数据转换为多边形的窗体。解剖模型是基于移动的多维数据集算法生成的。滤波处理通常包括阈值化的数据，以消除大部分噪声的。一个低通滤波器被用于最小化，将产生一个不规则的表面凹凸不平，当输入到算法中的高频噪声。这个过程产生相对平滑的表面，其近似扫描样品，并减少产生的噪声的多边形数量。一个独特的过滤器对心脏数据仅平滑扫描之间的数据创建，是不需要其他的过滤[2]。由于心脏和颅骨有大量的数据集切片，几种模式被建立，其中每一个代表一个少量切片。一个网格算法，“meshit”，后来发展到提高显示性能。这种算法转换成高效条状的三角形的原始集合。平均超过100三角形组成每个三角形条带。。

4.3 产生立体图像

建成模型后，立体声序列被渲染。IGOAL公司开发了一种名为OOM(面向对象操纵器)工具，用来把经过渲染的每一帧存储到磁盘上，这些图像用红色和蓝色的色彩分离为代表的立体图像。一旦这些序列被记录到磁盘上，数据的格式就被转换成Macintosh.pict格式，全彩色图像序列的按非立体观看转移到Mac上。

4.4 立体影像及多媒体

对Mac图像进行编辑，以产生所希望的效果，如数字化的尸体覆盖或插入文本描述什么正在被观看。使用Apple的QuickTime扩展，图像被转换为QuickTime电影动画在Mac上。

5.结论

CT扫描头骨的医疗图像，由Macintosh计算机通过处理头盔显示器或臂式系统的信息，最终生成高质量VR图像。目前科学家正试图用磁共振的成像数据生成了一个心脏VR模型。

初步结果显示，可以使用这种类型的成像数据开发出高分辨率模型。而为了保持高质量VR成像目标，大量的数据是用帧序列来描述的，由此会产生一些问题。为了缓解这个问题，科学家们正在探讨替代的硬件和软件解决方案。

另一个问题是该技术针对HMD的显示系统。为保持一个高品质的虚拟现实体验，液晶显示器对分辨率没有要求。在CRT显示器在多种教育平台上都可以满足分辨率的要求，但是成本过高。外科手术模拟可能成为例程，尤其是在制定综复杂和罕见的手术方案时。

6.在VIVED的应用和研究现状

当前的研究，强调创建一个高分辨率的人体虚拟现实模拟器用于教育目的的重要性。而应用这项技术必须充分理解其复杂的三维关系，如在下面的领域：解剖学教育，各类机械设备，生化，病理学研究，外科医生，模拟整形外科和利用内窥镜培训外科医生等。

7.其他应用程序

随着医学虚拟现实技术的发展，新的教育解决方案和策略如雨后春笋般不断出台。如北卡罗莱纳大学教堂山分校利用超声波，MRI和X射线创建的动态影像放射治疗的“预测”模型。达特茅斯医学院创造出人脸和下肢的数学模型，用于研究外科手术的效果评估。绿叶医疗系统在帕洛阿尔托开发出“EVAL”和“手套健谈”系统，作为实现“评估和演示”系统。使用传感器做衬里的数据手套和数据西装获取更大的使用范围，对运动损伤和残疾病人进行行之有效的损伤程度度量。“手套健谈”是帮助病人康复的数据手套的手语装置，让人无需发声(中风或脑性麻痹患者)，仅使用计算机能够理解的手势。而使用头盔显示器使得需要康复的病人可以重新学习，如开关门，行走，点或转身的行为[3]。

8.结语

将CT扫描的头骨医学图像在Macintosh电脑上使用一个头盔显示器或臂架系统便可生成高质量的VR图像。目前科学家们正在开发根据磁共振成像数据生成心脏的VR模型。初步的研究结果表明，高分辨率模型可以使用这种方法的成像数据技术来实现。要想维持高质量虚拟现实的目标成像，必须适当调整“飞穿”的帧序列的数据量。而其它文明拟定的硬件和软件解决方案也正是为了探索缓解这一问题。再有就是该技术是针对HMD的显示系统技术。因为在各种医学教育平台中，LCD显示屏不涉及维持高质量的虚拟现实问题，而要实现高分辨率CRT显示器的成本又太高。

[1]"NASA TECHNOLOGY TRANSFER Commercial Applications of Aerospace Technology",National Aeronautics and Space Administration,Technology Applications.

[2]Porter,Stephen,"Virtual Reality",Computer Graphics World,(March,1992),42-54.

[3]Sprague,Laurie A.,Bell,Brad,Sullivan,Tim,and Voss,Mark,"Virtural Reality In Medical Education and Assessment",Technology 2003,December 1993.