虚拟医学手术仿真技术概述

潘新华,谭 珂

中国人民解放军总医院教育技术中心,北京 100853

1 虚拟医学手术仿真技术的特点和前沿研究领域

1.1 虚拟医学手术仿真技术的特点

虚拟医学手术仿真技术综合了医学、计算机图形学、生物力学、机器人技术、实时分布系统、人机交互、心理学、控制学、电子学和多媒体技术等相关领域的理论和技术[1]。它针对医学数据建立逼真的视、听、触觉一体化的仿真环境,通过必要的交互设备,实现对于虚拟人体器官在虚拟手术器械作用下各种变化的模拟和对操作人员各种感官反馈(如视觉反馈和力反馈等)的模拟,以自然的方式与仿真环境中的对象进行交互操作,获得身临其境的感受和体验。虚拟医学手术仿真技术可广泛应用于手术方案设计、手术规划、仿真训练和术后效果评估等方面。该技术具有以下特点:

1.1.1 依托于人体的医学影像数据 该技术建模的数据来源于人体的真实医学影像数据,具有数据量大、个体化差异大、来源丰富的特点。

1.1.2 对几何模型解剖结构要求精细、准确 由于手术仿真操作多针对人体具体的组织,包括:脏器、神经、血管等,所以在几何建模时,需要精细、准确的表现人体的解剖结构。

1.1.3 交互对象为体现软组织物理行为的人体模型 与其他领域的仿真不同,在交互过程中,这些模型多体现为软组织的物理特性,如弹性形变、组织撕裂、流血等。

1.1.4 实时力反馈交互复杂而精确 由于交互对象为生物体模型,所以需建立复杂的模拟弹性的生物力学模型,同时对触觉反馈的实时性和精确性要求高。

1.1.5 复杂的生物学生理模型 为仿真人体真实的病理、生理特征,以及在仿真操作下,模拟各项生理指标的实时变化,要求建立复杂的生物学生理模型。

1.2 虚拟医学手术仿真技术的前沿研究领域

1.2.1 个体化、多模态医学图像处理技术 医学图像配准和分割是人体几何模型三维重建的基础。为满足针对具体病例的个体化精确模型重建,从同一个体的多模态、大容量、细节丰富的影像数据中快速、准确地获取感兴趣的轮廓信息是医学图像处理研究的热点。

1.2.2 大范围软组织形变 基于大范围形变的软组织物理模型由于数据量大、非线性特性、计算复杂、实时性要求高,一直是研究的难点,随着图形硬件的性价比大幅提升,该领域的研究已取得初步成果。

1.2.3 多自由度的力反馈传感技术 根据医学手术仿真中模拟的医疗手术器械的不同,力学传感有时甚至需要有6自由度以上的反馈,尤其是旋转扭矩的力反馈输出是研究的前沿,同时最大输出力、空间的高分辨率、非线性精确传感也是研究的难点。

1.2.4 基于复杂系统的生理学建模技术 人体作为复杂的生命体,其生理变化具有很大的不确定性,建立基于复杂系统的生理学模型手术仿真是医学手术仿真的最高阶段。

2 国内外研究现状和发展趋势

2.1 国内研究现状

国内的多家大学和研究机构均在虚拟医学手术仿真领域开展了研究,其中比较有影响的是:南方医科大学和第三军医大学[2]分别开展的虚拟人和数字化可视人研究;厦门大学开展的虚拟器官的手术仿真系统研究[3];解放军总医院与国防科技大学开发完成了虚拟鼻内窥镜手术仿真系统[4]和膝关节镜手术仿真系统[5],并在临床训练中进行了应用;北京航空航天大学和上海交通大学在手术导航、力反馈器等方面开展了研究;浙江大学和青岛大学[6]在软组织形变和力反馈计算方面取得了一定的成果;中科院自动化所研制了三维医学影像仿真分析软件3DMed[7]和基于力反馈的虚拟手术刀;香港中文大学研制了中医针灸仿真治疗系统;广州珠江医院[8]和华南师范大学在肝脏切除手术模拟中应用了仿真系统等。

国内各单位在虚拟医学手术仿真中的医学影像数据处理、几何建模、物理建模、实时人机交互、力反馈计算、模型形变、传感器研发等多个领域均取得了丰硕的成果,并且已经取得了相当数量的技术专利和软件著作权,部分手术仿真器和仿真系统已经在临床手术、教学训练、治疗方案设计与评估等方面进行了应用。

2.2 国外研究现状

国外的多家研究机构和商业公司在手术仿真领域开展的相关研究有:美国华盛顿大学的人机接口技术实验室开发了一个用于训练内窥镜的瘘管手术的仿真模拟器,该仿真模拟器能够提供与复杂的体数据直观交互和触觉反馈;美国的Teeranoot[9]等设计了基于有限元软组织切割的手术仿真器;日本的Yusuke[10]等设计了高质量体可视化的虚拟手术仿真系统;德国的Fuchs[11]等采用CT数据进行三维重建并对儿童肝脏血管畸形设计了手术仿真治疗规划系统;Schwartz等为手术仿真开发了非线性肝组织模型;以色列的圣拜安尼公司、瑞典的Mentice公司和美国的 Immersion公司采用标准病例数据模型推出了商业化的腹腔镜、心脏介入治疗等医学手术仿真器。

2.3 医学手术仿真器的发展趋势

2.3.1 多模态医学图像融合和处理 医学影像具有多源、多维、多模态、异构信息等特点,而采用单一数据源构建的人体三维模型具有解剖结构不精确,某些特定的组织不能清晰显示等缺点,如:CT数据中的胆管轮廓。近年来,采用多模态医学图像融合处理技术建模成为发展趋势。它能从同一个体多数据源获取信息,重建的模型能够精确地描述解剖结构,使人体内部结构、功能信息、三维表面扫描模型等多元数据能够反映在一个模型中,从而更加准确、直观地为医师提供人体解剖、生理、病理等信息,为手术仿真提供一个全面、精确、量化的人体信息模型。

2.3.2 从形态到生理功能的仿真建模 以往的研究均是以仿真人体的几何形态模型为主,主要绘制和展现人体的解剖结构,而目前的趋势是从基础的几何形态建模向复杂的生理功能建模发展[12]。医学生理功能学上的研究主要是应用了生物系统的仿真与模拟,是从生物控制论发展而来的。由于绝大多数生物系统是非线性系统,混沌理论等非线性理论被大量用于生物系统的分析中。例如:血压调节系统、瞳孔调节系统、血糖调节系统、肝脏功能系统模型等都是基于生理功能的仿真建模。

2.3.3 个体化手术模拟仿真和演练 以往的研究多针对标准病例或解剖数据进行建模和手术仿真模拟,主要应用于手术训练与教学。目前的发展趋势是针对个体化的病人真实数据进行处理,应用于术前诊断、术前计划、仿真演练和术后分析评估,直接为具体病例的实际临床手术和治疗服务。

2.3.4 远程手术仿真与协同 由多个操作者在不同地域的远程手术虚拟仿真是新的研究趋势。在远程协同的模拟手术场景下,病人可以是虚拟的或真实的,或者是二者的综合。操作者可以是本地的或远程的,可以亲自待在手术所在地,也可以远程遥控在手术场所工作的机器人,甚至可以由计算机产生虚拟的操作者,来为手术提供指导和帮助。这种远程手术仿真与协同环境可以让位于不同地点的多位专家相互合作,对手术过程进行计划和仿真预演,甚至对病人进行实际的手术治疗。

3 国内研究的优势与薄弱领域

3.1 国内的优势

3.1.1 医学数据资源丰富,应用前景广阔 中国人口数量为世界之最,全国仅三级以上医院就有1 000多家,医学影像、临床病例、手术操作等医学数据量非常庞大,为手术仿真器的研发提供了丰富的数据资源和广阔的应用前景。

3.1.2 医学图形图像处理研究深入广泛 国内高校、科研院所等研究机构在医学图形图像处理领域展开了深入的研究并取得了丰硕的成果[13],每年在国际顶级刊物和学术会议上均发表了多篇高水平论文。

3.1.3 虚拟仿真理论体系完备 经过多年的技术积累和理论实践,在虚拟医学手术仿真领域建立了完备的理论体系,开发出了一系列的仿真器、仿真系统产品。

3.2 国内的薄弱领域

3.2.1 生理功能模型缺乏 国内的研究中多偏重于几何模型和物理模型的建立,针对人体复杂系统的生理功能模型还较缺乏。

3.2.2 自主知识产权的力反馈交互设备缺乏或性能不足 虽然有个别研究机构开发了自主知识产权的力反馈交互设备,但是在多自由度、定位精度、力矩范围、空间范围等方面还与国外产品有一定差距。

3.2.3 缺乏商业化的仿真系统、仿真器产品 国内虚拟医学手术仿真系统和仿真器的科学研究项目较多,取得了一定的理论成果,但是以样机居多,已在临床手术实践中应用的还偏少,更是缺乏商业化的型号产品。

4 未来发展优先、重点扶持的领域

4.1 多模态医学图像处理和快速三维绘制技术

针对医学图像模态多、数据量大、细节丰富等特点,研究多数据源医学图像数据融合、自动分割技术,解决软组织模型建立及其实时绘制问题,快速生成医学模型精细的三维图像,保障医学手术仿真应用的沉浸感和交互性。

4.2 仿真人体的形态和生理功能一体化建模方法

基于人体的多模态医学影像数据,结合各组织器官及功能系统的几何特性、物理特性和生理特性,研究逼真的仿真人体形态和生理功能一体化建模方法,以真实表现人体模型的物理和生理行为,支持手术规划、治疗仿真、结果预测与评估等应用。

4.3 远程手术仿真环境一致性处理技术

为解决我国手术诊疗水平地域间极度不平衡问题,应重点发展远程手术仿真技术,研究远程手术仿真环境中的信息实时同步传输和一致性处理技术,为远程手术指导与协作、方案设计规划、远程培训等的应用提供服务。

4.4 手术仿真中的触觉力反馈交互技术

为保证手术仿真的临场感,研究操作者、定位器、力反馈设备和虚拟人体交互的触觉模型[14]、力反馈模型,研究快速的碰撞检测算法,开发精度高、实时性强、多自由度、响应范围宽的自主知识产权力反馈设备。

近年来,随着虚拟医学手术仿真技术的迅速发展,在多模态图像处理的引入、物理和生理功能建模、个体化手术规划与仿真、远程仿真环境构建、真实感力反馈计算等前沿研究方面,国内外的多家研究机构投入了大量人力、物力进行技术研发和临床应用。我国973计划、863计划和国家科技支撑计划等高水平科研项目指南均将该领域的研究列入支持内容,我们有理由相信:随着相关研究的进展和技术的进步,虚拟医学手术仿真技术作为虚拟现实技术在医学上的典型应用,将在模拟仿真训练、手术方案设计、手术规划、量化计算分析和术后效果评估等领域产生更广阔的市场和应用前景。

[1]谭珂,郭光友.“虚拟医学手术”关键问题研究初探[J].中国医学教育技术,1999,13(3):131-133

[2]QiuM G,Zhang SX,Liu ZJ.Three dimen-sional computational reconstruction of lateral skull base with plastinated slices[J].The Anatomical Record PartA,2004,278A:437-442

[3]Bao C B,Wang B L.A Open Source Based General Framework for Virtual Surgery Simulation[C].2008 Internat-ional Conference on BioMedical Engineering and Informatics,2008:575-579

[4]谭珂,郭光友,潘新华.一种鼻内窥镜虚拟手术仿真系统[J].计算机工程,2006,32(16):243-244

[5]谭珂,郭光友,潘新华.一种膝关节镜手术仿真系统[J].系统仿真学报,2007,19(20):4649-4653

[6]李振明,贾世宇,潘振宽.基于非线性力反馈模型的软组织变形仿真[J].计算机仿真,2007,24(1):225-229

[7]Tian J,Dai Y K,Deng K X.M ITK&3DMed:An Integrated Platfor m Applicable for the Development of Computer Assisted Intervention Systems[C].Workshop on Systems and Architectures for ComputerAssisted InterventionsatM I CCAI2008,New York,USA,September 6

[8]朱新勇,方驰华,鲍苏苏.基于64排螺旋CT扫描数据三维肝脏手术仿真的研究[J].中华外科杂志,2008,46(1):27-29

[9]Chanthasopeephan T,DesaiJ P.Modeling Soft Tissue De for mation Prior to Cutting for Surgical Simulation:Finite Element Analysis and Study of Cutting Parameters[J].IEEE Trans on Biom Engi,2007,45:349-359

[10]Yusuke Inoue,Yoshitaka Masutani.Development of Surgical S imulator with High-Quality Visualization Based on Finite-Element Method and Deformable Volume Rendering[J].Systems and Computers in Japan,2006,37(5):67-76

[11]Fuchs J,Warmann S W,Sieverding L. Impact of virtual imaging procedures on treatment strategies in children with hepatic vascular malformations[J].J of Pediatric Gastroenterol and Nutr,2010,50(1):67-73

[12]隽峰,黎小间,高建华.基于OpenGL的医学整形手术仿真研究[J].计算机仿真,2007,24(4):186-189

[13]吴凡,许杰洲,杨棉华.医学模拟教学在提高学生能力与素质中的应用探讨[J].中国医学教育技术,2010,24(2):171-173

[14]Sieber A,Valdastri P,Houston K.A novel haptic platfor m for real time bilateral biomanipulation with aMEMS sensor for triaxial force feedback[J].Sensors and Actuators(A),2008,(142):9-27