基于多模态功能神经导航的虚拟现实及增强现实技术在神经外科教学中的应用

李文涛+++贡桑明久++任春莹+魏艳+孟喜君

[摘要] 神经解剖比较复杂，不容易掌握。手术操作的难度较大，对微创和精细程度具有较高的要求，除此之外，神经外科手术的教学培训和解剖手段比较有限。现阶段有关虚拟现实技术在神经外科教学和临床中的应用已有报道，但是有关增强现实技术在神经外科教学中的应用却少有报道。本文对基于多模态功能神经导航计划平台进行了介绍，实现增强现实和虚拟现实，并对虚拟现实及增强现实技术在神經外科教学中的应用进行了分析和探讨。

[关键词] 多模态功能神经导航；虚拟现实；增强现实；神经外科教学

[中图分类号] R651 [文献标识码] A [文章编号] 1673-7210（2017）11（c）-0187-03

Application of virtual reality and augmented reality technology based on multimodal functional navigation in neurosurgical teaching

LI Wentao1 GONGSANG Mingjiu2 REN Chunying1 WEI Yan1 MENG Xijun1

1.Department of Neurosurgery， the First Affiliated Hospital of Xi'an Jiaotong University， Shaanxi Province， Xi'an 710061， China； 2.Department of Cerebral Surgery， Tibet People's Hospital of Ali Area， Tibet Autonomous Region， Ali 859000， China

[Abstract] Neuroanatomy is complicated and difficult to master. The operation is difficult and it has higher requirements for minimally invasive and meticulous level. In addition， the teaching， training and dissection methods of department of neurosurgery operation are limited. At present， the application of virtual reality technology in department of neurosurgery teaching and clinical practice has been reported， but there are few reports about the application of augmented reality technology in neurosurgical teaching. This paper introduces the multimodal neuronavigation planning platform， virtual reality and augmented reality technology in neurosurgical teaching are analyzed and discussed.

[Key words] Multimodal functional navigation； Virtual reality； Augmented reality； Neurosurgical teaching

在神经外科解剖教学中，传统教学主要依靠尸体、教学模型、解剖图谱以及文字等，术前手术计划以及模拟手术过程等临床教学则主要依靠高年资医师带教、现场观摩以及二维图片等，而对于神经功能的可塑化教学等内容，则是凭空想象[1]。传统教学模式的效率不高，而且枯燥乏味，无法标准化、规范化实施，进而对神经外科的教学发展造成了严重影响，制约了青年神经外科医师的培养。在现代医学技术快速发展和进步的过程中，虚拟现实和增强现实技术也得到了快速完善和更新，并在一定程度上为神经外科教学带来了技术变革。

1 虚拟现实和增强现实技术的分析

虚拟现实技术是指通过电脑模型形成模拟世界，让使用者通过三维空间获得感官方面的模拟，使其身临其境，不受限制地对三维空间内的事物进行及时观察[2]。虚拟现实技术重视沉浸感，让使用者在实际使用过程中不能有效区分真实和虚拟环境。增强现实技术不但能构建虚拟世界，更加重视融合真实世界和虚拟世界，在同一空间中实时叠加真实物体和虚拟世界。现阶段在航空模拟领域以及军事模拟领域中，虚拟现实和增强现实技术的应用非常广泛，并开始广泛应用于医学领域。

在医学领域中应用虚拟现实和增强现实技术，应实现以下步骤：①采集处理数据和构建3D模型。采用DICOM格式存储血管造影、MRI以及CT等影像学检查技术所获得的结果，并可在大部分现有技术平台中应用。选择面绘制或者体绘制方法来进行3D模拟重建。②显示3D模拟。现阶段的3D显示方法主要包括投射式显示、穿透式显示、视频式显示。为了让图像叠加的准确性显著提高，每一种显示方法都需要跟踪定位术者眼位或者头部、显示屏以及摄像头，让3D图像的显影准确性能显著提高。现阶段常用的跟踪定位方法主要为电磁跟踪和红外光学跟踪。③注册图像。在图像中准确叠加附加信息时，注册过程是最后一步，同时也是最困难的一步。现阶段常用的方法为交互式注册方法，也就是在患者身上和3D模型上定位能辩别的标志物，通过对这些标志物进行重叠计算，来正确重叠全部图像。然而对于实施注册的问题，现阶段的注册方法无法有效解决。术中脑脊液释放、重力作用、组织塌陷等均会引起注册偏差。endprint

2 基于多模态功能神经导航的虚拟现实及增强现实技术在神经外科教学中的应用

2.1 教学模拟

在神经外科的教学活动中，常用方法包括高年资带教、现场观摩、尸体、动物、模型以及图谱等，但是这些教学方式都有一定的不足之处。模型不具备真实性，图谱则不具备立体感，动物解剖结构则存在一定程度的变异，尸体不具备可重复性，而且价格比较贵。高年资带教、手术现场观摩的缺点則主要为缺乏实际操作经验、感染发生率高、不能重复等。应用虚拟现实技术能对特定患者或者正常人的3D颅脑模型进行模拟重建，让低年资医生和医学生能对特定区域进行反复、随时解剖，而且能从不同角度进行观察，也不会让患者的风险和费用增加。现阶段在神经外科教学中，应用虚拟现实技术主要是识别特定解剖结构等常规教学，另外也可以用来学习新技术或特定的复杂病例。临床研究发现，采用基于immersive touch平台的脑室穿刺模拟，能让临床医师更好地了解和掌握脑室造瘘技术[3]。有学者通过virtual temporal bone系统成功再现岩骨的神经和血管走行、内耳结构[4]，利用该系统能让使用者有效模拟岩骨磨除过程和岩骨不同手术入路。通过跟踪调查使用者发现，应用虚拟现实技术能让学习者更好地了解和认识手术操作和相关解剖知识。

2.2 术前计划

在采用手术方式治疗深部病变和复杂颅底病变时，手术计划是否详细，会对手术风险以及手术并发症的发生造成直接影响。应用虚拟现实技术，能让病变充分暴露在3D层面，让术者能充分了解病变和周边重要结构的关系，而且能从不同入路让病变充分暴露，进而让手术方式的安全性显著提高。有临床研究报道显示[5]，采用dextroscope系统能对手术入路进行确定，并选择合理的动脉瘤夹。结合临床具体情况，术前应对手术患者进行常规辅助检查，如PET、MRA、MRV、MRA、MRI以及CT等，同时给予fMRI和DTI检查，分别进行功能区皮层的定位和传导束的重建。利用导航软件平台，能有效实现功能皮层、传导束以及病变等结构的三维可视化。教师和学生能对病变和重要功能结构、解剖结构的三维关系进行各种角度的观察，进而为手术入路的制订提供科学依据，让手术计划更加合理。

2.3 模拟手术过程

手术麻醉后，协助患者选择合理的体位，选择头架对患者头部进行固定。将导航参考架安装好，注册导航，并对精确程度进行验证。叠加并配准术前采集的相关解剖数据信息、重建的功能结构、病变结构和患者的真实颅脑，利用显微镜下功能神经导航系统和显微镜目镜能透过术区或头皮直接观看功能结构和病变结构，能对功能结构和病变结构的体表投影进行程序化勾画，进而为设计合理的皮层和骨瓣造瘘口、头皮切口的位置提供科学依据。术中通过显微镜功能神经导航下的功能结构和病变结构的可视化能让手术变得有理有据，更加直观和简单。能对肿瘤边界、手术操作位置及其与功能结构的关系进行直观和实时判断，进而让手术安全性显著提高[6]。譬如，对1例右侧颞叶深部胶质瘤患者进行手术时，按照准备流程将影像资料、解剖数据及体表定位等准备工作完善后即可注册建立对应的神经功能导航，并三维重建出肿瘤形状、肿瘤周围重要神经传导束，并显示出肿瘤周围重要功能皮层区域且可以予以标注区分。根据神经导航结果及三维重建的肿瘤与周围重要结构关系选择最适宜的手术切口，适度调整皮层入路，尽量减少对重要传导束、动静脉血管的损伤，以实现尽量保存对应躯体功能的目的。且在这一过程中，观摩人员均可在仪器的显示设备上清楚地看到重建的肿瘤、神经传导束、重要动静脉血管及皮层功能区等，提问、学习和交流即时进行。虚拟现实和增强现实技术的实现过程不但是教学过程，同时也是医疗过程，能让医疗过程和教学过程融为一体，让临床资源得以高效和充分地利用。神经功能评估和术后影像复查，也充分验证了虚拟现实和增强显示技术的可靠性和稳定性，能让神经外科教学更加直观和生动。

2.4 功能神经结构解剖教学

因病变存在高级功能区的重塑，而且高级功能的结构存在个体化差异，所以无法有效判断病理状态下功能皮层的位置以及皮层下白质纤维束的走行。通过虚拟技能能对不同情况下皮层功能结构的位置进行充分了解和准确判断，进而更好地理解功能的可塑性。深部白质缺乏有效的参考标志，利用虚拟技术则能对病变情况进行明确，同时还能对占位效应条件病变和白质纤维束的三维位置关系进行明确，能对重要传导束白质内的形态和走行进行全程观看。

3 讨论

在神经外科教学中，以往主要是利用板书、口头传达、人体、标本以及挂图等辅助教学工具来开展教学互动。在社会科学技术快速发展和进步的今天，多媒体教学开始成为了现阶段的主要教学模式，多媒体教学集合了动画、视频、文字以及图像等信息。虚拟现实和增强现实技术的应用彻底改变了以往教师的主导地位，能让学习者的积极性和主动性得以充分发挥，让教学活动更加积极、活泼和生动[7]。传统教学模式下，学生所获得的知识主要为间接知识，采用虚拟现实和增强现实技术能为学习者构建一般人不能接触到的环境，或者不存在的世界，或者是无法在真实世界中看到的信息，让学习者的学习和观察更加形象、直观，能彻底改变传统教学模式在空间和时间方面的限制[8]。如果能将基于多模态功能神经导航的虚拟现实和增强现实技术与互联网平台的数据传输、存储和处理相结合，则能在全国范围内进行规范化和标准化的神经外科教学活动，彻底改变神经外科的教学模式。

术前二维信息是传统手术计划教学的主要依据，如磁共振影像、CT检查等。神经外科教师利用颅骨、头皮的标记，采用尺子测量换算来进行定位。浅部病变能粗略定位，占位效应显著的病变和深部病变则不能有效定位。术前计划教学缺乏依据和标准，进而对教学效果造成影响。基于多模态功能神经导航的虚拟现实和增强现实技术，则能让病变定位问题得以有效解决[9]。基于多模态功能神经导航的虚拟现实和增强现实技术能对病变进行准确定位，但无法为定位功能结构提供有效帮助。利用基因多模态功能神经导航的虚拟现实和增强现实技术的术前计划系统，能整合二维影像，形成立体、直观的三维影像，对重要功能结构进行清晰显示，而且还能形成虚拟的手术环境，制订科学合理的术前计划。利用三维可视化可以对病变及其周边重要功能结构的关系进行全方位和多角度展示，最终让手术计划达到最优[10]。endprint

总之，传统神经外科教学模式的效率较低，无法标准化和规范化开展，进而对神经外科教学的发展、培养青年神经外科医师都造成了严重的影响。应用基于多模态功能神经导航的虚拟现实和增强现实技术，能从根本上改变神经外科的教学模式。在神经外科教学中应用基因多模态功能神经导航的虚拟现实和增强现实技术，能让神经功能结构和解剖结构实现三维可视化，进而显著提高教学质量，而且还能使教学更加标准化与规范化，在对青年神经外科医师进行培养时，有效缩短时间，具有推广价值。

[参考文献]

[1] 王东梅，杨继梅.标识在神经外科手术显微器械管理中的应用[J].中国实用神经疾病杂志，2017，20（4）：137-138，139.

[2] 由娜.利用PDCA循环法对神经外科植入器械管理的研究[J].中国实用神经疾病杂志，2017，20（1）：125-127.

[3] 刘凤，白俊超.神经外科手术室贵重精密器械设备的安全管理与使用[J].中国实用神经疾病杂志，2013，16（21）：68-69.

[4] 葉建兰，笪虎.锐利器械保护套在神经外科精细器械处置中的应用[J].国际护理学杂志，2016，35（8）：1146-1147.

[5] DeRibaupierre S，Wilson TD. Construction of a 3-D anatomical model for teaching temporal lobectomy [J]. Comput Biol Med，2012，42（6）：692-696.

[6] 赵杰.神经外科手术器械仪器管理[J].医药前沿，2014，6（21）：375.

[7] 王海云，王国林.神经外科麻醉专科医师培养体系的建立与实施[J].临床麻醉学杂志，2017，33（5）：421-424.

[8] 徐宇伦，王磊，杨辰龙，等.显微神经外科手术设备器械培训教学的探索与实践[J].中国医学装备，2016，13（6）：125-126，127.

[9] 寸恩浩，杨军，陈素华，等.Destroscope虚拟现实系统在显微神经外科教学中的应用[J].继续医学教育，2015，29（6）：14-15.

[10] 陈兆哲，虞露立，吴远水，等.研究猪脑灌注模型在显微神经外科培训中的使用[J].江西医药，2017，52（8）：757-759.

（收稿日期：2017-07-23 本文编辑：王 娟）endprint