增强现实在医学领域中的应用现状研究

李春迎，陆正大，谢凯，孙鸿飞，林涛，高留刚，眭建锋，倪昕晔

1. 南京医科大学附属常州第二人民医院 放疗科，江苏 常州 213003；2. 南京医科大学 医学物理研究中心，江苏 常州 213003；3. 常州市医学物理重点实验室，江苏 常州 213003

引言

在传统的诊疗过程中，通常是医生根据已有的二维断层图像，凭借经验估计病灶形态结构以及和周围正常组织的关系来分析患者病灶部位的特点。但二维图像无法提供人体组织器官的立体感知效果，缺乏直观性，因此精确度也较低[1]。随着电子信息技术的发展，可视化技术越来越多地应用于医疗领域当中。三维可视化技术是从计算机断层技术（Computer Technology，CT）、磁共振成像（Magnetic Resonance Imaging，MRI）、超声成像（Ultrasound，US）、正电子发射扫描（Positron Emission Tomography，PET）等成像系统中获取数据，将图像生成技术和图像理解技术结合起来，从获取的复杂数据中生成人类视觉可以感知的三维图像，更加直观地进行操作和分析[1-2]。三维可视化技术包括3D 打印、三维重建、虚拟现实（Virtual Reality，VR）、增强现实（Augmented Reality，AR）等技术，其中AR 以其较好的虚实结合[3]、实时交互能力[4]、三维尺度中添加定位虚拟物体等优点成为医疗领域的新兴技术。AR 可视为VR 的变体，是用计算机生成的数据来对真实的世界进行补充并实时呈现的技术。AR 同时关注真实世界和虚拟世界，并进行实时交互，其侧重于将虚拟影像叠加在真实世界中的方式来观察现实世界以此来增强用户的现实体验，AR 补充真实世界而不是取代它。本研究将讨论AR 在医疗领域的应用现状和发展方向，主要包括AR 技术特征及关键技术、AR 在医学教育中的应用、AR 手术导航、AR 在肿瘤放射治疗领域的应用。

1 AR技术特征及关键技术

AR 技术与其他可视化技术相比，具有多图像融合、3D 交互、具备手眼协调能力等特征，能增强用户对周围真实世界的感知，而不需要在现实世界和屏幕之间来回切换。

AR 系统的基本流程主要如下：采集数据进行建模形成模拟图像、将模拟图像与真实环境进行匹配、最终增强图像的显示[5]。AR 系统所需要的三个必要的组件为：头戴式显示器、实时注册跟踪定位技术、移动计算能力，其中关键部分是注册定位跟踪技术与虚实场景融合技术。注册定位跟踪技术的精确度直接决定虚实融合的鲁棒性和实时性，此技术的关键是实现对真实场景中的目标物体位置的准确跟踪，而AR 跟踪器又分为基于视觉的无标记跟踪器和基于三维模型的跟踪器等，其中基于无标记三维模型跟踪器优点是能够预测目标场景的隐藏运动，减少跟踪过程中引入的异常数据的影响，从而提高鲁棒性和各方面的性能[6]，使用三维模型的跟踪器的前提是需要被跟踪对象有3D 模型以供使用。虚实融合技术将直接影响用户的真实感，Battiato 等[7]对虚拟或真实场景信息做了简化处理以减小计算机生成的虚拟像和真实场景之间的差异，同时有研究表明利用基于OpenSceneGraph（OSG）的模型渲染技术以及GL 着色语言（GL Shading Language，GLSL）实现的多元化融合效果较传统的虚实融合方法而言更加灵活、直观地展现出融合场景的真实感和立体感[8]。

2 AR在医学教育中的应用

人体解剖学是医学生最基本的课程之一，其主要是说明性的，需要通过图形、图标和真实模型进行教学才能有助于学生的理解。但传统的结合教科书和解剖来教授人体解剖学受到了很多的限制，而AR 技术的出现可以很好地呈现骨骼、肌肉、神经和其他的人体器官，使医学专业的学生在一个真实世界的“操作”游戏中练习解剖人体模型的程序，AR 成为传统解剖教学模式很好的补充[9]。Kandikonda 等[10]使用Maya 3D 软件成功创建了人体脊柱模型，他选取了精确的人体脊柱图片，并将在Maya 中创建的3D 脊椎模型导入Google Sketchup 软件当中，再使用AR-media 插件配置3D 脊柱模型以生成增强现实，生成增强的3D 脊柱以供学生进行交互学习。Blum 等[11]提出mirracle 系统，该系统利用AR 技术实现原位可视化，直观地在用户身上显示解剖结构，有助于在学生掌握重要器官组织结构的同时提高学习的积极性。

神经外科手术复杂、危险系数高，因此需要神经外科医生的大量学习来提高自己的经验水平，但大多数知识的来源还停留在解剖图谱、头部模型和动物解剖模型上，限制了神经外科医生的进一步学习。有研究报道称，Immersive Touch（IR）作为一种AR 系统，可以用来模拟训练脑室造口术、颅骨钻孔手术、经皮三叉神经根切除术，还可用于模拟脊柱模块，如椎弓根螺钉置入、椎体成形术和腰椎穿刺等其他操作，学习者通过三维立体模型可以更好地理解复杂的神经外科解剖模型，明显提高了学习的效率[12-13]。

口腔医学对于医生的手眼协调能力要求较高，各种模拟训练技术也已投入使用。随着计算机技术的不断发展，多种可视化技术也逐渐与口腔医学相结合来提高学生的动手操作能力，节约成本和时间[14]。目前市场上已经出现了与VR 系统结合的牙科模拟器，Virteasy Dental 公司将触觉系统和牙科手柄结合模拟牙科钻孔以提高学生的技能，相信AR 技术与口腔医学的结合会有更加广阔的天地。

有研究表明AR 技术在护理学中的可用性，文章提出AR 技术可以吸引学生积极投入实训环境，具有避免在训练当中对真实患者造成伤害的同时在不同场景和患者之间进行训练等优点[15]。

由此可见，AR 技术已经给传统医学教学模式带来一定的改变，将AR 技术与医学教育相结合，不仅解决了医学模型（如尸体模型、动物模型、人体模型等）的伦理问题和实时获取问题，而且还可以以逼真的三维模型方式来实现学习者与模型之间的实时互动，提供更加直观、便捷的学习形式。

3 AR进行手术导航

以前，超声、CT、MRI 等成像设备产生的医学图像主要用于疾病的诊断。近年来，随着成像技术的不断发展，将医学图像直接应用于手术成为趋势，这就是图像引导手术或手术导航技术。手术导航技术较传统的手术技术相比，可以确保到达正确的病变部位进行手术，但当手术过程中查看导航信息时，需要在手术部位转动来实现查看导航屏幕，这不可避免地会在手术过程中产生偏差。将AR 技术应用于手术过程具有始终观察手术部位的优点，器官和神经等以三维图形显示在头戴显示镜中，医生可以以相同的方式进行手术而不需要在手术过程中移开视线来查看位置信息[16]。

2013 年，Suenaga 等[17]用AR 技术模拟了口腔颌面部手术。他利用CT 数据来建立上颌骨的三维模型并生成视频图像，再使用三维增强现实系统生成覆盖层，并通过半镀银镜子投射到手术部位进行手术导航。结果证明实体模型和AR 系统中的模型各点之间的差异在1 mm 以内，具有很高的精确度，并且手术者裸眼看到的三维重建图像不会随着观察角度的改变而发生变化。2015 年，Liu 等[18]利用AR 技术在锥形束CT（Cone Beam CT，CBCT）的引导下进行舌癌切除手术，除了立体增强视图外还创建了一个虚拟场景的正交视图来增强深度的感知。实验结果表明，视频增强较透视引导和无引导技术而言，获得了更高的切除率。他提出的内窥镜视频增强引导方法增强了关键的血管结构、肿瘤结构和所需的边缘信息，同时融合了定位工具，为外科医生增强了深度感知信息，进行精确手术。2016 年，Li 等[19]利用AR 技术进行导航完成鼻内窥镜颅底手术。他以术前的CT 或MRI 图像为数据进行三维建模，对畸变校正后的真实内窥镜图像进行半透明融合。实验结果证明，基于AR 的导航系统能够重建手术部位的立体形态，并将内窥镜图像融合到三维重建图像当中去，为医生提供更直观、更详细的影像信息，减少进行鼻窦或颅底手术的判断时间。2018 年，蒋帅等[20]利用AR 技术对颅骨CT 数据进行三维重建并指导开颅手术。在术前进行颅骨CT 的三维重建模拟关键点，术中使用AR 技术协助定位关键点，可准确定位相应的钻孔位置，避免乙状窦前入路开颅手术静脉窦的损伤。谢国强等[21]探讨了基于智能手机简易增强现实技术定位幕上高血压性脑内血肿的可靠性和准确性，他将入院时高血压性脑出血的头颅CT 数据导入3D Slicer 软件后进行头面部皮肤和脑内血肿的三维重建，调整皮肤透明度使皮肤和血肿同时显影时截图导入智能手机，实现简易的增强现实技术，实验结果表明，定位准确性能得到保证，误差在3 mm 左右，是在完全可以接受的范围内。

腹腔镜手术与其他手术相比，具有创伤小、恢复快、感染率高等特点[22]，手术效果过于依赖医生的经验，将AR 技术与腹腔镜手术相结合能在一定程度上减轻这种依赖性。目前来说，AR 已经运用于肾、胰十二指肠、肝等切除手术中[23-24]。腹腔镜增强现实导航技术的数据主要来自于术前CT、MRI、PET、SPECT、US 等，其主要是通过视频叠加的方式进行显示，完成手术过程中的导航，而目前来说，这种导航技术主要分为腹腔镜视频增强现实导航和腹腔镜超声增强现实导航，其中，腹腔镜视频应用多于腹腔镜超声的应用[22]。

由此可见，AR 技术与医学手术相结合是目前研究的热点，同时较传统手术相比，AR 手术导航具有很好的实时交互功能，医生能更加直观地进行手术。但目前来说，尽管将AR 技术用于手术导航取得了令人鼓舞的成果，但鲁棒性和准确性的问题仍然存在，这是以后需要进一步研究和解决的问题[25]。

4 AR技术用于康复治疗

康复治疗是康复医学的重要部分，是帮助病、伤、残患者恢复健康的重要手段，康复治疗学在我国起步较晚，目前来说主要的治疗方法有运动疗法和物理治疗、作业疗法、心理治疗、假肢及矫形器具等，但AR 技术也逐渐与康复治疗学相结合。

脑机接口（Brain Computer Interface，BCI）即大脑-计算机交互接口的简称，主要用于重建特殊感觉以及瘫痪病人的运动神经，近年来在康复领域取得很大的进展，同时也有研究表明其可以增强正常人的功能。但尽管脑机接口的性能在不断上升，却主要还是集中在辅助、增强和修复人体认知和运动感觉神经等方面[26]，很难应用于日常生活当中。张力新等[27]提出将AR 技术与BCI 结合起来以摆脱屏幕限制，随时随地向用户呈现视觉刺激，实现便携式脑机控制系统。实验结果表明，AR-BCI 一定程度上解决了设备的便携性问题，同时能够实现较高的正确率和速率，有望在将来真正投入到实际应用当中。

脑卒中是导致人类死亡或残疾的主要原因之一，因脑卒中而导致偏瘫的患者上肢恢复较下肢恢复要更加困难[28]，而AR 技术已经越来越多地应用于上肢恢复当中。视触觉增强技术可以通过刺激多个感官来帮助大脑高级中枢进行整合，建立新的信息接收和处理通道，有助于上肢的康复[29-30]。

5 AR应用于肿瘤放射治疗

放射治疗是肿瘤临床治疗的三大主要手段之一，大部分恶性肿瘤患者在接受治疗的过程中或多或少都需要接受放疗[31]。放疗的目的是最大限度的杀灭肿瘤细胞，而使周围正常组织和器官免受或少受射线照射。随着计算机技术的迅猛发展，放疗的精度得到了大幅度的提高，而可视化技术是精准放疗的重要组成部分。

有研究表明，进行放射治疗时病人摆位不准确会使得病人的复发率大大提高。但放疗次数多、周期长、影响因素多，在摆位时精度无法保证，因此寻找方法来减小摆位误差是很有必要的。2009 年，Talbot 等[32-33]提出利用AR技术开发一种外照射放射治疗病人设置系统。他提出根据CT 数据来获得患者外轮廓的三维模型，并利用AR 跟踪软件将轮廓叠加到正确治疗位置的视频图像上，用户观察监视器将实际患者身体外轮廓与虚拟轮廓对其来进一步实现对患者的精确定位。实验结果证明，AR 技术作为体外放射治疗病人位置引导的工具，其概念是完全可行的，并且能够以该领域所需的准确度进行操作，但目前来说这只是一个可行性研究，真正应用于临床摆位治疗还需要很长的一段路要走。

6 总结

综上所述，将AR 技术与医疗相结合在未来具有巨大的发展潜力，目前主要用于医学教育和手术导航方面，在康复治疗和放射治疗等领域还处于起步阶段。但由于医疗领域的精确度要求较高，还有很多亟待解决的问题。医学成像数据（CT、MRI、PET 等）的误差将直接影响三维模型的精度，人体组织的形变程度、摄像机标定误差等将直接影响三维注册的误差，AR 系统的延迟、人眼的不适程度、是否能形成正确的深度感知都会影响到AR 的导航效果。但是在科学技术不断进步的今天，我们相信这些难题在不久的将来都会得到很好的解决，AR 技术将与医学更好地结合来造福人类。