扩展现实技术在骨科手术实践及教学培训中的应用研究进展

毛宁波 张煜* 侯雨潇 王丽

（1.西安交通大学机械工程学院，西安 710049；2.北京富乐科技开发有限公司院士专家工作站，北京 101101）

虚拟现实（virtual reality,VR）、增强现实（augmented reality,AR）与混合现实（mixed reality,MR）技术可统称为扩展现实（extended reality,XR）技术，已被广泛用于游戏、制造、教育、医学等领域。该技术在医学影像三维可视化、沉浸式交互、信息实时获取及反馈等方面的优势使之在医学领域的应用越来越广泛，特别是在手术规划与手术模拟、医学教育与技能培训中展现出巨大的应用潜力。

由于骨骼解剖结构和生理功能的复杂性，骨科手术风险高、难度大。特别是在脊柱外科、关节外科、创伤骨科、骨与软组织肿瘤、关节镜等手术操作过程中，由于解剖结构复杂、难以辨认，常易造成副损伤。多项研究表明XR 技术已经逐步应用于各种骨科手术的术前规划、术中导航、术后康复、教学培训等环节，包括脊柱外科、关节外科、创伤骨科、骨与软组织肿瘤、关节镜等手术。为缩短手术时间、降低围手术期风险、缩短年轻骨科医师及医学生的培训时间等方面提供了新的方法。

本文对XR 技术的相关概念、相关技术的发展历程进行概述。重点围绕VR、AR、MR 的技术特点，介绍其在骨科手术过程及教学培训等方面的应用情况；针对目前XR 技术在医学领域面临的挑战，提出未来需要解决的关键问题，展望未来在骨科领域的应用前景。

1 XR技术概述

VR、AR 与MR 技术统称为XR 技术，是指广泛运用了多媒体、三维建模、实时跟踪、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，通过计算机将真实与虚拟相结合，为使用者带来感官和认知方式上的沉浸式体验。

VR 技术利用计算机技术模拟三维虚拟世界，使用户完全沉浸其中，所有画面都是虚拟的，通过跟踪手持控制器、触觉反馈装置、触觉手套等输入设备，用户可以与这个虚拟世界进行交互。VR 技术于20世纪60年代开始萌芽，1989年由美国的杰伦·拉尼尔（Jaron Lanier）正式提出，早期主要应用在军事训练、飞机制造、航空航天等专业领域，2014 年涌现出大量VR设备制造厂商[1]。

AR 技术是把虚拟信息叠加到真实世界，将虚拟信息与真实世界巧妙融合，实现对真实世界的增强。AR的三大关键技术：虚实融合显示、跟踪注册和图像配准、人机交互。AR 技术源于1968 年的头戴式显示设备设计理念[2]，目前市场上已经发展形成ARCore、ARKit等多设备通用的工具包和头戴式AR 眼镜等设备，如Epson Moverio serie、Vuzix Blade、谷歌眼镜。

MR 技术和AR 技术有时很难区别，现有研究也经常将两者相混淆。虽然这两种技术都使用虚拟图像来增强物理世界，但不同之处在于数据的表示方式和融入物理世界的方式。Milgram[3]将AR技术定义为将虚拟信息叠加到用户视野上，将MR技术定义为将虚拟信息与真实世界的场景或对象进行融合，换句话说，AR 技术将虚拟信息叠加到真实世界上，MR 技术将虚拟信息与物理世界融为一体，物理和数字对象共存并实时互动。MR 技术是VR 和AR 技术的拓展，也是新兴的技术概念，市面上的MR 设备有Magic Leap one 和Microsoft HoloLens1/2。VR 技术构建的是虚拟场景，AR 技术是真实世界叠加虚拟场景，MR 技术将VR、AR 技术的特点完美地结合起来，提供一个新的可视化环境并进行实时的交互反馈。

2 XR技术在骨科手术实践中的应用

2.1 术前规划

在术前规划阶段，所有的准备工作都是为了保证手术的成功，每一台手术的顺利完成离不开前期周密的规划工作。XR技术可以全方位展示由患者影像资料进行三维重建等比还原成个性化、精准、可修正的三维人体数字模型，尽可能确保数字模型影像解剖结构与实际手术过程中解剖位置关系的一致，充分模拟人体结构和病理特征，可分析出病变位置、病变特征并规划合理的手术方案，通过构建虚拟手术环境，模拟初步规划的手术操作方案，发现操作中可能存在或未知的问题，找到解决问题的预案，根据实际需求标注或高亮显示手术操作中需特别注意、易发生损伤的部位，避免术中不必要的副损伤及并发症，缩短手术时间，减少术中出血量[4-9]。VR、AR、MR技术能辅助制订和模拟预演手术方案，AR、MR技术能在术中叠加预演的方案标注提示信息，有助于规避手术风险，提高手术安全性及有效性。也能直观地将病理特征展现在患者面前，增加沟通效率，有效缓解医患矛盾[9,10]。

Zheng 等[11]术前使用VR 技术模拟手术环境并测量计划穿刺点和入口角度数据，与传统方法对比探讨了其在经皮内镜下腰椎间盘切除术中提高穿刺准确性的适用性，30例患者的临床实验结果表明，VR技术可显著提高手术穿刺准确性（角度和距离可准确预测，但深度信息不能得到有效预测），减少透视次数[VR组(13.18±4.19)次，传统组(32.00±4.52)次]和定位时间[VR 组(17.91±4.74) min，传统组(33.22±3.90) min]。Alsofy等[12]评估了VR技术对单节段、单侧骨性颈椎神经孔狭窄患者手术计划的潜在影响，结果表明VR 技术有助于规划手术入路和治疗策略，通过对73 例患者的临床实验评估，XR 技术对入路选择（腹侧或背侧）有中度影响（P=0.08），对腹侧入路策略有显著影响（P=0.02），对患者的定位或背侧入路策略无影响（P=0.69）。2017 年，威海市中心医院首先将AR 技术与3D打印技术应用到骶尾部巨大梭形细胞瘤切除及椎体置换手术，手术准备环节将CT、核磁共振等影像资料还原成虚拟的数字人体模型，医师在AR 眼镜中使用语音交互和手势交互指令查看病灶并模拟手术过程，患者和医师可以更加清楚手术的实施过程[13]。AR 可视化视图中的人体数字模型可通过3D 打印成同比例的物理模型，两者结合可增加实物角度的考虑维度[14]，虚实结合且融合交互属性向MR 技术概念发展。

XR 技术可以轻松地显示更明显的病理特征，例如巨大的椎间盘突出、复杂的脊柱畸形、外伤性三柱损伤等，然而随着病理特征的细微化，例如神经孔受压、低度脊椎滑脱，XR 技术尚未显示出优异的效用，准确表征病理特征非常重要，这也是亟待解决的问题。Maloca 等[15]成功开发了一种先进的高端VR 图像显示方法，利用点云数据提供新的视图和交互。目前，由于交互的复杂性，手术规划的方案制定主要由计算机完成，方案预演缺乏一定的实时反馈信息，与实际手术过程有一定差距，随着系统功能越来越复杂可能会带来性能问题[16]。

2.2 术中导航

手术导航系统辅助医师更精准地完成手术操作，由于技术特点的限制，目前的研究大多使用AR和MR 技术。相较于传统导航系统，AR、MR 技术允许可视化手术过程中可能被遮挡或通常不暴露的解剖结构，实时显示导引、最佳轨迹和术前标注等信息并进行交互，可以降低手术难度，缩短手术时间，减少术中医患双方所受辐射量，提高手术治疗的效果[17-19]。Elmi-Terander等[20]评估了在椎弓根螺钉置入时使用3D 成像AR 术中导航系统的准确性，通过20例患者253 枚螺钉置入的临床验证结果表明具有较高的准确率和可接受的置钉时长；置钉整体准确率为94.1%，无螺钉严重错位（Gertzbein 3级）；置钉时间为4.1～5.2 min。Elmi-Terander 等[21]在另一项研究中与徒手置钉对照发现，AR 术中导航系统显示出统计学上更高的螺钉放置精度，但手术时间、住院时间和失血量无统计学差异。Liu 等[22]提出了一种基于AR的髋关节置换导航系统，在股骨模型上进行了导向孔钻孔实验，将钻孔的位置和方向与术前计划进行比较，发现平均误差约为2 mm。Gu 等[23]报道MR 技术可以提高脊柱手术的安全性和椎弓根螺钉固定系统的植入精度，并且出血量少、手术时间短、穿刺成功率高、术中透视次数少、术后引流量少且具有统计学差异。Edström 等[24]开发了AR 术中导航椎弓根螺钉置入的标准化工作流程。Ma 等[25]提出使用超声代替CT 进行AR 术中导航系统注册，以进一步减少辐射。Wanivenhaus 等[26]开发了一种用于脊柱手术中精确弯棒的AR 术中导航系统。有研究报道AR 导航系统的创新设计、人机交互技术以及快速标定算法[27-29]。Auloge等[30]评估了一种集成了AR和AI的新型导航工具在椎体压缩性骨折患者经皮椎体成形术中的技术可行性、准确性、安全性和辐射暴露情况，该工具的AI软件能自动执行脊柱分割，然后定位探测器的初始目标并建议一个最佳轨迹通过AR 叠加显示，研究表明该技术可行且安全，与透视组精度相比无显著差异，具有更少的辐射量[AR/AI 组(182.6±106.7) mGy cm2，透视组(367.8±184.7) mGy cm2]，但手术时间明显变长。XR 技术在术中导航的应用主要存在四大问题：①图像信息的遮挡问题[31]；②可变形人体组织的配准问题[32]；③实时导航刷新数据依然需要更新透视影像资料，辐射问题依然存在；④术中导航系统的精度和准确度问题[33,34]。因此，XR技术和交互范式需进一步升级，系统误差需控制在可接受范围，实时导航过程中的配准和人体组织的变化是重点需要解决的问题，可以引入人工智能或者数字孪生等技术概念。

2.3 术后康复

术后康复是手术治疗后期的关键环节，XR 技术的使用减少了恢复时间和成本，实现了更有效的康复效果[35]。严肃游戏的兴起使VR、AR 技术应用于术后康复越来越普遍[36]。VR 系统可以为四肢瘫痪患者提供更具吸引力和参与性的治疗，允许患者在可变的环境中与虚拟对象进行自然交互以产生刺激，使得用户在治疗目标范围内尽可能多地使用身体部位自然控制进行运动，创造积极的用户体验，可以增强患者在治疗过程中的参与度和动机，手部肌肉肌力测试显示VR 组比传统组结果有显著性的改善（P=0.043）[37]。AR技术可用于治疗截肢患者的慢性幻肢痛，通过肌电传感器跟踪患者缺失肢体的肌肉信号并进行信号处理，将虚拟肢体与患者进行配准并叠加在患者截肢部位上，患者与虚拟环境融为一体，患者可以思考想要执行的动作，通过肌肉信号分析控制虚拟肢体跟从执行此动作，患者可以身临其境地张开手或扭动手腕，这种方法能够在很大程度上减轻幻肢痛[38]。Gokeler等[39]将VR 技术结合到前交叉韧带重建康复项目中，可以提高患者运动学习能力的评估和康复，有助于减少二次前交叉韧带损伤的危险因素。Maresca 等[40]评估了使用标准认知方法和VR 联合康复训练后一例60 岁脊髓损伤患者的认知和运动结果，观察到不同认知领域的显著改善，焦虑和抑郁症状显著减少，运动表现和平衡能力也得到显著改善。有研究也表明XR 技术是一种愉悦的辅助治疗方式，但未表现出优于传统训练的有效性[41,42]。XR 技术与机器人辅助康复技术相结合将具有广泛的潜力，未来的趋势可能是将植入式传感器连接到患者的骨骼或肌肉上，以监测刺激水平和生物力学，实现最佳的康复机理和应用实践；远程康复则是XR 技术应用的另一个趋势，因为患者可以在家中进行各种形式的康复训练。

3 XR技术在骨科教学培训中的应用

除在骨科临床手术相关的应用外，XR 技术也广泛应用于骨科教学培训。XR技术的可重复操作性和自主交互性，增加了实习生、研究生和青年医师培养中教学和实践操作的机会，可根据自身兴趣学习解剖知识和模拟手术训练，有利于提高学习积极性和效率。事实上，受过模拟训练的医师比进行传统训练的外科医师具备更快、更安全的手术技能水平[43-45]。

3.1 解剖知识教学

骨科传统的解剖知识的学习途径是教科书文字叙述及图片讲解、模型骨展示及尸体标本解剖，这些形式不够生动有趣，降低了学习的主动性，临床教学效果不佳。XR技术可以将临床影像资料还原成三维人体数字模型，构建出虚拟的解剖环境，有助于提高教学的趣味性，继而提高临床教学效果[46-49]。Moro等[50]评估了使用VR、AR 和平板电脑进行解剖教学的有效性，对59名参与者分别使用这三种形式完成颅骨解剖学课程，然后进行知识评估测试，尽管三组之间的评估分数无显著差异，但使用VR、AR 系统的学习者反映沉浸感和参与度有所提高，但同时也存在头晕和视力模糊的问题。张里程等[51]运用MR技术进行骨科临床教学实践，学生普遍反映能直观了解四肢、关节、脊柱的解剖结构，以及难以掌握的关节周围复杂骨折、脊柱肿瘤和脊柱畸形等知识点，通过该教学方法很快能熟识并加以应用。

3.2 模拟手术训练

骨科手术具有漫长而陡峭的学习曲线，青年医师骨科手术技能的提高除了临床知识的学习，还需要不断的培训与练习。现代医学教育经常使用模拟器来培训和评估医疗技能，目前，XR技术正深度应用于各种医疗程序训练模拟器，可增加青年医师模拟训练手术技能的机会，并对其技能水平进行评估，各种研究结果表明其优于非模拟器和传统培训方法，可有效提高手术操作培训质量，帮助培训者掌握高难度手术操作的要点及难点[52-54]。

骨科手术技能的培训除了对临床知识、手术流程和手术操作技能的训练，还需要保证真实的力反馈，手感的把控是手术技能培训的关键。现有研究可根据是否提供力反馈分为纯虚拟的和虚实结合的模拟器，两者均能有效进行手术教学培训，但缺少力反馈对手术技能训练是不完善的，因此，虚实结合才是满足需求的模拟器。现有的虚实结合模拟器主要运用AR 和MR 技术，力反馈由多自由度的机械装置提供或由实物模型的材料特性提供，使用实际的手术器械进行操作训练[53,55]。随着3D 打印技术的发展，实物模型可实现形态和触感的拟人化，将AR、MR 技术与3D打印拟人化医疗模型相结合是未来发展的趋势[56]。在手术训练完成后，需对培训者的训练效果进行考核评价，目前的评价手段有专家医师主观评价、操作录像回溯分析、问卷调研、理论知识考核和借助传感器技术的自动化评价模块，考虑到评价的客观性和实时性，借助传感器技术的自动化评价模块是研究的趋势，但目前的评价指标不够完善，缺少对培训者手术操作技能的综合评价和长期跟踪[57]。

骨科相关的XR 技术模拟器应用中，关节镜模拟器研究数量最多，骨折相关模拟器研究相对较少。Coelho 等[53]建立了一种MR 模拟器充分模拟解剖结构、病理特征、脑脊液泄露、CT扫描等程序，并通过16位专家医生对其进行了模拟评估，结果表明其提供了一个安全高效的训练环境，可以潜在地改善和缩短学员的学习曲线。Gibby 等[55]使用AR 引导模拟了在不透明的腰椎模型中经皮椎弓根螺钉放置。Pfandler等[58]介绍了基于XR 技术的脊柱手术模拟器，涵盖了模拟椎弓根螺钉置入、椎体成形术、颈椎后路椎板切除术、椎间孔切开术、腰椎穿刺、小关节注射和脊柱针插入过程的研究，包括已经建立的模拟器ImmmersiveTouch、PHANToM、Dextroscope、Surgical Rehearsal Platform、Falcon、Procedicus VIST simulator、Perk Tutor。有研究报道VR 技术显著提高了全髋关节置换术、肩关节成形术手术和非手术技能[59-61]。Yari 等[62]让18 名骨科住院医生在ArthroS 模拟器上执行膝关节和肩部训练以及诊断任务，然后基于IGARS量表进行评分，初级住院医生手术技能在膝关节模拟器上的改善更大，高级住院医生手术技能在肩部模拟器上的改善更大。Camp 等[63]进行了一项对照实验研究，比较通过尸体模型或高保真模拟器进行训练的住院医师手术技能的改善情况，结果表明住院医师提高了关节镜检查能力，尽管模拟器组的改善程度明显低于尸体组，但对时间及成本估算后，每年使用300 小时关节镜模拟器组比尸体组训练更具成本效益。总体来讲，使用模拟器可以提高手术技能水平，有利于任务完成的时间和目标成绩的改善，执行手术任务方面比其他对照组更熟练，即使在极少的指导下，总体表现也更好，然而不同的模拟器类型、训练方案和结果存在差异，没有标准化的程序验证评估。目前，报道的研究主要进行了实验验证评估，有必要对临床表现进行随机对照试验评估，以进一步了解XR 技术在骨科手术教学培训中的有效性。此外，研究人员应调查多学科团队培训环境中用于非技术技能培训和评估的可行性。基于XR 的模拟器已经成为骨科手术训练方法的有效补充，未来也将对青年医师的成长发挥至关重要的作用。

4 XR技术面临的挑战与应用展望

XR 技术已初步应用于骨科手术实践及教学培训中，目前研究所面临的问题主要有以下几个方面：①现有的技术方案是将患者影像资料三维重建还原成数字人体虚拟模型，这个过程将人体组织结构进行了相对的简化，对于细微的人体组织及病理特征的表征还需要进一步改善；对数字人体模型更关注的是解剖结构，而忽视了组织的功能和代谢情况，呈现的是静态的组织，动态变化的组织特征才符合手术实际的需求，对于术前规划和术中导航都具有实际的指导价值。②显示技术和交互范式还有待优化和规范。在术中导航应用中，虚拟图像信息的配准随着手术的推进会产生偏差，静态的组织不会根据实际组织位置发生变化而变化，这可能给医师带来误导信息；深度信息的感知缺失也会产生一定的问题；XR 技术显示的图像也会对实际手术视野进行遮挡；多种交互任务的引入和系统的学习使用也可能增加医师手术操作中的工作负荷。③目前的手术教学培训应用主要针对单一的教学程序，对于手术的危机模拟程序训练还未得到有效应用；对于真实的手术环境和触觉反馈的模拟还有待改善；对培训者的纠错机制和反馈还有待改善；教学培训体系的建立不够完善，评价指标尚未形成标准，缺少对培训者手术技能的长期跟踪评价。④目前市面上尚无一款现象级的产品，不同设备的使用和开发都存在很大不同，无统一的标准和规范化的平台支持，需要既懂医学也懂开发的专业人才进行实施，不利于市场推广。⑤临床应用的伦理问题，目前研究的样本数量有限，验证方法及标准不一致，无法统一应用效果，还需大量相同标准的临床试验验证。

在逐步解决上述问题的基础上，可以结合更先进的医学影像技术，将人体组织结构及病理特征还原为足够逼真并简化还原的过程；新材料、3D/4D 打印技术、传感器技术、机器人、人工智能、多模态智能交互技术与XR 技术的融合，也将提升实际实施过程中的效率；5G 加持的云端平台可以提供统一的、规范的、标准的操作平台和交互范式，减少本地的计算量，减少学习时间，提升可用性，共享大量的实际应用案例，减少资源的重复浪费。随着技术的推进和临床应用标准的完善，XR 技术将发展成为骨科手术实践和教学培训中切实有效的辅助工具，惠及更多的医师和患者。

5 小结

现有研究表明，XR 技术作为骨科手术辅助工具的潜力巨大，从实验验证到临床研究都不同程度地表现出优异的效能，但XR 技术存在的问题也是目前其未能大规模推广应用的原因，随着技术的发展和推广实践，相信在不久的将来，XR技术会成为骨科手术中标准化的临床辅助和教学培训工具。