增强现实/混合现实技术在骨肿瘤外科手术规划及教学培训中的应用

周熹 刘书中 王以朋 刘勇

（中国医学科学院北京协和医学院北京协和医院骨科，北京 100730）

增强现实（augmented reality，AR）与混合现实（mixed reality，MR）技术在医学应用方面通常是指虚拟图像与用户视觉的叠加，近年来由于设备技术的升级进步，AR/MR技术的应用迅速崛起，显示出巨大的医学应用潜力[1-3]。在图像引导手术（image-guided surgery，IGS）系统中，以目前外科手术导航为背景，AR/MR可能引领着下一个重大技术变革。

骨与软组织肿瘤外科是骨科学范畴内难度最高的亚专业之一，病种繁杂多样，手术难度和风险高，术中出血量大且常伴副损伤发生，青年医师学习曲线较长。近年来，已有多项研究探索了AR/MR 技术在骨肿瘤外科手术规划及教学培训中的应用价值[4]。本文将着重阐述AR/MR 技术在该领域的研究进展和发展前景，以期提高骨科专科医师对AR/MR技术在骨科学领域应用的认知和掌握。

1 AR/MR技术及其在骨科领域的应用概述

AR/MR 包括特殊的硬件和软件设备，最基本的方法是将计算机生成图像叠加在各种模式相机生成的真实图像上，并在显示器上显示这些图像的有机结合。AR/MR 投影需在特定场所中安装视频投影仪，目前已成功研制出便携式视频投影设备，另一种方式是使用类似于眼镜或头盔的特殊头戴式显示器，即“智能眼镜”[5,6]。在基于AR/MR 的手术导航系统中，医师通常可从术前影像资料（例如X 线、CT、MRI、超声检查、造影检查、核医学检查等）中获得个体化的解剖学和功能学信息，从而实时地将三维虚拟模型叠加覆盖在真实的手术术野视图上，为骨科医师提供可视且精准的解剖结构和功能信息。与普通的可视化技术相比，术者无需从手术部位移开视线，且可利用语音识别及手势识别等附加技术，在术中无菌环境下完成医师与硬件的实时交互[6,7]。

由于部分器官随呼吸、体位改变、肠蠕动等因素可发生位置变化，因此AR/MR 系统在器官运动和形变较大的组织器官手术中优势更为明显，目前应用研究最多的领域是神经外科、骨科、肝胆外科和耳鼻喉科[5,8]。在骨科手术中，AR/MR 技术已被报道用于创伤外科、脊柱外科、关节外科、骨与软组织肿瘤外科、关节镜手术等各个亚专业的术前规划、术中导航和教学培训中[4,9-16]。AR/MR 技术可以将患者特定的影像学资料与真实场景有机结合，实现实时三维交互，术者能够在AR/MR 系统的实时引导下精准地完成手术操作，降低手术难度，缩短手术时间，减少术中医患双方接受的放射剂量，提高手术治疗的效果[9,17,18]。在骨科手术相关的应用之外，因AR/MR 技术可以将实时图像或三维结构叠加到用户视野中，因此在实习生、研究生和青年医师的培养训练中可提供许多的教学和实践操作机会，可使青年医师在课堂或课后根据自身兴趣掌握骨与软组织的解剖特点、制定术前规划、模拟手术演练，更有利于提高其学习积极性和效率[2-4,9,19-21]。

2 AR/MR 技术在骨肿瘤外科手术规划及操作模拟中的应用

2.1 应用优势

在AR/MR技术的基础上已经开发了虚拟交互平台，该技术也称为虚拟交互与增强现实（virtual inter⁃active presence and augmented reality，VIPAR）[22]。该平台允许经验丰富的外科医师通过网络连接，远程向本地医师提供实时的虚拟援助，远程连接医师能够看到手术室内实时所见的术野，可以同一视角识别解剖结构及指导手术。这为本地外科医师创造了AR、MR 甚至双重现实的体验，可以促进知识传递和技能获取。该技术在未来可能是便捷、安全且高效的教学或远程医疗会诊工具[5,22]。

在模拟手术或制定手术策略前，操作者可向设备系统内传输已经完善的患者影像学资料数据（包括超声检查、CT、MRI、血管造影、PET/CT 等）。然后，进行资料获取、数据处理、分析、集成和输出，进而生成个体化、精准、可调节的三维同比图像，最大限度地确保合成的三维影像与手术过程中的实际解剖位置关系一致。该项技术可以协助临床医师或受训者快速、准确、实时地体验和识别解剖部位、解剖层次和解剖功能，快速分析病变特征、病变性质和解剖结构位置关系，进行交互式模拟训练或手术操作，获得良好的感官体验[4,9-14]。同时，操作者可根据实际需要对术前规划或手术操作中需特殊注意、易伴发损伤的解剖结果（骨骼、血管、神经、肌肉、肌腱、筋膜、韧带等）进行特殊标注或显示，亦可根据需要突出显示或隐藏某种或几种解剖结构，以便更加直观地掌握整体或局部的解剖特点，尽可能避免不必要的副损伤及并发症，缩短手术时间，减少术中出血量[2-4,9-14]。

2.2 AR/MR 技术在骨肿瘤外科手术规划及操作模拟中的应用实例

随着AR/MR 技术的发展，它在骨肿瘤外科手术规划、手术模拟和术中导航中显示出广阔的发展空间和应用前景。目前，AR/MR 技术不仅可以向体验者展示完整的手术操作过程，还可以使用辅助设备或添加解说、热点等语言模块，告知体验者在手术过程中如何与助手进行沟通与合作，以最大限度地提高手术效率和安全性。目前，国内外许多骨科专家在AR/MR技术的指导下开展并成功完成了骨肿瘤手术，术后短期随访效果令人满意。

2.2.1 脊柱区肿瘤手术

目前大多数在脊柱手术中应用AR/MR的方法都是基于在监视器上显示的可视化系统，应用光学摄像机或光学透视头戴式设备，如引导椎弓根螺钉置入、经皮椎体成形术、脊柱小关节注射的导航装置[9,19-26]。基于显微镜的AR/MR技术已从神经外科改良到脊柱外科手术中。Carl 等[9]证实基于显微镜的AR 技术可以成功地应用于椎管内肿瘤切除手术，能够提供直观的术中肿瘤范围和周围结构的可视化拟合情景并且具备较高的精准度。

马小军等[10]应用MR技术将1例多发骨质疏松性椎体压缩骨折患者的CT影像资料导入Visual Volume重建软件，重建脊柱病灶三维模型。该模型术中可实时指导术者手术操作，手术路径清晰，术后效果满意，并且可有效减少副损伤的发生并缩短手术时间。丛海波等[27]应用AR 联合3D 打印技术成功完成半椎体置换切除椎体肿瘤手术，手术效果满意。研究者认为将该技术用于脊柱肿瘤手术操作中，可直接将脊柱肿瘤及毗邻组织的三维解剖结构实时叠加于手术视野上，解决了传统手术导航系统中导航信息与手术场景分离的问题，使手术过程更简便、直观，有利于缩短手术时间并减少围手术期并发症的发生。该技术既能保证高效、准确地分离瘤体组织，又能兼顾保护周围重要血管、神经及组织脏器。根据其具备的精准定位和实时交互的技术特性，AR/MR技术有望在脊柱转移癌的微创治疗、脊柱肿瘤病灶切除、单一或多节段全椎体切除、椎旁肿物切除等领域展现出自身独特的优势。

2.2.2 关节区肿瘤手术

AR/MR在关节肿瘤手术中的使用目前仅在猪模型中开展。Cho等[13]开发了一种可在平板电脑上使用的计算机整合模型，该模型可根据术前肿瘤大小、骨骼特性和毗邻软组织结构之间的关系来确定手术切除范围。他们用AR技术完成了82例猪股骨、60例猪骨盆模拟肿瘤的切除，其中一组为AR技术辅助切除肿瘤，而另一组为常规方式切除（直尺测量髁突边缘至预期切除边缘的距离后进行切除）。与传统方法相比，使用AR 软件的切除切缘精度更高，且可减少操作时间并节约成本。在该项研究中，受试人群包括骨肿瘤专家和住院医师，但两类人群的模拟手术评估效果无明显差异，也体现了AR技术在青年医师关节肿瘤手术培训中的重要价值。

在临床上，对于关节受累、关节周围、伴有严重骨缺损的关节肿瘤手术，术中准确识别解剖位置、精准切除肿瘤、放置髋臼假体和股骨假体等问题大大增加了手术难度，并可能直接影响手术效果和术后康复[28-30]。AR/MR技术的出现有望解决这些问题，这依赖于AR/MR技术可以实时协助术者完成术中解剖结构的精准识别，尤其是在伴发骨缺损、发育异常、解剖变异、术后翻修这些特殊情况时仍然可以实现上述技术优势，具有广阔的应用前景。

2.2.3 四肢骨与软组织肿瘤手术

骨与软组织肿瘤切除手术过程复杂，尤其是恶性肿瘤的瘤体边界常难以确定，手术操作难度大，较长的手术时间往往意味着更多的术中出血量和副损伤的发生。且术后存在易复发、易发生远处转移等严重后果。通过AR/MR 技术的有效辅助，外科医师在实施手术操作前及手术过程中可以进行实时模拟训练，对瘤体边界、毗邻重要组织结构、手术入路、能否完整切除肿瘤及可行性、放置内置物的方法及途径等重要信息进行精确预判，手术实际操作过程中可能遇到的诸多问题都可进行模拟预演，制定规范合理的术前规划，使手术操作更加精准、安全，提高手术成功率并有效缩短手术时间、减少术中出血量及并发症，这也是精准外科、个体化治疗、快速康复理念的重要体现。马小军等[11]研究证实MR技术有助于在骨与软组织肿瘤切除术中定位肿瘤边界并完整切除肿瘤，在复杂骨与软组织肿瘤的个体化、精准手术治疗中展现出巨大的潜力。

Cho 等[13]尝试通过将AR 技术应用于长骨肿瘤切除术来简化传统导航系统，而不影响操作精确度。该研究以猪股骨模型模拟骨肿瘤为实验对象，评估了基于AR 技术的导航辅助在骨肿瘤切除术中的准确性，结果显示在AR 导航系统的帮助下，肿瘤切除的准确性是令人满意的。此外，这一概念使导航系统简单可用，无需额外的成本或时间。尽管大多数保肢手术可以用传统技术进行，但基于AR 技术的导航系统值得进一步关注。此外，该系统还提供了关于肿瘤位置的附加信息，并且可以在手术时帮助指导外科医师，而无需复杂的设置过程或造成手术室过于拥挤，最大限度地降低所需的额外时间和成本。

因此，在进行软组织肿瘤切除前，精准的术前规划至关重要。外科医师必须明确肿瘤瘤体边缘到邻近重要神经血管结构的真实距离。既往几乎全部导航系统都是建立在骨性标志上，这些骨性标志是可触及的、易判断的。然而，软组织肿瘤的位置及其与骨骼的关系可能因患者不同的体位而有所改变，并对术前计划的准确性产生不利影响。几毫米的误差即可能对局部复发率和患者生存率有决定性的影响，因此准确的术前成像非常重要。此外，测量到的距关键神经血管结构的最小距离是显著影响外科医师决定保肢手术是否可行的重要依据。Kaiser等[4]证实在尸体肿瘤模型中，肿瘤的确切空间位置依赖于患者的位置，尤其是在大腿，这可能会显著改变与重要神经血管结构以及骨骼和皮肤的最小距离。将这些新的信息转移到临床实践中可能意味着软组织肉瘤可能会在不同患者的位置上从预期位置发生相应的改变，并在R1/R2切除的情况下可能对患者产生相关的临床后果。

2.2.4 骨盆与腹膜后软组织肿瘤切除手术

骨盆恶性肿瘤患者比四肢恶性肿瘤患者更容易出现治疗失败（如复发、转移、死亡等）。手术的目标是获得一个更为完整的切除。然而，由于骨盆解剖结构的复杂性，以及内脏器官和大型神经血管结构的邻近或包被，致使实际手术中很难达到瘤体的完整切除。Cartiaux 等[31]的研究表明在骨盆骨癌手术中，只有大约50%的经验丰富的外科医师在采用传统方法进行肿瘤切除时耐受性为5 mm。他们认为使用导航辅助技术可能有助于骨盆骨肿瘤的手术操作。最近，有研究表明骨盆恶性肿瘤手术中的术中导航可以降低肿瘤切除和功能重建的难度。为了解决这个问题，Cho 等[14]开发了一个基于AR 的骨肿瘤切除导航系统，该系统在平板电脑平台上运行，目的是将工作站和位置跟踪器统一到一台平板电脑上，从而简化其使用。本研究通过猪骨盆模型中骨肿瘤的模拟，评估了基于AR的导航辅助在骨盆骨肿瘤切除中的应用价值。在AR辅助切除组中，所有的切除都在6 mm 的耐受范围内，而传统方法切除组只有78%（28/36）被切除。

3 AR/MR技术在骨肿瘤外科教学培训中的应用

AR技术的便利性、虚拟场景与真实场景的结合、节约成本和可重复的特性，使其有望成为关节外科教学训练和手术导航的新方法。AR技术的应用可以提高骨科医师、年轻外科医师、研究生和医学生对关节外科基本理论的理解、基本解剖结构的认知和临床技能的掌握。AR 技术可以将系统解剖学、局部解剖学、生理学、病理学、影像学、药理学、创伤、肿瘤、感染、血管和微创技术等教学资源整合到一个数据库中，可为医学生或青年医师提供更为逼真的模拟场景和手术机会，从而增强其主观能动性、认知和理解力以及实际操作能力[4,5,10-14]。

在骨肿瘤的亚专业教学中，由于受到病种多样性、多变的肿瘤生物学行为、复杂的解剖结构等诸多因素的限制，往往会造成青年医师对骨肿瘤亚专业知识的理解困难，记忆模糊，无法将理论知识与实践有机衔接的诸多教学问题。AR、MR、全息投影等技术理念的提出逐步推动了骨肿瘤亚专业教学模式的进步和变革。

石小强等[12]选取49名在腹膜后肿瘤学组参加专科医师培训的医师为研究对象，并将住院医师随机分为两组。实验组医师接受MR 技术为主的教学培训，对照组采用传统课件教学的模式，授课后分别采用满意度问卷和试卷考核形式进行对比分析。结果表明MR 技术的授课模式更有助于提高住院医师的学习效果，激发专业兴趣，更利于提升其对解剖知识的掌握度。

Cho等[13]通过建立猪股骨骨肿瘤模型来评估基于AR技术的辅助导航的准确性。研究证实应用AR导航系统，将肿瘤显示为虚拟模板，大大提高了肿瘤切除的准确性，简便易行，不影响手术操作时间。下肢力线及解剖位置定位是骨科手术成功的前提，传统的方法包括电灼绳、对准杆、轴板，且依赖于C型臂透视导航。AR是对骨科医师培训和技能评估的有效工具，临床决策能力及技能熟练度不再需要长期的临床实践才能获得。同时，不同于实物模型训练，AR可以增加外科手术训练的乐趣。

4 AR/MR技术的应用前景与面临挑战

随着AR/MR 技术的不断发展和逐步完善，该项技术已逐渐应用于骨科的多种教学培训和临床操作培训当中[22,32]。然而，AR 技术的临床推广仍然面临着诸多问题和挑战：①既往的研究往往更关注骨与软组织的解剖结构，常常忽视组织的功能及代谢情况。在骨与软组织肿瘤的临床诊治中，瘤体的功能及代谢情况决定着手术切除的范围和肿瘤的恶性程度。如能将PET/CT、PET/MRI 与AR/MR 技术有机结合，则其在骨肿瘤领域会展现出更大的应用空间。②不同研究中心AR/MR 技术设备的异质性问题。③既往基于AR/MR 技术的研究中纳入分析的样本量数量有限，有必要进行更大规模的模拟试验。④骨肿瘤患者临床诊疗应用的伦理问题。⑤传输速率问题。运行速度较慢，可使操作者产生眩晕不适感，相信随着5G 技术的发展，该问题有望得以解决。⑥术中因肌松药物、血管活性药物、患者体位改变而导致的瘤体、血管、神经等重要组织脏器的移位。

综上所述，AR/MR 技术是高科技仿真手段的快速发展，是虚拟现实（virtual reality，VR）技术的进一步延伸，在骨科理论教学、手术规划、手术操作、教学培训等领域具有广阔的应用前景。AR/MR 技术现阶段所展现的巨大潜力和广阔前景的同时，也面临着产品实际应用过程中出现的诸多问题和挑战。但是，我们有理由相信随着AR/MR 技术在骨与软组织肿瘤外科临床和教学中应用的日趋完善，该项技术可以惠及更多的临床医师，为更多的患者带来福音。