增强现实技术在脊柱外科中的应用研究进展

刘书中，张海龙，余可谊*，王以朋*

(1.中国医学科学院 北京协和医学院 北京协和医院 骨科,北京100730；2.吉林大学中日联谊医院，吉林 长春130033)

增强现实(Augmented Reality,AR)技术是虚拟现实(virtual reality,VR)技术的一种新兴分支，AR技术可以将计算机产生的虚拟信息融合于真实场景中，即将虚拟场景、模型或系统信息与真实场景相叠加，从而在真实世界、虚拟世界和用户之间搭建起一个交互平台，以增强用户体验的真实感，体现了对现实环境的增强理念[1]。AR技术是虚拟现实技术的延伸，是在VR技术基础上发展起来的图形学领域新技术，其理论基础包括显示技术、跟踪和定位技术、界面和可视化技术、校准标定技术，其具备真实性、实时互动性、实用性的典型特点[2]。AR通过计算机技术将虚拟的信息应用到真实世界，真实场景和虚拟信息实时叠加到同一个画面或空间中并同时存在，再通过硬件和软件系统的协调作用，使得身处其中的用户可以以更加自然的方式与环境中的真实和虚拟物体进行三维实时交互[1,2]。AR对人的视觉系统进行了信息增强与扩张,信息的显示与用户的所见、所闻、所感有机结合，实现了虚拟信息与真实世界的无缝链接，具有较虚拟现实更广阔的应用空间和研发潜力。近年来，脊柱外科手术技术获得了突飞猛进的发展，但由于脊柱结构和功能的复杂性、脊柱专科疾病的多样性，其手术风险和难度依然较高。AR技术的不断发展和成熟，为制定脊柱外科手术规划、模拟手术入路、降低辐射剂量、提高手术成效、降低手术风险以及训练青年骨科医师等创造了有利的条件。本文就增强现实技术在脊柱外科手术规划及教学培训中的应用做一综述。

1 AR技术及其在骨科领域的应用概述

AR技术通过计算机图形技术和可视化技术将虚拟对象叠加到真实环境当中,真实环境和虚拟对象实时地显示在同一个空间内。AR技术作为一种新型人机界面形式，能为体验者提供虚拟世界和真实世界相互混合、叠加增强的交互空间，可将抽象的信息与直观具体的物理模型有机结合，为体验者的交互提供了包括视觉、触觉和本体感受等在内的感知与认知系统，使用户能够更自然、更精准、更高效地进行体验、学习、操作[1,2]。

近年来，AR技术在社会各领域迅猛发展，其涉及的应用领域日益广泛，包括建筑学、军事、医学、人工智能、体育、工业设计、心理学、机械动力学等[3]。AR技术在骨科领域中具有极为广阔的应用前景，包括术前规划、外科手术、技术培训、康复训练、自主学习等，并可带来丰厚的经济效益和社会效益，进而更大限度地节约社会资源和人力资源[4,5]。研究内容涉及脊柱外科、关节外科、骨科创伤、骨肿瘤外科、康复医学、技术培训等亚专业。通过AR技术辅助的骨科手术模拟系统，骨科医师在进行复杂、高难度手术之前可以先进行模拟、训练、交流，反复探讨实际手术过程当中的手术入路、操作要点、高难度步骤等，然后将训练成果与操作经验运用到真实手术中，进一步优化手术方案。AR技术可在术中指导手术操作，其实质是系统根据解剖大数据和患者个体化影像学资料精确拟合成三维立体模型，术前把患者的X线、CT、MRI、SPECT/CT、PET-CT、PET-MRI等影像资料和数据输入AR系统，手术中计算机根据数据生成的虚拟场景与术者所处的真实场景有机结合，通过软硬件系统的协调作用，使术者以自然的方式在虚拟和真实场景中进行三维交互，术者能够在AR系统的实时引导下精准地完成手术操作，使手术更加精准、微创，降低手术对全身内环境的干扰和所造成的局部创伤，减少术中医患双方接受的放射剂量，提高手术治疗的效果。此外，青年骨科医师、研究生、医学生也可以通过AR系统进行手术操作的学习、模拟和培训。

2 AR技术在脊柱外科中的应用

2.1AR技术在脊柱外科中应用的优势

AR技术将患者术前的影像学资料(如X线、CT、MRI、磁共振血管造影MRA、血管成像CTA、数字减影血管造影DSA、SPECT/CT、PET-CT、PET-MRI等)数据输入工作系统中进行处理、分析、整合、输出，形成个体化、客观、精准的三维模拟图像，以保证拟合出的三维图像与手术中实际的解剖位置关系高度一致。再通过配准技术将虚拟和真实物体进行精确重叠并呈献给术者，其叠加图像清晰度高、分辨率高、结构化示图、立体感强，术中可协助术者实时、快速、准确地识别解剖结构及其位置关系，分析病变特点及手术切除范围，并可进行交互操作，可取得良好的手术效果。此外，术前通过AR系统对脊柱外科手术中涉及到的重要解剖结构(椎体、椎体附件、脊髓、韧带、瘤体、神经、肌肉、血管、周围组织、周围重要脏器等)用不同颜色进行标识、匹配、呈现，从而更加准确、直观地识别术野、确定手术路径，提高手术的精准度和安全性，大大降低副损伤及其他并发症的发生风险，由于手术时间的大大缩短，术者及患者所接受的放射线剂量也大大降低。

在脊柱外科领域，由于脊柱脊髓等重要解剖结构的复杂性，加之脊髓损伤的不可预见性，脊柱外科手术操作中极易造成神经和血管等重要结构的损伤，精准定位是脊柱外科手术的重点和难点，直接关系到手术操作的难易程度、手术时间长短以及手术疗效优劣。利用AR技术进行个体化内固定物设计、模拟和置入，指导脊柱外科手术中穿刺针、穿刺套管或内固定置入物的精准置放，评估手术操作的精确性及手术治疗的效果，可有效提升手术的精确性、安全性，缩短手术时间，减少术者与患者的辐射接收量[4,5]。在脊柱手术中，AR技术可协助完善脊柱立体概念，利用数字化技术、三维建模技术和术中导航技术，制定个体化的术前规划，最大限度地降低手术的难度和风险，减少医患双方的辐射暴露，在脊柱外科中可根据脊柱的三维形态学信息，通过运动范围模拟、术中定位和跟踪，对选择手术入路、提高定位的精度意义重大，亦有利于提高内置物的使用寿命[5]。在脊柱外科的康复治疗中，AR技术可以日常常规动作为基础，为患者的康复训练提供可重复进行的目的性主动运动，有效唤醒神经元的功能，促使大脑对动作质量进行校对，最终恢复一定的运动功能并建立新的代偿，实现功能重塑从而改善肢体运动能力和不适症状[5]。同时，多项研究表明AR技术在脊柱外科理论知识和实践能力的自主学习、教学培训过程中发挥着重要作用。

2.2AR技术在脊柱外科中应用的实例

随着AR技术的发展，其在脊柱外科手术规划、术中导航、骨科康复、教学培训等方面展现出广阔的发展空间及应用前景。随着脊柱微创手术技术的发展衍进，基于AR技术的手术导航系统已逐步应用于脊柱微创手术当中，并具有较高的可行性、准确性和安全性。Elmi-Terander等[6]认为AR手术导航(augmented reality surgical navigation，ARSN)系统包含手术操作台、可移动C型臂探测仪、术中2D/3D显示装置、AR技术所需集成光学镜头以及非侵入性患者体位运动感知装置。在该项研究中，两名术者分别在4具尸体模型上置入94枚胸椎椎弓根螺钉(其中一侧均由两名术者徒手置入螺钉，另一侧由两名术者在ARSN系统引导下置入螺钉)，研究表明相对于传统螺钉置入技术，应用ARSN系统完成胸椎椎弓根螺钉置入具有更高的准确性(P<0.05)。Elmi-Terander等[7]进一步研究证实AR技术结合术中3D影像导航技术有望在胸腰椎椎弓根螺钉或穿刺针置入过程中替代术中X线摄片或透视，并且具有较高的准确度和安全性。Ma等[8]在研究中应用克氏针代替椎弓根螺钉，研究发现超声辅助的AR脊柱手术导航系统可有效减少术中手术者及患者的接受辐射量，并且具备较高的置入精确度，该项技术有望在临床中进一步开展。Wu等[9]认为在脊柱手术尤其是脊柱经皮椎体成形术中，利用AR技术可实现虚拟的3-D模拟人体图像与患者真实人体的一体化呈现，既可提高穿刺套管置入位置的准确程度，同时也能减少操作时间，进而降低术者和患者的射线辐射量。但现阶段的相关研究多选取虚拟人体模型、尸体模型、动物模型为研究对象，尚缺乏大样本的临床研究资料来深入阐明AR手术导航系统的重要临床意义。陈宣煌等[10]采用Mimics软件三维重建设计结合3D打印技术，设计了腰椎椎弓根螺钉置钉通道和支撑柱，在术中进行可视化导航置钉，其准确率可达97%，优良率达95%。

Fritz等[11]前瞻性地评估一种新型MRI引导下、可用于脊柱穿刺导航的增强现实图像叠加系统。评价指标包括穿刺点位置误差、角度误差、深度误差、目标位置误差，实验结果表明在60次穿刺过程中操作精度为1.6±0.8 mm，角度误差为1.6°±1°，深度误差为0.7±0.5 mm，目标误差为1.9±0.9 mm。所有解剖目标均穿刺成功(包括20个关节面、20个椎间隙和20个椎管区域)，进一步证实了MRI引导增强现实图像叠加系统可有效提高腰椎手术的精确度，具有较为广阔的临床应用前景。Fritz等[12]进一步将增强现实导航系统与1.5 T磁共振系统有机结合，在12具人体尸体模型上进行增强现实MRI导航系统介导下脊柱腰骶部注射操作共187次(包括硬膜外注射、脊神经根注射、关节面注射、内侧支阻滞、椎间盘造影)，结果表明增强现实结合MRI手术导航系统有助于提高脊柱注射操作的准确性。Weiss等[13]研究证实新型MRI引导下、可用于脊柱穿刺导航的增强现实图像叠加系统可以用来成功地实现腰椎小关节内置物的高精度置入，具有潜在临床应用价值，但尚需进行更为充分的临床效果评估。谭海涛等[14]采用了CT连续扫描重建颈椎三维模型，设计与颈椎椎板相吻合的反向模板，模拟最佳螺钉置钉通道，采用该项导航模板辅助置入椎弓根螺钉164枚，未发生动脉、神经损伤等严重并发症，且可提高颈椎置钉的精确度和安全性。Wang等[15]研究证实AR导航系统的使用可大幅度提高骶髂螺钉置入的精准度，进而有效降低周围血管、神经等解剖结构损伤的发生率，有望成为经皮骶髂螺钉置入手术的有效辅助手段。张元智等[16]利用CT三维重建和逆向工程技术，对标准骶骨前后位进行多层分析，确定经皮横向骶髂关节螺钉最优置钉通道，以此治疗骶骨纵行骨折患者12例，未发生血管、神经损伤和螺钉松动等并发症。

临床中，脊柱节段封闭治疗、经皮脊柱穿刺术、脊柱开放手术均需要对脊柱椎体水平进行精准确认，以利于有效和安全地完成操作。目前，临床上多采用触诊及X线定位来对脊柱节段进行识别，操作繁琐且耗费时间。Hetherington等[17]研究发现AR技术可以有效解决上述难题，研究者开发一种新型实时位置识别系统，该系统采用深度卷积神经网络(convolutional neural network，CNN)技术对脊柱解剖结构的影像进行分类识别，自动识别并准确显示椎体水平并生成图像信息，投射于患者脊柱的相应水平对术者做出提示，准确率可达90%，并且识别所需时间得以大大缩短。Bisson等[18]将增强现实技术应用于椎间盘切除术中辅助定位，术者可利用AR技术为人体解剖结构添加注解，有助于术者精确定位，研究表明人体实际位置与三维重建图像的标定误差距离仅为1.0 mm，AR技术可有效辅助骨科医师完成微创椎间盘切除手术。

在脊柱畸形的矫形手术方面，Kosterhon等[19]应用AR技术在术前将患者的脊柱CT、MRI等影像学资料输入3-D可视化软件系统进行整合、分析，模拟生成术中拟定的切除平面及截骨范围并导出至导航系统内存储，即可使术者在实际操作中根据术前设计的切除平面及截骨范围有的放矢地完成既定手术，有效提高了手术的精准度和安全性，并大大缩短了手术时间。Kosterhon等[19]将该项技术成功应用在一位胸腰段脊柱先天性半椎体患者的手术中，半椎体切除与椎弓根螺钉置入均按照术前设置的手术方案完成，手术效果良好。该技术对于脊柱疾病(尤其是复杂畸形)的外科治疗具有重要的指导意义，有着广阔的应用前景。樊勇等[20]采用术前计算机软件设计了拟定截骨区域、范围，术中采用三维导航技术进行实时精确截骨矫形，可提高矫正胸腰段骨折术后继发角状后凸畸形手术的有效性和安全性，有效提高复杂脊柱畸形的手术治疗效果。

随着针对AR技术的研究不断深入，AR不仅可应用于常见脊柱疾患的诊疗，对于脊柱原发肿瘤及脊柱转移癌的优化微创诊疗也体现出了重要价值。Abe等[21]设计出一种新型增强现实技术辅助3D导航系统VIPAR，该系统可用于经皮椎体成形手术(percutaneous vertebroplasty，PVP)中穿刺套管的轨道设计及实时置入导航。在应用40具脊柱模型模拟进行的PVP穿刺过程中，VIPAR系统可显著降低轴位及矢状位上穿刺针置入角度与拟定置入角度之间的误差。此外，研究者选取5位临床上确诊骨质疏松性椎体骨折患者施行VIPAR辅助PVP手术，进一步在临床应用中证实了VIPAR系统辅助PVP手术的穿刺置管准确性，5例患者均未发生椎弓根破坏及骨水泥渗漏。Fritz等[22]以人体尸体模型为实验对象，评估了AR技术辅助MR导航骨组织穿刺的精准度，研究结果表明该系统可有效提高尸体脊柱及骨盆部位骨性病变活检的准确性，但囿于实验对象的限制，尚需积累临床资料进一步评估其效果。

近年来，多项研究发现AR技术有利于神经系统疾病患者的康复治疗和训练。Villiger等[23]研究发现虚拟现实技术强化的神经康复训练可在一定程度上协助不完全性脊髓损伤患者恢复运动功能并改善疼痛症状，使其有望成为脊柱脊髓损伤患者康复训练的有效工具之一，但尚需结合更多的临床对照试验结果加以论证。Im DJ等[24]研究表明3D可视化增强现实系统可用于老年人群的康复训练中，具有增强肢体运动能力及平衡能力的功效。Ortiz-Catalan等[25]证实AR技术可用于幻肢痛的治疗，是一种非侵入性、非药物性、安全有效的治疗手段。

3 AR技术在脊柱外科教学培训中的应用

随着脊柱外科诊治技术的飞速发展，各种新兴亚专业(如经皮脊柱内镜、脊柱肿瘤、脊柱矫形等技术)逐步开展，也给青年骨科医师等提出了更高水平的要求，需要更扎实地掌握骨科解剖、生理、病理、影像等专业知识，并能与临床手术、病例特点、影像学资料等充分结合，进而为掌握操作要点、施行手术操作奠定良好的基础。AR技术便捷、虚拟与现实场景相结合、节约资源、可重复应用等特点使其有望成为脊柱外科教学培训及操作模拟中的新型手段，借助AR技术可提高脊柱外科医师、青年骨科医师、研究生和医学生对医学基础理论的理解及对临床技能的掌握。AR技术可以将脊柱外科中的系统解剖、局部解剖、生理、病理、影像、外伤、肿瘤、感染、血管、微创技术等教学模型融合在一个数据库中存储并实时呈现给体验者，生成逼真的集视觉、听觉、触觉等多种感官在内的环境，增加了体验者的主观能动性，是对传统医学教学模式的有力补充。

AR技术能清晰、立体地呈现解剖结构及病变情况，明确毗邻关系，提供给骨科医师直观、可视化操作环境，尤其是病灶影像解剖与实际解剖的对照与融合，传统上对脊柱外科医师进行解剖训练时，需要不断地培养空间想象力，反复进行术前病灶影像资料的认识和理解，术中才能与真实解剖建立起合理的对应关系。随着AR技术的应用，利用重建脊柱的三维立体结构，可以使青年脊柱外科医师从多角度并直观地在术中透视病灶与血管神经的位置关系，促进了青年医师的成长。Luciano等[26]提出具有触觉反馈作用的高分辨率增强现实模拟装置有助于青年医师学习、演练胸椎椎弓根螺钉置入操作。George等[27]提出了一种基于AR原理低成本的脊柱穿刺活检手术操作培训装置，该系统可实时指导操作者完成拟定的脊柱穿刺活检操作，最大限度地保证穿刺位置和角度的准确性。由于该装置不需要借助于红外跟踪定位系统，使得该系统在教育和培训方面具有更为突出的实用价值。Keri等[28]在研究中将24名住院医师随机分为两组，结果发现应用超声引导AR技术导航下的操作者相比于仅在超声引导下完成的操作者，在完成异常结构脊柱模型穿刺的过程中其穿刺位置准确性显著提高，穿刺时间显著缩短。

文献报道脊柱小关节综合征可导致15-45%的慢性腰背痛，该病的治疗主要依赖于小面关节注射药物治疗。但该项技术要求操作精度较高，操作者需根据超声显示的二维图像来进行精细操作。因此，Moult等[29]将AR技术应用于脊柱关节面注射技能的指导和培训，在对26名医学生进行的训练研究中，Moult等发现AR技术可显著提高医学生操作的精度和效率。Sutherland等[30]提出了一种以增强现实为原理、应用于脊柱穿刺导航模拟的触觉仿真系统，该系统是由躯干模型、MicronTracker2光学跟踪系统、幻影触觉装置和提供视觉反馈的图形用户界面所构成。该系统允许用户在物理模型上进行模拟内置物置入操作，进而为临床青年医生提供了模拟真实手术场景的操作训练机会。

因此，AR技术有效增加了青年骨科医师动手操作、训练的机会，极大地缓和了有限的医疗资源和实践手术操作需求[31]。此外，AR技术亦可用于医学院校组织的临床操作考核等场景，AR系统不但有望替代监考教师对学生成绩进行评分，还可以通过数据统计分析出学生失误率、失误具体行为、与标准操作对比差距等数据资料，进而更好地掌握体验者学习与实践过程中的问题所在。

4 AR技术在应用中亟待解决的问题

近年来AR技术在医学领域飞速发展，也同时呈现出一些亟待解决的问题与不足[32,33]，如：(1)AR技术在脊柱外科领域仍处于起步阶段，尚需进一步完善技术；(2)降低虚实场景之间的配准误差，进一步提高精准度；(3)患者及仪器位置变换时的移位跟踪问题；(4)建立规范、统一、完善的效果评估体系；(5)AR技术挑战传统的认知观念与方式，普及难度偏大；(6)缺乏大样本、高质量的临床研究，尚需积累更多的研发经验和临床经验；(7)临床应用过程中所涉及的法律伦理问题。

5 小结与展望

综上所述，AR技术是一项迅猛发展的高科技模拟手段，其最终目标是协助术者精准地规划与模拟手术操作，使手术更加精准、微创，降低手术对全身内环境的干扰和造成的局部创伤，减少术中医患双方接受的辐射剂量，提高手术治疗的效果。AR技术对脊柱外科手术规划、手术操作、康复、教学培训等领域有着重要价值。

随着AR技术与骨科诊疗新技术的有机结合，其在脊柱外科疾病诊断、手术、教学、培训等方面将发挥越来越重要的作用。应尽早建立并完善基于AR技术的手术导航和培训系统，早日形成完善的效果评估体系，更好的增进体验者对脊柱外科专科知识的掌握，提高手术操作实践能力，完善术前规划，制定并完成更为合理、优化的手术方案，进一步促进青年医师的培养与训练。AR技术代表了今后脊柱外科乃至骨科的发展方向，是精准医学发展的突出代表。我们相信随着高性能AR系统的进一步研发及其临床效果得到进一步证实，AR技术有望在脊柱外科领域展现出更为广阔的应用前景。