增强现实技术在腹腔镜机器人手术的应用及研究进展

程聪，陆马乘，张烨

南京医科大学附属无锡市人民医院 腔镜外科，江苏 无锡 214043

引言

随着外科技术的进步，手术方式逐渐由开放向微创发展。腹腔镜的应用，减少了手术创伤，缩短术后恢复期，降低切口并发症的发生率[1]。手术机器人的出现使得微创外科的发展进入新的高度。从1985 年，第一台基于工业机器人改装的用于辅助脑活检的手术机器人出现开始[2]，到现在应用最为广泛的达芬奇机器人系统，手术机器人的发展取得了十足的进步。符合人体工程学的操作手柄，高自由度的机械臂，满足了精细化、精准化的手术需求。立体腹腔镜的应用[3]，改善了传统单摄像头腹腔镜二维成像对深度感知的缺失。但是，目前临床应用的手术机器人仍存在诸多弊端，如视觉感知的削弱，力反馈、触觉反馈的缺乏[3]。

增强现实（Augmented Reality，AR）是一种将虚拟信息投射入真实世界的技术。在外科手术中，AR手术导航（AR Surgical Navigation，ARSN）系统可以将目标器官的半透明三维模型直观显示在手术视野中，辅助医生判断手术区域的解剖情况。在机器人手术中，ARSN 的应用可以弥补感知的削弱，降低手术难度，提高手术安全性与精确度[4]。目前，ARSN 系统在骨科[5]、神经外科[6]以及颌面外科[7]中已经得到了初步的应用。在腹腔镜机器人手术（Robot-Assisted Laparoscopic Surgery，RALS）领域中，ARSN 技术也在逐渐推广，其在肝切除术[8]、胆囊切除术[4]、肾癌根治术[9]、前列腺癌根治术[10]、胰十二指肠切除术[11]等手术中均有相关应用报道。然而，不同于骨科、神经外科及颌面外科，腹部器官具有动态非刚性特点，这使得ARSN 的应用有着更高的难度及挑战性。本文基于ARSN 的技术要点，介绍AR 导航腹腔镜机器人手术（AR-RALS）目前的临床应用现状，并提出现阶段存在的技术难点及对未来发展的展望。

1 AR导航数据来源

ARSN 的导航信息以三维图像为主要表现类型。而构建三维图像的数据主要来源于术前或者术中的医学影像学图像。CT 及MRI 是常用的形态显像技术。CT 为密度成像，基于X 射线在不同密度组织中的吸收率差异，产生可以显示组织形态及轮廓的断层图像。MRI 利用核磁共振原理，通过识别人体电磁信号，获取组织的形态信息，其对软组织的分辨力相比于CT 成像更有优势。患者术前的CT/MRI 影像是外科医生判断病灶解剖特点及术式选择的重要依据，也是构建器官三维模型最主要的数据来源。但是，基于术前图像重建的三维模型无法真实反映患者术中的情况。软组织在术中的形变，使得高精度的实时配准、导航的实现变得困难。相较而言，术中CT/MRI成像具有更高的实效性，其可以直接捕捉术中组织器官的状态并展示给术者。但是，较低的帧率、潜在的辐射危害以及设备严苛的环境要求，使其难以在临床普及。

2 AR显示技术

虚拟信息常用的显示方法主要有3 种：视频叠加、图像投影及光学透视。

视频叠加是指将虚拟图像覆盖至显示器上的真实手术场景，该显示方式是ARSN 在腹腔镜手术中的主要应用形式。借助于显示器，外科医生和助手可以获得同样的视觉和视角。其缺点主要在于视野的局限和分辨率限制。图像投影是通过投影仪将重建图像直接投影至手术视野来实现的[12]。投影显示需要经过仔细的校准，以补偿组织表面曲率改变导致的投影图像外观变化。此外，由于投影需要直接的光线照射，因此常将其用于开放式手术或者基于体表定位的手术方式。光学透视是指外科医生通过半透明的镜子观察手术区域，而虚拟模型则通过反射叠加在镜子上，进而实现AR 可视化的显示技术。其常见的形式是头戴式显示器，如目前主流的HoloLens、Meta2 及谷歌眼镜等。将视网膜显示器、耳机和摄像头等设备集成，其可以实现多功能导航系统，如语音、手势互动[13]。头戴式显示器提供了一种相对便携、低成本且功能丰富的手术导航方案。

3 基于术前数据的AR-RALS技术要点

3.1 三维模型构建

术前获取CT、MRI 影像数据，首先需要人工或者使用AI 深度学习方法[14]识别及标注组织器官的层次及边界。随后借助于建模软件将医学数字成像和通信（Digital Imaging and Communications in Medicine，DICOM）格式图像进行分层渲染以及立体重建，最终获得模块化的三维器官模型。

3.2 术中模型配准

图像配准是指将图像信息与现实场景统一到同一个坐标系的过程。根据其参考物的不同，ARSN 的配准主要有2 种方式：基于点的配准和基于形状的配准。

3.2.1 基于点的配准

基于点的配准系统主要有光学跟踪系统（Optical Tracking System，OTSs）和电磁跟踪系统（Electromagnetic Tracking System，EMTSs）[15]。其工作流程包括：传感器识别植入组织内的光、电磁信号源，获取标志点的定位；随后，定位数据被传输至成像系统，调整三维模型中对应标记点在屏幕中的位置，进而实现导航数据的配准。OTSs 具有高跟踪精度和对环境条件的稳健性的优势[16]。Kenngott 等[17]在食管癌根治术中应用了基于红外光学追踪的图像导航系统，并初步验证了其在机器人手术中的可行性，但术中传感器视线遮挡造成信号的丢失难以避免。EMTSs利用电磁场实现准确而快速的追踪，没有视线的限制。相关实验室研究证实了EMTSs 具有较好的应用潜能[18]。其缺点在于电磁信号传导易受到金属或磁性材料的干扰。在复杂的手术导航场景中，标记点/传感器的位置和数量、导航区域的大小、软组织形变等均会显著影响OTSs 和EMTSs 的准确性[16]。

3.2.2 基于形状的配准

基于形状的配准也称为面配准，是指通过获取术中器官组织的表面信息来实现与虚拟模型配准的方法[19-20]。其主要步骤包括：① 术前构建目标器官三维模型；② 术中根据腹腔镜获取的目标器官的图像，进行表面三维重建；③ 将器官术前模型与表面重建模型进行人工初始配准，并获取转换矩阵；④ 使用图像跟踪算法实现自动配准。

自动配准是指在初始配准的基础上，借助于图像跟踪配准算法自动更新导航信息。迭代最近点（Iterative Closest Point，ICP）[19]及其改良算法（如GO-ICP）[21]是常用的点云配准方法，其将三维模型与真实器官的表面重建点云进行配对，术中根据配对点移动实时调整模型的形态，进而实现自动化配准。在ICP 算法的基础上，使用B 样条[22]、薄板样条变换[23]和相干点漂移[24]等方法可以有效补偿软组织形变。然而，这种基于表面特征进行的配准，无法反映器官内部结构的改变。对此，Suwelack 等[25]提出一种基于物理的形状配准方法，借助于生物力学模型，该方法可以较为准确地模拟出深部组织的形变，显著提升模型配准的精度。此外，Paulus等[26]应对组织变形的基础上还考虑到了拓扑结构的改变，其提出的复合有限元模型可以有效模拟器官切割后的状态，保证了破坏性操作后有效的导航精度，提高了导航数据的利用率。

相较于点配准，面配准不需要额外的跟踪系统。但是，其对手术视野的暴露要求较高，器官表面重建比例直接影响配准的准确度[27]。然而在机器人手术中，腹腔镜往往只能获取器官的局部视野，这使得大面积的表面重建十分困难。与点配准结合以提高配准的鲁棒性和准确度，可能是目前较为简单的解决方案。虽然跟踪系统的引入无法避免，但并不改变AR-RALS 的基本流程。

4 基于术中数据的AR-RALS技术要点

术前构建的器官模型往往无法反映术中器官的状态，而目前的配准技术仍难以应对术中器官的复杂形变。因此，术中实时成像是ARSN 系统的理想数据来源，其将术中获取的器官影像进行快速三维重建，可以直接与视频画面重叠而无需额外调整图像形态，降低了配准难度，提高了导航的准确性。目前术中实时成像的方法主要包括CT、MRI、超声成像（Ultrasonography，US）和近红外荧光显像。

4.1 术中CT/MRI成像

Shekhar 等[28]在动物试验中验证了基于术中CT 的AR-RALS 的可行性。手术过程中，每1 秒进行一次CT扫描成像，获得的影像通过AR 渲染后配准至手术画面中，为术者提供手术部位的解剖信息。结果显示，这种“实时AR 模型”对软组织形变具有很好的补偿作用。但是，较低的刷新率可能会影响手术进程，以及辐射对术者健康造成的损害无法避免。此外，目前CT 或MRI 设备与手术机器人兼容性差，难以在AR-RALS 中应用。

4.2 术中超声导航

术中超声（Intraoperative Ultrasonography，IOUS）具有实时成像、廉价、无放射性等优点。IOUS 在鉴别肿瘤及其周围组织结构，指导实质脏器的切除方面具有独特的优势[29]。随着机器人技术的发展，手术机器人已经具有较为完善的IOUS 导航系统。在肝切除术中，IOUS 的应用被认为可以提高围术期安全性，改善肿瘤学结果[30]。但是，IOUS 图像的获取与解读依赖于手术医生的影像学水平。对于外科医生而言，其学习曲线长、影像认知负荷重。对此，Shen 等[31]将IOUS 与AR技术结合。将术中获取的US 图像进行三维重建并配准至手术视野，可以直观显示手术区域深部组织结构，为病灶的精准切除提供指导。相较于基于术前数据的ARRALS，基于IOUS 构建的AR 模型可以实时追踪软组织形变，在非刚性器官手术中具有更好的视觉效果。但是，IOUS 也存在显著缺陷，如在空腔脏器中应用受限，当病灶与周围组织密度均一时导航效果较差。

4.3 近红外荧光显像

近红外荧光成像技术主要用于血管造影及肿瘤病灶显像[32]。在肝脏手术中，吲哚菁绿可以用于胆管、血管以及浅表癌灶显影，有助于解剖性肝段的切除，降低血管损伤及胆汁泄漏的风险，优化肿瘤学结果[33]。将荧光显影与AR 结合是一种具有潜力的术中导航工具。Diana等[34]将吲哚菁绿显影图像重建并配准至手术界面，直观显示肠系膜血流灌注情况，指导外科医生建立结直肠吻合口，降低了吻合口并发症的发生率。然而，荧光染料显影仅可穿透皮下数毫米，空间分辨率较低、稳定性差，应用场景较局限。将近红外荧光成像技术与IOUS或术前器官三维模型结合，可以作为AR-RALS 系统在某些术式中的优化策略。

5 AR-RALS的临床应用

5.1 术前计划

目前，对病灶及周围组织结构的术前探查往往只能依赖于常规的影像学检查，如CT、MRI 及B 超等。但是，由于其DICOM 成像二维切片的特性以及单调的灰度表现形式，很难直观明确地显示复杂解剖结构。而借助于虚拟模型，外科医生可以将其放大、旋转以及调整透明度，直接观察手术区域重要结构，如血管、神经的走行及病灶的大小与位置等。在临床，这种直接而仔细的观察，对于提高手术安全性有着显著积极的作用[35]。

随着可视化数字技术的进步，外科医生还可以在术前三维模型上进行虚拟探查及模拟手术，提高外科手术的可预测性、可控性。Mise 等[36]通过在肝脏三维模型上进行模拟手术，在术前对门静脉血流灌注容积进行分析，并定量估算术后静脉引流面积，进而优化了切除平面。Diana 等[4]在评价VR-AR 技术在机器人胆囊切除术中的应用时，借助于建立的胆囊虚拟模型进行术前探查，灵敏地发现了解剖变异，从而提前确定手术方式，降低胆道损伤的概率。此外，详细的术前计划还可以增加术者信心，潜在提高手术的安全性[35]。

5.2 手术导航

手术机器人的出现使患者可以在较小的创伤下完成手术。但是外科医生只能通过观察显示器上的二维图像来获取手术视野。相对狭小的视野以及立体感的减弱，增加了手术操作的难度。此外，触觉反馈和力反馈的丧失，使术者难以通过手指获取组织结构质地、硬度及形状等信息，为术中决策带来阻碍，增加了误伤的风险。而使用AR-RALS 系统，术者可以随时查看病灶的位置及其周围组织解剖特征，选择最佳的手术方式，进而实现精准手术。

目前，基于AR-RALS 系统的外科模式在临床仍处于探索阶段，而结构相对稳定的肝脏、胰腺、前列腺及肾脏等器官是主要研究对象。在肝胆外科中，最大程度减少肝脏体积的损失和保证安全的切除边界对于降低肝切除术后并发症的发生率和死亡率至关重要[37]。然而由于肝脏血管、胆道高度变异性，以及常规机器人手术中环境感知能力受限，不必要的肝组织损伤常难以避免。使用AR-RALS 系统，术者可以通过观察器官模型直接获取肿瘤位置及周边血管、胆管走行等信息，有效减少术中出血及正常肝脏体积的损失，显著降低肝脏手术的难度[37-39]。在胰腺手术中，将荧光胆道造影与ARRALS 系统结合，有助于外科医生更准确地识别胰头周围重要的血管及胆道结构，在保证安全边界的同时避免造成额外的损伤[11]。

近年来，机器人手术在前列腺、肾脏等泌尿生殖系癌症的管理中越来越重要[40]。AR-RALS 系统在泌尿系统手术中也逐渐得到应用。在前列腺癌手术中，ARRALS 系统的应用有助于外科医生正确地认识前列腺的解剖结构，并根据患者病灶不同的解剖位置制定个性化手术方案，进而优化肿瘤学结果，同时减少尿道的损伤，保证功能最大化[10,41-42]。在肾脏肿瘤的治疗中，ARRALS 系统也存在显著优势：术中肿瘤及其周围血管的直观显示，降低了全肾缺血率，增加肿瘤摘除率的同时保留更多的健康肾单位，并且降低集合系统损伤概率[43-44]。

在结构呈显著动态性的结直肠手术中，AR-RALS的应用则显得尤为困难。2019 年，Atallah 等[45]首次尝试ARSN 技术用于机器人辅助经肛门全直肠系膜切除，虽然初步证实了其在临床具有一定的可行性。但是严重的技术缺陷使其无法真正用于临床：① 姿势的不同使得基于术前影像的三维模型无法反映术中情况；② 手术过程中烟雾、器械对跟踪器视线的遮挡，造成配准信号的丢失；③ 手术操作过程中造成器官形变和拓扑结构的改变，显著降低配准精度。

6 AR-RALS的优势和不足

6.1 AR-RALS的优势

相较于传统的开放和腹腔镜手术，机器人手术具有更高的精准度[46]。将AR 技术提供的透视“眼”与机器人灵巧的“手”相结合，可以更充分地发挥机器人高精准度的优势，实现真正意义上的精准手术[47]。不同于手持腹腔镜的晃动，手术机器人能始终保持镜头的稳定，显著降低运动追踪和模型配准的难度[48]。此外，目前的手术机器人已经具备较为完善的人机交互系统，依靠其自身的硬件设备和可视化系统可以基本满足ARSN 系统的软硬件需求。因此，在机器人手术中应用ARSN 系统更便于实施，并具有更高的性价比[3,19]。

6.2 AR-RALS的不足

6.2.1 运动跟踪

在高度复杂和动态场景的外科手术中，由于生理运动和手术动作造成组织不断移动和扭曲，使得图像追踪十分困难[48]。OTSs 或EMTSs 在追踪的准确度上存在优势，但是信号易受干扰、昂贵的追踪设备使其难以普及。而基于点云的方法，术中组织变形、运动模糊或遮挡导致的特征丢失是不可避免的[49]。近些年，同步定位和映射（Simultaneous Localization and Mapping，SLAM）[50-51]技术由于其鲁棒性逐渐得到更多的关注。SLAM 技术可以同时估计相机的运动和重建周围环境。相较于点云方法，SLAM 可以解除累计误差，并在跟踪失败后重新定位。Mur-Artal 等[51]提出的ORB-SLAM2 是其最具代表性的应用。但是僵硬的场景重建，阻碍了其在AR-RALS 系统中的应用。对此，Bescos 等[52]提出基于深度学习方法进行手术场景分割，可以实现在动态环境中识别组织形变的SLAM 结果。然而较高的图像分割计算成本，使其无法以实时速度运行。未来，随着计算机硬件技术和人工智能的发展，更加完善的跟踪技术或许并不遥远。

6.2.2 非刚性配准

在不易变形的组织（如骨骼）中，刚性配准模型可以获取较好的配准效果。但是当目标组织为腹腔内器官时，气腹、体位改变以及器械作用会导致目标器官产生明显的形变。刚性配准模型无法反映术中器官的真实形态。此时，使用非刚性配准模型是实现高精度导航的必需条件[10]。弹性有限元[10]和生物力学模型[23]在模拟组织形变上具有显著的优势。然而，各个器官的弹性并非一致，基于某一方法建立的器官模型难以反映器官真实的弹性情况。理想的配准模型，应是获取每个患者特异组织弹性数据并构建的个性化弹性三维模型。但是，复杂的步骤和高昂的成本使其难以普及。

6.2.3 高昂的成本

高昂的成本也是AR-RALS 系统目前难以回避的问题。虽然市面上具有多种渲染软件，但对于较为复杂的器官（如肝脏、肾脏）的3D 渲染仍是复杂且耗时的工作[31]。深度学习算法的使用可能有利于图像的分割和重建，但是现阶段高质量的模块化三维模型构建人工干预仍无法避免。此外，由于目前还缺乏能真正用于临床的自动化配准方法，术中往往需要配备专门人员辅助图像配准，额外的人工成本和不稳定性，使其实用性大打折扣。

7 总结与展望

目前AR-RALS 已经具备了初步可行性，可以满足临床应用的基本要求。基于临床的研究表明，其可以显著提升手术的安全性、精准度。但是在广泛临床应用前还需要进一步改进技术，主要包括三维重建技术和自动化配准。当前基于AR-RALS 的研究还主要集中于技术可行性的探索[53]。各项研究之间存在显著异质性，技术流程的不同和研究方式的差异也使得目前AR-RALS 的临床研究结果缺乏可靠的多中心验证。未来随着技术的进步和程序的规范化，需要大量多中心、大样本的随机对照研究来进一步检验AR-RALS 在外科中的应用价值。