一种面向介入类手术的增强现实导航系统

方之强 万新军 沈李正一 汪嘉欣

摘要：传统的手术导航系统需要术者将视线在显示屏和病灶区之间切换，为了解决这个问题，引入了增强现实手术导航技术。为解决介入类手术中术者无法直接观察到患者病灶与手术器械的相對位置的问题，设计了一种面向介入类手术的增强现实导航系统。术前以 Unity 软件为开发平台设计虚拟手术路径，并实时显示术中病灶区与手术器械的相对距离。利用头骨和梯台实验对导航系统进行了精度验证，虚拟显示的误差约为3.3 mm。该研究证实了增强现实手术导航在介入类手术术前规划和术中实时引导的可行性。

关键词：增强现实；手术导航；术前规划；实时引导

中图分类号： TP 391；R 782 文献标志码： A

An augmented reality navigation system for interventional surgery

FANG Zhiqiang，WAN Xinjun ，SHEN Lizhengyi，WANG Jiaxin

（School of Optical-Electrical and Computer Engineering， University of Shanghai for Science and Technology， Shanghai 200093， China）

Abstract： Traditional surgical navigation systems require operators to switch their eyes between the display screen and the lesion area. In order to solve this problem， augmented reality surgical navigation has been applied. This paper designs an augmented reality navigation system for interventional surgery in order to solve the problem that the operator cannot directly observe the relative position of the patient's lesion and surgical instruments during interventional procedures.The Unity software is used as the development platform to design the virtual surgical path before surgery and to display the relative distance between the lesion area and the surgical instruments in realtime intraoperatively. The accuracy of the navigation system was verified using skull and ladder table experiments， and the virtual display showed an error of about 3.3 mm. This study confirms the feasibility of augmented reality surgical navigation for preoperative planning and real-time intraoperative guidance in interventional procedures.

Keywords： augmented reality ；surgical navigation；preoperative planning；real-time guide

引 言

随着计算机辅助手术技术的发展以及临床精准治疗的需要，手术导航系统已被广泛用于外科手术的微创介入诊疗中[1]。术前利用计算机断层扫描（computed tomography ，CT）、核磁共振成像（magnatic resonance imaging ，MRI）等影像学技术提供的患者信息进行图像处理和三维重建，外科医生可以实时动态监控整个介入过程[2]。但传统手术导航系统存在一些不足，如患者与传统手术导航系统的二维显示器之间没有建立直接的空间关系[3]，操作者的视线需要在患者的病灶区和导航显示器之间来回切换[4]，这不仅让操作者难以获得深度相关的信息，还容易导致其视觉疲劳，需不断协调手眼的配合等问题。

增强现实（augmented reality ，AR）技术是将计算机处理的虚拟物体或提示信息以特定的位置对应关系实时叠加到真实物体上，使它们同时呈现在用户的视场中，形成虚实结合的视觉图像，从而使用户观察到自身视觉以外的额外信息，增强用户对现实的把握和理解[5]。如今，AR 在手术导航[6]、治疗指导[7]等方向发展势头强劲。许多学者已将 AR 技术应用在辅助手术导航系统中。 Coste-Manière 等[8]首次将 AR 技术用于犬的冠状动脉搭桥术中，为其在手术过程中提供术中信息。El-Hariri 等[9]通过光学超声波技术，将术前与术中数据进行配准，使用 Hololens眼镜进行显示操作。该方法可以使术者沉浸化操作，简化手眼协调，但其所用的仪器设备昂贵，且精度不太理想。Mischkowski 等[10]报道了将 AR 手术导航系统应用于颅颌面外科手术中的 LeFort Ⅲ截骨术、额眶前突、颅顶成型或修补术中。近年来，光学半透式头戴三维显示器（optical see-through head-mounted display ，OSHMD）在 AR中得到广泛的应用，其中，微软公司的 Hololens 眼镜[11] 作为一款新兴的显示设备，在 AR 导航方面表现尤为出色。 Chen 等[12]对基于 OSHMD的 AR 手术导航系统进行了研究，采用基于表面注册的迭代最近点（iterative closest point ，ICP）算法和参考点注册的方法，对手术器械进行校准和注册，注册精度达到0.8 mm。

现有增强现实手术导航的研究一般都将虚拟显示内容直接精准叠加在病灶区域。但是，在介入类手术中，病灶区域是被遮挡的，医生更加关心被遮挡的手术器械在病灶区的实际位置和规划路径信息。在此类需求下，增强现实手术导航的叠加显示模式反而存在干扰的可能。在基于映射准确性的基础上，将具有透视效果的病灶区虚拟图像独立显示，计算手术器械与规划路径之间的偏差并实时显示反馈给医生，更能满足介入类手术的导航需求。

针对介入类手术对增强现实手术导航的透视效果虚拟显示问题，本文提出并设计了一种基于增强现实的介入类手术导航系统。本系统可将病灶三维重构的虚拟模型和手术工具的带透视效果虚拟模型实时显示在病灶附近合适的位置，医生可以基于病灶和手术工具的三维图像信息获知被遮挡病灶区域手术工具的实时位置和规划路径，从而实时调整手术工具的角度和位置，提高手术的安全性。

1 手术导航系统设计

1.1 系统结构

图1所示为本文所设计的增强现实手术导航的系统组成。Hololens 第二代头戴 AR 显示器用于实时显示虚拟操作界面和虚拟模型；光学跟踪仪（Polaris Vicra ，NDI 公司）基于近红外主动双目视觉来测量带有反光球的探针和参考支架的空间位置，测量精度可以达到0.25 mm；带有3个反光球的探针，光学跟踪仪可以通过定位反光球坐标计算出探针针尖点的三维坐标；带有4个反光球的参考支架，将其固定在手术对象上，光学跟踪仪通过测量它的坐标可以实时得到手术对象的位置信息；工作站用于处理跟踪仪获得的数据、生成虚拟图像和设计场景；3D 打印头骨模型用于模拟实验手术对象；另外，定制加工了一个角点特征易于测量的梯台模型用来验证导航系统的虚拟显示精度。

1.2 系统实现流程

系统工作流程示意图见图2。

具体工作流程为：

（1）手术前对病患采用薄层螺旋 CT 扫描，将得到的 CT 数据以 Dicom格式保存，导入 Proplan 软件并选取合理的重建阈值，从而将 CT 数据重建为三维模型用于术前手术规划[13]。

（2）将模型导入 Unity 软件并设计，场景打包成 UWP 应用程序，通过 Visual Studio 开发环境将 UWP 应用程序导入到 Hololens2中。

（3）移动探针，当探针针尖与虚拟标志点重合时，记录针尖在跟踪仪坐标系下的位置。通过 Unity软件可知虚拟标志点在虚拟模型坐标系下的位置，由此得到2组有序的三维点集，完成虚拟模型坐标系到光学跟踪仪坐标系的转换。获取患者的头骨和其对应的虚拟头骨模型上的标志点坐标完成光学跟踪仪坐标系到 AR 眼镜坐标系的转换。

（4）在工作站进行数据的采集和计算，建立工作站和 AR 眼镜之间的双向通信，将采集的数据以特定的形式无线传输到 AR 眼镜中，进而变换虚拟模型的位置。

（5）将参考支架和头骨刚性连接，光学跟踪仪定位头骨上的参考支架实时获取4个标志球位置坐标，计算参考支架前后两帧的坐标变换，得到头骨前后两帧的坐标变换，进而实时更新虚拟模型的位置。

2 手术导航系统实现原理

虚实配准和三维注册是增强现实手术导航系统的关键技术[14]，通过它们可以将虚拟场景准确定位到真实环境中，虚实配准和三维注册的方法将直接影响导航系统的精度。

2.1 虚实配准

本文中虚实配准方法用于将真实的头骨模型和探针分别与虚拟的头骨模型和探针进行叠加显示。图3是基于 Hololens 眼镜虚实配准过程中的坐标系转换，其中： Cref 是参考支架坐标系；Ctra 是光学跟踪仪坐标系； Chol是 AR 眼镜坐标系； Cvir 是虚拟模型坐标系；标系到 AR 眼镜坐标系的转换矩阵； Thol（tra）是 AR眼镜坐标系到光学跟踪仪坐标系的转换矩阵；Tr（t） f（a）是参考支架坐标系到光学跟踪仪坐标系的转换矩阵。

矩阵 Thol（tra）是由 AR 眼镜在光学跟踪仪下进行标定获得，矩阵 Tr（t） f（a）是由光学跟踪仪定位安装在目标区域的参考支架获得，因此当虚拟模型与真实目标重叠时有

由式（1）计算得

由式（2）获得转换矩阵 T ir（o）l ，矩阵 T ir（o）l 中参数的实时更新可使真实目标在光学跟踪仪工作范围内移动也可以保持虚拟模型与真实目标重叠。

2.2 三维注册

本文的三维注册方案用于获得转换矩阵 Thol（tra），即得到光学跟踪仪坐标系与 AR 眼镜坐标系的转换关系，如图4所示。

基于探针上的3个反光球，光学跟踪仪可以获取探针针尖在真实世界的坐标信息，再设置4个在 AR 眼镜虚拟坐标系下位置坐标已知的三维正交轴。佩戴 AR 眼镜观察探针针尖是否与已经设置好的虚拟三维坐标轴重合，重合时记录下探针针尖在光学跟踪仪坐标系下的位置，又因为虚拟三维坐标轴的位置可以事先通过虚拟场景设计软件 Unity 设置，所以能够得到2组有序对应的三维坐标点集 pn（三维正交轴在虚拟场景下的坐标位置）和 qn（通过光学跟踪仪得到探针针尖的坐标位置）。

对于存在有序对应的2组三维坐标点集来说，采用四元数方法求解可以获得较高的估计精度。令 表示的四元数为

式中， q1≥0，并且 q1（2）+ q2（2）+ q3（2）+ q4（2）=1。令 T為变换矩阵中的平移矩阵， R为变换矩阵中的旋转矩阵，则 R可以表示为

若用 f 表示源点集pn在变换矩阵 R和 T作用下相对于目标点集 qn之间的误差，则求解最优的转换矩阵即为求解当满足误差 f 最小时误差函数的优化问题，即

通过标定可得式（1）中 AR 眼镜坐标系到光学跟踪仪坐标系的转换矩阵 Thol（tra），由此可以计算出矩阵 Thol（tra）中的四元数以及平移向量。数据实时更新和实时传输可能会导致延迟，因此所有的计算过程都在工作站完成，只将计算结果通过 AR 眼镜和工作站之间的传输控制协议（ transmission control protocol ， TCP）发送到AR 眼镜中，实现目标物移动其虚拟模型也会与之重叠的功能。

3 实验验证与分析

3.1 术中增强现实导航实验

系统通过带透视效果的虚拟模型来显示探针在病灶区的空间位置，同时实时显示探针和规划手术路径的距离和角度信息，如图5所示。具体实现步骤如下：

（1）在 Unity 软件中的虚拟头骨模型上设置引导路径的起点（start）组件和终点（end）组件，通过脚本将起点和终点连成一条直线。术前可以将线段起点设置在模型的病灶区，线段的长度、粗细、颜色可根据需要设定。

（2）计算虚拟探针针尖到病灶区的距离（distance，单位为 cm），虚拟探针与引导路径之间角度偏差（angle，单位为°）。

（3）将 distance 和 angle 实时更新显示在病灶区附近合适位置，给术者提供更多的信息。

3.2 精度验证

为了验证增强现实导航的虚拟模型显示精度，本文在定制的梯台模型上做了若干个标记点用于配准和精度验证。如图6所示，取梯台模型上的6个标记点（标黑的点1至点6）进行精度验证，用另外6个角点特征点（标白的点1至点6）进行配准。验证实验步骤如下：

（1）通过 Unity 软件，将设计好的场景导入AR 眼镜。

（2）佩戴 AR 眼镜，建立 AR 导航系統与工作站的连接。在增强现实场景中手持探针，按一定顺序移动到4个三维正交轴的中心，并记录此刻探针针尖在光学跟踪仪坐标系下的坐标，得到光学跟踪仪坐标系与 AR 眼镜坐标系的转换矩阵hol 。

（3）用探针依次测量角点特征点1至6在光学跟踪仪下的坐标，计算出光学跟踪仪坐标系与参考支架坐标系之间的转换矩阵 Tr（t） f（a）。

（4）根据步骤（2）和步骤（3）中得到的转换矩阵，计算得到最终的转换矩阵 T ir（o）l 。

（5）将转换矩阵 T ir（o）l 中的参数以特定的格式发送到 AR 眼镜，便可以实现真实梯台与虚拟梯台的配准。

（6）实时更新传输的数据，便可以得到实物模型与虚拟模型实时同步变换位置的效果。将虚拟梯台放置于合适的位置，如图7所示。其中，右侧灰色的梯台为虚拟梯台，左侧黑色的梯台为真实梯台。

（7）将真实探针针尖依次放置在真实梯台上设置的6个标记点，记录下虚拟探针针尖和对应标记点之间的距离，得到6个标记点的误差数据。

重复上述步骤获得6组误差数据，将6组数据中每个点的虚拟模型误差记录在表1中。

为了更直观的分析误差数据，通过 Origin软件绘制误差数据点线图，如图8所示。整个导航系统的平均误差约3.3 mm。

3.3 误差分析

误差主要是由于三维注册转换矩阵的校准误差所导致。在注册过程中，操作者应尽量保持头部和身体稳定，以避免 Hololens 眼镜中的虚拟模型发生偏移，导致注册误差增大，影响注册精度。尽量避免操作环境过于杂乱，这会对眼镜的实时定位与重建带来一定的影响，进而影响整个系统的精度。

4 结 论

本文设计了一套基于增强现实的介入类手术导航系统，可以实时显示手术器械与被遮挡病灶区的空间位置关系以及术前规划的手术路径，术者可在术中实时调整手术器械入路，更加精确地完成手术操作。实验结果表明，该系统的虚拟模型显示的平均误差约3.3 mm。

实验中发现，在佩戴 AR 眼镜大幅度转动视角时，虚拟显示模型会有轻微抖动，为了不增大误差，在使用该导航系统时应尽量减少大幅度的转动视角。随着增强现实眼镜空间定位技术的发展，该手术导航系统的稳定性将进一步提高。本研究对于增强现实手术导航技术在术前规划和术中实时引导方向的发展具有一定的借鉴意义。

参考文献：

[1] JUD L， FOTOUHI J， ANDRONIC O， et al.Applicability of augmented reality in orthopedicsurgery –a systematic review[J]. BMC MusculoskeletalDisorders， 2020， 21（1）：103.

[2] LEE K H， LIM K Y， SUH Y J， et al. Diagnosticaccuracy of percutaneous transthoracic needle lungbiopsies： a multicenter study[J]. Korean Journal ofRadiology， 2019， 20（8）：1300–1310.

[3] LI Y， CHEN X L， WANG N， et al. A wearable mixed-reality holographic computer for guiding externalventricular drain insertion at the bedside[J]. Journal ofNeurosurgery， 2018， 131（5）：1599–1606.

[4] MA L F， ZHAO Z， CHEN F， et al. Augmented realitysurgical navigation with ultrasound-assisted registrationfor pedicle screw placement： a pilot study[J].International Journal of Computer Assisted Radiologyand Surgery， 2017， 12（12）：2205–2215.

[5]张楚茜.增强现实技术的研究进展及临床应用概述[J].组织工程与重建外科杂志， 2018， 14（1）：17–20，23.

[6] KERSTEN-OERTEL M， JANNIN P， COLLINS D L.The state of the art of visualization in mixed realityimage guided surgery[J]. Computerized MedicalImaging and Graphics， 2013， 37（2）：98–112.

[7] COSENTINO F， JOHN N W， VAARKAMP J. Anoverview of augmented and virtual reality applicationsin radiotherapy and future developments enabled bymodern tablet devices[J]. Journal of Radiotherapy inPractice， 2014， 13（3）：350–364.

[8] COSTE-MANI?RE ?， ADHAMI L， MOURGUES F， et al. Optimal planning of robotically assisted heart surgery： first results on the transfer precision in the operating room[J]. The International Journal of Robotics Research， 2004， 23（4/5）：539–548.

[9] EL-HARIRI H， PANDEY P， HODGSON A J， et al. Augmented reality visualisation for orthopaedic surgical guidance with pre-and intra-operative multimodal image data fusion[J]. Healthcare Technology Letters， 2018， 5（5）：189–193.

[10] MISCHKOWSKI R A， ZINSER M J， KUBLER A C， et al. Application of an augmented reality tool for maxillary positioning in orthognathic surgery –a feasibility study[J]. Journal of Cranio-Maxillofacial Surgery， 2006， 34（8）：478–483.

[11] QIAN L， BARTHEL A， JOHNSON A， et al.Comparison of optical see-through head-mounteddisplays for surgical interventions with object-anchored2D-display[J]. International Journal of ComputerAssisted Radiology and Surgery， 2017， 12（6）：901–910.

[12] CHEN X J， XU L， WANG Y P， et al. Development of asurgical navigation system based on augmented realityusing an optical see-through head-mounted display[J].Journal of Biomedical Informatics， 2015， 55：124 –131.

[13]劉庆成， 李洪亮， 王敏娇， 等.虚拟技术在牙颌面畸形治疗中的应用[J].组织工程与重建外科杂志， 2018，14（1）：1–4.

[14]刘春霞.增强现实 AR技术在船舶运动预报中的应用[J].舰船科学技术， 2020， 42（8）：10–12.

（编辑：李晓莉）