基于混合现实的手术导航系统在颅颌面创伤骨整复中的应用研究

林承重 张勇 董韶 吴锦阳 张楚茜 万新军 张诗雷

1.上海交通大学医学院附属第九人民医院口腔第二门诊部，上海交通大学口腔医学院，国家口腔医学中心，国家口腔疾病临床医学研究中心，上海市口腔医学重点实验室，上海 200011；2.上海交通大学医学院附属第九人民医院口腔颅颌面科，上海交通大学口腔医学院，国家口腔医学中心，国家口腔疾病临床医学研究中心，上海市口腔医学重点实验室，上海 200011；3.上海理工大学光电信息与计算机工程学院，上海 200011

颅颌面外科所涉及的区域空间狭窄、解剖结构复杂，颅颌面创伤或畸形的手术风险高、整复难度大，通常难以精准恢复预期的功能及外形[1-3]。随着现代化数字外科技术的迅速发展，外科导航技术已在颅颌面创伤骨整复中得到广泛应用，能有效提高手术精准性，减少手术风险[4-5]。但目前外科导航系统在成像显示方面尚存在有不足之处，如不能直观地呈现病灶解剖结构、临床医生需要在屏幕和术区之间频繁视野切换等[6]。这限制了现有手术导航系统在颅颌面创伤外科的进一步发展和应用。

混合现实（mixed reality，MR）技术是全新一代数字全息影像技术，具有虚拟世界与现实世界深度结合、环境与使用者实时交互、虚拟模型与真实目标精确匹配等特性[7-8]。近年来，MR技术在神经外科、骨科、心胸外科等都逐步得到应用，MR 技术可以将术前重建三维影像叠加在术区，直观地呈现给术者[9-11]。但MR 在术中导航的应用仍较有限，其存在无法实时动态追踪移动目标、三维模型与物理环境的交互效果不佳、配准误差较大等不足之处。本研究提出搭建基于MR显示及红外光学定位的头盔式手术导航系统，通过配准精度与应用误差分析，评估该系统的可行性，进一步通过头颅模型试验和临床应用探讨该MR导航系统在颅颌面创伤骨整复中的适用性。

1 材料和方法

1.1 基于MR的手术导航系统

整体系统设计目标是实现一套基于MR显示及红外光学定位的口腔颅颌面外科手术导航系统。本系统主要由三部分组成，分别为MR 显示端的Microsoft HoloLens 2（微软公司，美国）、红外光学定位追踪端的Polaris Vicra（Northern Digital Inc公司，加拿大）、PC数据通讯端的戴尔笔记本电脑（戴尔公司，美国）。该系统主要包含以下5个模块，系统工作流程见图1。

图1 MR手术导航系统的工作流程Fig 1 System flowchart of the MR-based surgical navigation system

1）术前规划：对CT 影像数据进行图像分割、三维重建和手术规划，并将三维数据导入unity3D开发环境，生成Windows 的通用应用平台（uni‐versal windows platform，UWP）应用程序导入到HoloLens端。

2）光学图像配准：采用基于特征点的配准方法，实现手术靶区与术前CT 影像在红外光学定位追踪系统下的空间配准。

3）HoloLens 端空间标定：HoloLens 端虚拟空间中设有4个虚拟标记点，在完成光学图像配准后，术者佩戴HoloLens 眼镜，按顺序将光学定位探针的尖点与虚拟标记点匹配，实现HoloLens 端虚拟空间在光学空间下的标定。

4）数据传输：空间配准过程及导航过程需要在PC 端、HoloLens 端、光学定位追踪端不间断地数据传输。光学追踪仪与PC 端之间由USB 主机转接器进行数据传输，同时利用无线路由器建立一个无线局域网以实现PC 端与HoloLens之间的数据传输。

5）实时动态追踪：空间配准完成后，可实现术前规划的虚拟场景与真实目标区域的虚实融合。光学定位跟踪仪通过跟踪固定在骨骼上的被动定位支架实时获取被动定位支架的位置坐标并计算被动定位支架的旋转与平移，由于被动定位支架和骨骼是刚性连接的，进而可得到术区位置的变换，从而实时更新位置数据，达到实时动态导航的目的。

1.2 系统的误差测量实验

1.2.1 3D 打印头颅模型 将6个头颅CT 数据的DI‐COM 文件导入 Simplant 软件 11.04 版本 （Materi‐alise 公司，比利时），完成颅颌面硬组织模型的三维重建。参考常用于颅颌面部骨骼头影测量分析的标志点，在模型上设计用于配准和精度检测的17个解剖标志点。同时在虚拟的三维头颅模型的左右两侧上颌骨分别设计1 条Le FortⅠ型截骨线，并在每条截骨线上各设计了5条等分的刻度线。设计完成的三维头颅模型以STL 格式导入3D 打印机交工成头颅模型，模型设计如图2A～E所示。

图2 用于精度验证的3D打印头颅模型Fig 2 3D printed skull model designed for accuracy validation

1.2.2 误差测量实验 1）系统误差：实验者使用导航探针尖端分别采集真实头模上的解剖标志点在光学定位追踪系统坐标系下的位置作为真实位置，而HoloLens 坐标系下的对应虚拟解剖标志点将被转换至光学定位追踪坐标系下，通过系统计算获得理论上的虚拟位置，真实位置和理论位置的偏差也就是光学追踪坐标系下的系统误差。

2）目标配准误差：实验者使用导航探针尖端分别采集虚拟模型上的解剖标志点在光学追踪仪下的真实位置，通过计算其与真实模型上对应解剖标志点的位置偏移，可获得目标配准误差，即真实的虚实偏移。

3）应用误差：选用颅颌面外科常规的Le FortⅠ截骨作为应用误差分析的实验手术方式，在混合现实导航系统引导下行头颅模型双侧Le Fort Ⅰ型截骨。完成截骨后，对各侧截骨线的5个测量点使用游标卡尺测量实际截骨线与预先设定截骨线在该5个测量点的直线距离，即应用误差。

1.3 颧上颌骨复合体（zygomatico-maxillary com‐plex，ZMC）复位的模型实验

1.3.1 ZMC 模型3D 打印 本实验以ZMC 复位这一颅颌面创伤中最常见的手术操作作为实验手术方式。临床获取4个ZMC 骨折的头颅螺旋CT 数据，完成三维建模、术前规划，将ZMC 模型及切割ZMC 的头颅模型3D 打印，模型设计如图3A～H所示。

图3 ZMC复位实验的术前规划影像、3D打印模型、术中复位情况Fig 3 Preoperative planning,3D printed model,and MR navigated intraoperative reduction of ZMC

1.3.2 ZMC 复位实验 1）ZMC 虚拟复位：完成导航系统的配准后，将ZMC虚拟模型和分割ZMC的头颅虚拟模型分别以绿色和暗红色显示，透明度50%，通过显示或隐藏ZMC 虚拟模型，在真实头模上进行ZMC的虚拟复位。

2）虚拟模型位移误差测量：使用导航探针尖端分别采集ZMC 虚拟模型上的5个标志点在光学追踪仪下的真实位置，通过计算其与虚拟模型对应标志点的理论位置偏差，可获得ZMC 虚拟模型的位置偏移。

3）颧上颌缝、颧弓根、颧额缝三点固定ZMC后，验证虚拟模型与真实模型的叠加情况。

1.4 临床应用

病例1，患者男性，32岁，因“颅面部损伤后伴额部塌陷1 年余”入院。专科检查：意识清楚，查体配合，问答切题，颅面部左右不对称，左侧额部塌陷，额部至右侧上睑可见瘢痕，右眼义眼，左眼球动度可，视力可，左右侧嗅觉（−），双侧眼睑无下垂，皱额对称正常。入院诊断：创伤性额部畸形。治疗方案：额骨缺损行个性化聚醚醚酮（polyetheretherketone，PEEK）植入物整复。基于个性化PEEK植入物精准就位的特性，本研究将混合现实手术导航系统进行初步的临床应用，验证其在颌面创伤骨整复应用的技术路线。

1.5 统计学方法

采用SPSS 22.0 软件进行统计处理，计量资料用均数±标准差描述数据，组间数据进行单因素方差分析（方差齐性）或Kruskal-Wallis 检验（方差不齐）评估组间差异。以P<0.05 表示差异有统计学意义。

2 结果

2.1 系统误差和目标配准误差

通过对6个模型的各17个解剖标志点进行系统误差检测，结果如图4A 所示，本MR 导航系统的平均系统误差为（1.23±0.52）mm。对6 组数据进行方差齐性检验，结果显示F=0.389，P=0.855>0.05，提示6 组数据方差齐性。进一步以不同组别为自变量，系统误差值为因变量进行单因素方差分析，F=0.661，P=0.654>0.05，不同组别之间差异无统计学意义。本MR导航系统的目标配准误差结果如图4B 所示，平均目标配准误差为（2.83±1.18）mm。对6 组数据进行方差齐性检验，结果显示F=2.082，P=0.074>0.05，提示6 组数据方差齐性。进一步以不同组别为自变量，目标配准误差值为因变量进行单因素方差分析，F=0.801，P=0.552>0.05，不同组别之间差异无统计学意义，即本系统具有较高的稳定性。

2.2 截骨应用误差

根据在虚拟模型上预先规划的截骨线，进行混合现实引导下双侧上颌骨Le FortⅠ型截骨实验。结果如图2F、G 所示，深蓝色直线为预先设定的参考线，红色曲线为混合现实引导下的实际截骨线。误差的测量结果如图4C 所示，本MR 手术导航系统的平均截骨应用误差为（3.13±1.66）mm。

图4 MR手术导航系统的误差测量结果Fig 4 Error distribution of MR-based surgical navigation system

2.3 ZMC模型的虚拟手术复位

ZMC 虚拟模型呈绿色显示，分割ZMC 的头颅虚拟模型呈暗红色显示，虚拟模型的透明度均为50%，通过显示或隐藏ZMC 虚拟模型，在真实头模上进行ZMC的虚拟复位，如图3I、J所示。ZMC虚拟模型的平均位置偏移误差为（3.77±1.37）mm（图4D）。

2.4 ZMC模型复位后的验证

完成ZMC 复位固定、MR 导航系统配准后，ZMC 虚拟模型透明度为30%，分割ZMC 的头颅虚拟模型透明度为80%，通过虚拟模型与真实目标的配准拟合，ZMC复位情况（图3K、L）。

2.5 术中导航效果

本MR手术导航系统的术中导航及应用过程如图5 所示。经过术前规划、光学图像配准、MR 端空间标定最终实现虚拟头颅模型叠加到患者真实头颅上，并在HoloLens 端直观地呈现给术者，辅助外科医生对PEEK植入材料的定位及验证。

图5 病例1的术前规划影像、术中导航情况和术后重建效果Fig 5 Preoperative surgical planning,MR navigated defect reconstruction,and the clinical outcomes of case 1

3 讨论

手术导航技术在过去30 年得到了广泛应用，能有效提高手术精准性，减少手术风险。但目前手术导航系统在成像显示方面仍存在一些问题，例如：是单点导航，术者在手术过程中只能看到某一点的导航信息，而无法直接看到整个术区的位置与结构信息；术中导航虚拟图像与患者术区实际图像缺乏直接的空间关系，术者需要在屏幕和术区之间频繁视野切换，这些都会影像手术的精确性和安全性[6,12]。近年来，一些新的三维数字成像技术正迅速在医学外科领域获得应用转化，包括虚拟现实（virtual reality，VR）、增强现实（augmented reality，AR） 和 MR 等。MR 是一个新概念，它融合了VR 和AR 的优点，可实现三维虚拟图像与真实目标的融合显示，而且允许用户与现实世界以虚拟世界进行交互[7-8,13]。但在手术导航方面，目前MR 技术尚无法实时动态追踪移动目标、配准精度也有较大不足，这限制了其在临床的进一步应用。本研究提出搭建基于MR显示及红外光学追踪定位的手术导航系统，利用空间定位追踪、全息成像和配准技术，将患者术区虚拟模型与真实模型动态融合，并实时、直观地呈现给术者。

3.1 AR/MR技术的区别

AR/MR 技术均体现了虚拟图像在真实世界中的显示。AR 是通过计算摄像机视频的位置及角度并加上相应的图像分析技术，将虚拟的图像或三维模型实时地投射到现实世界中，AR 为用户提供了计算机生成图像在真实环境的叠加和三维可视化[14]。MR是近年在AR基础上提出的新概念，MR将虚拟信息和真实信息融合，利用全息影像、实时交互的技术对现实世界进行重塑，实现虚拟信息在真实现实中的融合[7]。如果以一条1 到0 的数轴来展示AR、MR 以及VR，则谷歌公司的AR 设备 Google Glass 趋近于 1，Oculcs VR 公司的 VR 设备Oculus Rift 趋近于0，而微软公司研发的Holo‐Lens 为代表MR 设备居于二者之间[15]。Google Glass 的AR 技术为用户提供计算机衍生于现实世界中的虚拟世界或信息，基本上AR 只是起到一个虚拟模型的展示和引导作用，通过显示虚拟数据和图像来“扩展”真实世界。基于HoloLens 为代表的MR 技术，虚拟对象不像AR 那样简单地投影在现实世界的表面上，而是虚拟模型与物理目标深度融合。同时，MR 技术允许用户与现实世界以及添加到其中的数字内容进行交互，具有环境与使用者的实时交互的特性。本研究基于HoloLens搭建的MR系统不仅实现虚拟模型与真实术区精确拟合，同时术者可通过“手势”“语音”“凝视”等系统模块与全息图像进行交互。

3.2 MR手术导航系统的误差分析

手术导航的根本目的是为外科医生提供立体可视化的术中定位，提高手术的精确度，降低手术风险及创伤。因此，系统配准精度是评价手术导航系统的最关键指标，主要包括系统误差、目标配准误差和应用误差三个部分[16]。本MR 手术导航系统的系统误差是指真实标志点与光学坐标系下HoloLens 端对应的理论虚拟标识点的误差，其主要受光学定位追踪端的定位偏差以及空间坐标转换计算的影响。本研究的整体系统误差为（1.23±0.52）mm，小于2 mm，说明本MR 系统中HoloLens 端虚拟世界和真实导航目标在光学追踪系统下配准具有理论可行性。这与Sun等[17]报道的（1.30±0.39）mm和Tu等[18]报道的（1.61±0.44）mm相近。

MR 导航系统的目标配准误差主要受3个方面影响：1）光学定位追踪端的定位偏差，光学追踪设备在工作空间的误差小于0.2 mm，点配准算法的误差一般小于0.5 mm[19]，同时，解剖标志点数目和空间分布、光学坐标系下配准操作的人为因素也会影响系统精度；2）MR 端的空间标定误差，主要受配准标定误差的影响及人为坐标测量因素的影响，配准过程中需要用导航探针尖端采集Ho‐loLens虚拟空间的虚拟标记点，可能会存在人为操作误差；3）MR 端对三维环境动态定位能力，其核心为即时定位与地图构建（simultaneous localization and mapping，SLAM），目前 MR 设备的SLAM 技术仍有不足之处：1）单目视觉技术对于三维空间理解的局限；2）头盔快速运动造成的图像模糊，导致立体配准失败；3）SLAM 通常假设场景是静止的，当真实场景目标物体移动时，SLAM 对场景的理解会滞后，且影响算法的稳定性[20-21]。本研究目标配准误差为（2.83±1.18）mm，该配准精度优于同类系统的目标配准精度，如In‐cekara等[22]报道的目标配准误差 （4.0±0.8） mm，McJunkin等[23]报道的目标配准误差（5.8±0.5）mm，Fotouhi等[24]报道的目标配准误差（10.8±3.45）mm。

应用误差是导航系统在实际应用过程中产生的误差，与导航系统的校准不佳、动态参考架追踪范围不足、影像学数据漂移、术者经验等因素均有关系[16]。MR 系统的应用误差主要受系统的目标配准误差及系统的实时动态追踪功能影响。本研究搭建的基于MR显示与光学定位追踪的手术导航系统，不仅可有效解决传统导航系统中导航信息和手术场景分离的问题，同时基于光学定位系统的高精度定位追踪功能，可弥补MR 设备在SLAM 方面的不足，从而实现MR 系统对移动目标的实时动态融合显示。本研究在MR系统引导下的头颅Le Fort Ⅰ型截骨实验的截骨应用误差为（3.13±1.66） mm，优于 Gibby 等[25]报道的 （3.62±1.71）mm。

3.3 MR技术的临床应用

颅颌面创伤及其所致畸形具有明显的不规则性，且常累及多个解剖部位，通过MR技术对患者术前影像资料进行三维重建，可以直观地呈现损伤与邻近重要解剖结构的位置关系。在此基础上进行术中导航，将患者的术前损伤三维影像或术前规划三维影像叠加于真实术区，可以清晰地看到病变所在边界和位置、虚拟手术规划，提高手术的精确性与安全性。本研究完成了ZMC 复位的模型实验和额骨缺损修复的临床应用。首先，基于MR技术的三维显示，医生能够更直观、高效地与患者进行术前沟通，患者也更能立体、直观地了解治疗方案、潜在风险和修复重建效果，这也是目前MR 技术在医学领域的一个主要应用场景[26-27]；其次，利用MR 技术可以让术者对病灶的理解更加精准，进行术前风险评估，制定最佳手术方案，可视化的术前评估有助于增强术者的信心和提高手术安全性[10,28]；第三，术中使用基于光学定位追踪和MR技术提供的实时三维可视化拟合图像，术者可更微创、精准、完整地获取术区的视觉和空间信息，并基于术前规划影像完成修复重建过程，手术的精确性和安全性均得到提升；此外，MR 技术结合3D 打印技术在医学外科培训中具有较大优势。由于颌面部解剖结构复杂、骨块小、骨缝多、手术难度大，MR 技术结合3D 打印模型为外科培训提供了一个理想平台，能够极大地提高低年资医师的培训效率[29]。

综上，本研究搭建了基于MR显示及红外光学追踪定位的手术导航系统，具有虚实融合效果佳、动态导航稳定性好的优点，在颅颌面外科的医患沟通、医学教育、术前规划和术中导航等各方面都有一定的应用优势。尽管目前基于MR技术的手术导航仍有不足之处，其大规模的临床应用尚有待相关技术的发展和改进，基于MR技术的手术导航将是数字化外科及精准医学的一个重要发展方向。

利益冲突声明：作者声明本文无利益冲突。