面向髋关节穿刺手术的实用化增强现实导航方法

陈纾，李凯戎，张楠心，孟刚

面向髋关节穿刺手术的实用化增强现实导航方法

陈纾1，李凯戎2，张楠心3，孟刚4

（1.福州大学 物理与信息工程学院，福州 350108；2.澳门科技大学 人文艺术学院，澳门 999078；3.福建医科大学附属第一医院，福州 350004；4.南京工业大学 艺术设计学院，南京 211899）

旨在利用成熟的技术路线和功能整合，实现面向髋关节穿刺手术的无创伤实用化骨骼增强现实（AR）导航。采用基于神经网络的自动分割方法对现有临床CT影像数据进行骨骼图像分割，并进行三维体积重建；利用虚拟现实开发手段，实现手术导航功能。实现了面向AR的CT扫描方法及配准装置设计，开发了基于CT影像的实用化骨骼组织三维自动重建功能。成功实现了与真实人体配准的骨组织AR预览。完成了从临床CT影像采集到形成真实人体配准的实时骨骼显示的全过程验证。为无创骨骼导航提供了一种新的技术路线和方法，证明了在无创条件下快速实现虚拟骨骼与真实皮肤配准显示的技术可行性。为临床骨科手术提供了新的思路和参考，并可为其他领域的外科手术导航研究提供技术支持和参考。

增强现实（AR）；手术导航；骨科；髋关节

穿刺手术是治疗髋关节病症的重要手段。临床需要根据经验合理规划穿刺位置和路径以减少附加伤害，从而降低术后手术并发症的可能性。增强现实（Augmented Reality，AR）技术可以将计算机生成的深层三维组织模型叠加显示在自然人体结构上，从而为手术直观地提示隐藏在体内的手术目标的实时信息，以允许手术医生直接关注内部患处与体表结构的位置关系，以降低手术判断的难度、降低失误概率。因此AR手术导航对髋关节手术的治疗具有重要的辅助作用。本研究针对髋关节穿刺手术对AR手术导航的功能需求展开研究。拟通过对现有技术在应用转化过程中的关键环节进行系统化概念设计，探索从临床医学影像数据自动化处理到实用化AR手术导航的基础实现路径，并通过系统开发等工程实证研究，验证技术路径的可行性。

1 背景

近年来，AR在骨科手术中的应用研究近年来呈现增长趋势[1]。Uddin等[2]对当前的脊椎手术AR引导研究进行了综述，并对未来研究的发展作出了乐观的预测。研究综述了近十年骨科AR导航概念验证研究的情况。在人体模型中的测试研究占比为21%；AR的实用性、优势和劣势的评估调查占比为26%，此类研究主要围绕人机工程学，以及使用AR平台时仪器的准确性评价展开。同时占比11%的技术论文对AR的当前技术环境进行了评估，并为创建可广泛应用的紧凑、高度通用、便携式AR系统提供了未来方向。

以此趋势为契机，在近年的相关研究中更加关注AR技术在临床实用环境中的适应性问题，重点探讨AR技术在实际临床手术中的引入。例如，Battaglia等[3]提出结合CAD/CAM与AR技术辅助执行腓骨游离瓣采集进行下颌重建的数字工作流程，验证了AR技术改善骨科手术环境的潜力。然而，在此项研究中AR技术的作用仅为为现场外科医生提供额外的手术信息提示，相较于传统可视化引导的分屏比照方式，提升了实时性与直观体验。由于无标签位置配准方法的性能局限，尚无法做到自由视角下的AR显示。Gibby等[4]进行了以人体局部模型为实验性对象的可行性实验，提出了一种针对患者皮肤的个性化的实时引导方法。该方法提出将3D重建影像与CT图像叠加的引导方法用于腰椎骨骼的间接配准，并在研究中提出了放置椎弓根插管导向器的引导方法，从而避免使用实时荧光透视或术中CT O-Arm 3D成像造成的连续扫描。这项研究证明了利用头戴显示AR（HMD-AR）技术进行骨科手术引导的可行性，然而该方法对技术装备、手术操作等均提出很高的要求，且在术中进行的连续X射线成像对医患都存在潜在风险。而Elmi Terander等[5]对椎弓根手术引导的现实导航方法进行了前瞻性研究，并从临床视角验证了结合ARSN系统的集成手术环境所提供的AR成像对手术精度、操作时间、预后结果等有促进作用。该方法避免了术中多次X射线检查，但过高的装备成本及技术要求使其很难在手术频次密集的临床诊疗中获得有效推广。

可见，降低技术装备成本、提高原始数据处理效能等问题的解决，成为决定AR技术能否具备临床实用性的关键因素[6]。如何利用成熟手段及工具形成简洁的数据处理过程并实现高效、无创伤的手术导航的方法，是目前研究者所关注的重要问题。近年来，采用商用虚拟现实引擎开发骨手术导航的研究思路被广泛关注。如Moreta Martinez等[7]提出将三维打印模型作为患者身体的替代物，利用Unity3D等商用虚拟现实引擎创建个性化AR图形配准工具，从而对胫骨肿瘤的位置进行AR显示。该方法证明了用于医疗教育、模拟和指导的简洁AR开发模式构建的可行性。这两项研究验证了利用商用AR设备进行骨科手术引导的可能性。然而，该方法依赖于直接在骨骼上进行位置绑定，因而所针对的手术种类局限于开放式骨肿瘤手术，方法的适应性有待提升。

综合现有研究可以发现，图像标记点（maker）仍然是有效且被广泛采用的AR图形配准方法。尤其是在进行O-ARM等频繁X射线扫描操作时，甚至可以实时添加maker操作。因此，基于maker的AR配准视为一种在未来研究中可以采用且稳定有效的方式。此外，尽管AR在临床中的可行性被大量研究证明，但仍然存在实用化不足等问题，这也对临床AR导航系统的实用性、经济性提出更高的需求。

另一方面，专门针对髋骨的AR手术引导研究则已经实现了相应的概念验证[8]。同时，利用可见光摄像机采集配准图像，并将图形标志物作为配准参照物的设计路线，被证明具备较高的可行性[9]，且现有的商用AR技术及设备也被证明适用于临床手术引导[10]。

综合研究现状可知，在当前相关领域的研究中，主要采用可见光视频图像采集、配合皮肤表层maker配准的技术路线。该路线在无创伤的前提下，对AR设备硬件处理器性能的要求也相对较低，是一种有效且便捷的AR引导实现途径。

2 问题的提出

本研究旨在设计一种骨外科AR方案，用于在无创伤的前提下实现髋关节穿刺手术的AR引导。该方案需要在一般移动设备环境下，以腿部皮肤表面为参照，实现基于术前CT影像的髋关节骨组织三维重建模型的配准成像，从而为髋关节穿刺提供准确的目标位置显示。该方案除了应具备实现成本低、操作简便、原始数据处理及时等特点之外，尚需进一步提升AR技术在医学应用场景下的适应性。

为了实现上述目标，本研究提出了髋关节穿刺手术导航概念，其核心为基于自动信息处理方法实现从CT数据到AR功能的多模态数据自动转换与虚实配准信息传递，从而提升AR技术在医学应用场景中的实用性，如图1所示。

图1 髋关节手术导航概念设计

手术导航概念的实现主要包括三个阶段：术前CT扫描，获取骨骼目标区域的医学影像信息；三维重建，获取虚拟骨骼和皮肤模型作为AR引导和虚拟可视化数据的基础；AR导航，通过皮肤表面标记的激活和位置参考，引导体内髋关节的实时信息。通过定义上述三个阶段，AR手术导航的实现目标以明确的技术要求形式进行概括。在后续的研究中将通过有针对性的设计、方法、开发等具体手段对上述目标进行实现。每个阶段的主要挑战可以归纳为以下几个关键问题：

1）髋骨位置体表皮肤平展光滑、无纹理，难以直接作为激活和对准虚拟骨骼模型的注册标记。此外，皮肤变形、CT扫描位置和术中体位不一致，也是导致虚拟模型注册困难的主要原因。

2）在AR系统中获取骨骼模型信息通常需要两种方法。一种是采用MPR法对实时X扫描影像进行阈值分割和影像密度叠层，从而构建多角度骨骼模型影像，但该方法本质上形成的是多视图二维图像映射，因此数据可重用性差，对切割、穿刺等的有限元仿真能力有限，而且对设备的要求较高。要获得更精确的三维拓扑模型，需要借助专门的三维重建软件，这会增加数据处理的时间和成本，并且需要专业人员进行操作。

3）头戴式显示器（HMD）设备相对昂贵，一些研究报告称医生佩戴HMD进行手术需要较长的适应时间，并且存在质量大、布线复杂、电池寿命有限、手术期间容易晕眩[11]等问题。相比之下，基于普通移动智能设备（如平板电脑、手机等）的AR导航显示具有设备成本低、方便使用等优点，更适合于手术室等复杂的使用环境[12]。然而，普通设备上的摄像头存在不同程度的广角畸变失真问题，会影响模型的配准。

3 方法

为了解决无法通过皮肤直接配准的问题，本研究采用间接配准的方式，通过在骨骼与皮肤间相对稳定的位置设置中继标志物，用于骨骼部分坐标的介导，并提出了改进的临床CT扫描方法及相关装置。同时，针对临床CT数据的快速模态转换及可视化问题，本研究通过测试不同的临床数据分割方法，确定了高效的骨CT自动分割及重建技术路线，实现了基于网络的轻量化客户端。

3.1 临床CT扫描方法实验

AR导航的实现关键在于：在自然状态下对隐藏于皮肤肌肉等组织间的真实骨骼及三维重建的虚拟骨骼模型进行位置的配准并实时显示。骨骼信息虽然可以通过常规CT检查获取，但在AR环境中人体骨骼的实时位置信息却无法直接获取与绑定。因此，提出了将人体皮肤作为骨骼位置信息的中继物，先行配准真实皮肤与三维重建皮肤，再进一步提高骨骼配准精度的间接配准思路。为了解决皮肤纹理少、变形程度大等问题，可以对marker信标进行设计，用于提高位置信息指示精度及效率。

实验过程为：通过对临床志愿者体表绑定扫描初始标志物，进行普通临床CT扫描；采用基于神经网络的CT自动三维重建方法，获得皮肤表面定位标志物、皮肤、骨骼组合三维模型，三者空间位置关系均源自原始临床影像，作为配准依据，并依据重建数据，进行三维打印获取真人等比尺寸的树脂及硅胶模型，作为临床志愿者的真实人体替代物；采用虚拟模型与实物模型的方式，进行配准实验。

为了获取可供AR显示和配准的原始数据，设计了一种无创伤的临床扫描方案，将可注入造影剂的树脂盒子作为皮肤的配准特征物，用于真实皮肤与虚拟皮肤的配准点设置参考，如图2所示。

图2 面向骨AR的CT扫描方法

标记盒直接附着于患者皮肤，该标记盒将与骨骼和皮肤一起被重建出来，作为初始定位信标。在AR配准环节中，将依照标记盒的顶面中点、底平面，以标记盒表面图形的指示方向为引导进行设置。为了能利用真实病例中的CT影像数据，实现虚拟模型叠加在真实场景上的对位，在设计标记图像的同时应将其立体化，如此才可进行标记盒的三维重建。在标记盒的两头分别设计一个注入口和一个排气口，并注入造影剂，从而使标记盒三维特征及空间指向可以被清晰观察。

3.2 实用化髋关节三维自动重建

为了实现临床快速获取骨骼模型，拟引入神经网络的方法进行临床的快速CT图像分割。主要的原因是，骨影像特征十分显著，当前的神经网络方法可以获得较为稳定的分割结果用于重建。本研究选择了U-Net卷积神经网络结构进行CT影像的分割训练[13]，并与当前常用的骨影像分割方法进行比较，选择更为高效的自动分割方法。

实验数据集来自实验室合作单位福建医科大学附属第一医院提供的CT数据，选取髋关节腔镜手术的术前CT检查数据共120例，并利用Mimics软件的手动骨骼影像分割进行标签制作，从而形成数据集。所有的图像都经过了窗位280 HU、窗宽400 HU的预处理。数据集图像经数据增强的方式扩大，并随机抽取其中的20%分配到验证集用于准确度测试。采用基于图像预处理的传统混合型传统阈值分割方法进行半自动骨影像分割，用于横向对比以确定各项方法的重建效能。主要方法有全局阈值法、局部阈值法、Otsu法[14]等常用于医学增材制造中骨分割的CT图像分割方法[15]以及基于临床数据训练的U-net卷积神经网络。

骨影像分割结果对比，采用三维语义分割中常用的相似度系数，计算四种三维语义分割集合的交集与并集之比。计算结果区间为[0,1]，越接近1表示方法分割正确率越高。具体计算方式如下：

其中为数据集中真实标签的影像体素数量，为不同方法的骨骼影像分割结果的影像体素数量，通过对真实标签与分割形成的掩膜图（二值图）进行点乘求和计算，可获得不同方法的准确分割体素数量，结果如表1所示。

表1 测试集的分割结果比较

Tab.1 Comparison of test set segmentation results

由上表可知，U-Net网络的平均分割精度最好，分割的最小系数值也明显高于其他方法，稳定性较强，能为后续的三维重建提供较好的条件。需要说明的是，由于CT影像包含股骨等皮质骨的比例较大，因此Otsu法在平均分割精度上也显得十分优秀，但其在松质骨上产生了过分割，故最小值与平均值相差较大，并且其分割结果中出现大于20%的最大误差，这一点在相关文献中亦有记载[16]，印证了经典方法具有不稳定性。

与此同时，U-Net卷积神经网络也表现出显著的效率优势。在本实验运行环境中，采用一台DEll-T1700服务器进行分割测试，已训练网络的平均分割速度是45 ms/seq，完成397张影像的单病例的平均分割时间约为18 s。附加后续三维重建所需的格式转换及存储读取等时间，完成测试集分割的总耗时为24.33 s。基于骨CT的逐帧分割结果，可以实现骨模型自动三维重建，主体部分模型基本与人工重建基本一致。

在上述实验中，常用的经典分割方法均需要通过人工进行预处理，单病例平均耗时为654.7 s。而基于神经卷积网络的自动骨分割方法仅在一般个人计算机运算环境下的平均处理速度已显著高于人工介入的处理方法，约为人工法的27倍。此项工作验证了神经网络CT骨影像重建方法与经典图像分割方法相比，在准确性、稳定性和综合效率方面存在显著的优势，而综合效能优良的自动化骨CT分割与体模型重建则是AR临床应用的关键环节。因此，本研究采用HTML方式编写了可视化界面，便于CT影像的读入，以及重建结果的输出，如图3所示。

4 AR预览实现

结合医疗场景中的实用化需求，本研究选用了商用虚拟现实引擎Unity-3D作为实现AR功能的开发平台。基于Unity3D、Vuforia和Opencv for Unity插件进行了面向髋骨手术的AR配准方法研究，利用人工标识物对髋骨模型进行配准，根据改进的方法发布了UWP版本。主要过程为：对标识物三维注册方法进行研究，对预置的标识物进行处理并评估其性能；在Vuforia中进行ImageTarget模块的实现和改进，结合Opencv for Unity优化设计方案，对髋骨模型定位进行初步的实验验证。采用多点放置的自然图像纹理的平面矩形作为皮肤表面的激活标识。原因有以下几点：

图3 CT数据读取及髋关节自动重建界面

1）术中场景视口移动范围有限，光照较为稳定，对检测实时性的要求高，矩形标志更适合该应用场景。

2）立体标识检测范围虽然更广，但标识物空腔体积较大，容易影响术中视口和医师操作手术器械的动作；不便放置在皮肤上进行CT扫描，皮肤将会出现显著的凹陷形变而不利于配准。也有部分研究方案提出将三维标识物脱离真实模型外置，但相对位置依赖于术前手动设置且患者不可移动，此类方式的适用场景存在较多限制。

3）平面矩形标识物的操作空间更大。若平面标识为适宜的大小，并在皮肤表面多位置、多角度摆放，则能够达到立体标识的效果；多平面标识之间的相对位置也能检测术中标识相对于CT扫描的位移情况，从而降低配准误差；在系统中为每个标识附上相应的ID号，使系统只要检测到至少一个标识点就可以进行定位，也能够提升标识物的抗遮挡性。

综上，根据需求进行了标识物的初步设计。考虑过大的标识物会遮挡手术视口，过小则会影响识别效果，在测量髋骨模型的具体数值后（长：45.77 cm，宽：18.38 cm，高：25.67 cm），决定采用3个边长为5 cm的标识作为配准marker贴在皮肤模型上，标记中心位置与配准盒在皮肤上转印的印记中心重合，用于承继相对的位置信息。由于三组marker中心不共线、水平位置不共面，因此具备不同的中心坐标系，从而进行虚拟皮肤、骨骼重建模型的空间位置相互印证及配准的手动微调校准。纹理图的选用依据是特征点多、对比度强、分辨率较高，能够在适中的光照下在摄像机视口进行辨别，如图4所示。

图4 选用的三张识别纹理图片

在Unity3D框架的基础上挂载实现虚拟模型，主要涉及以下步骤：

1）通过Vuforia或其他开源手段对标志物进行配准注册，用于后续AR场景的激活。

2）将AR Camera的世界坐标中心位置改为基于相机，便于标识物坐标系的统一。

3）调整好每个标识物在髋骨上的位置，挂载用于定位的子物体。子物体的世界坐标与虚拟髋骨包围盒中心重合，如图5所示。

图5 定位虚拟模型标识挂载

由于需要采用多个marker点进行位置的相互印证，本研究设计了以下印证逻辑：

1）保存场景中所有标识的初始角度、位置。

2）若检测到追踪标识容器长度为0，则停止模型渲染，否则进行第三个步骤。

3）遍历追踪容器中的所有标识，计算每个检测标识的位置、角度，最后加载模型渲染。

通过这种方式，可以有效对模型的初始位置进行调整，以接近真实的marker点位置。但由于实验中各过程的误差累积，需要设置手动微调（modify）模块进行最终校准。校准的参照物以运行设备摄像机视口中的真实皮肤轮廓、皮肤黏贴的marker点边角为配准依据。通过手动校准可以最大限度地修正配准初始值，可在引导过程保持配准精度。采用Unity3D引擎配套的UGUI模块编写了手动配准模块的UI界面，针对平移变换及以各marker点中心坐标为原点的角度倾斜变换，设置了变量入口，最小可平移距离为1 voxel，最小可调角度为1′，每个变量均可通过按键和输入框进行调节，如图6所示。

图6 手动配准模块

5 配准定位实现与检测

模拟多种自然光照环境及观察视角，进行髋骨定位效果检测。以虚、实场景中的皮肤为参照，以表面关键特征点贴合为准。邀请临床专家进行现场验证，以确保配准精度和范围符合实际手术需要，运行结果如图7所示。

测试结果显示，在正常灯光的正上方定位识别效果最佳，配准效果因光照、角度的不同而不同。在实际的测试场景中需要手动配准，由13次模拟临床手动配准测试可知，平均手动微调时间约为5 min，可以满足临床穿刺引导的显示需求。在配准定位测试环节中可以有效观测因通用设备摄像头差异所导致的配准误差情况。造成误差的主要原因有：

1）摄像头的焦距在40 cm以内，难以检测到所有标识物，真实空间单个标识物的移位同样会造成误差。

2）标识物采用普通纸材质印刷，在强光照下易被反光吞噬细节。

图7 不同环境与方向的定位测试

3）镜头畸变导致多标签相互印证配准时容易产生模型抖动。

基于上述测试结果，除设备及应用环境等客观因素外，镜头畸变问题较为突出。采用常规图形处理方法（如undistort函数等）以棋盘格标定的方式获取针对不同设备的镜头畸变矫正参数，实验设备的镜头桶形畸变获得了较好的校正，如图8所示。

图8 图像畸变矫正前后对比

经过改善标签材料、增强环境光源及针对实验设备的镜头畸变矫正等一系列改进以后，进行多角度AR配准成像测试，结果较为理想，如图9所示。

图9 骨AR配准测试结果

本研究利用一般移动设备进行AR系统加载及测试，并联合合作单位的临床医疗人员对髋关节穿刺关键部位进行了多角度AR成像，以及模拟穿刺实验与实用体验评价。通过优、良、中、较差、差等五级评价指标对各点配准效果进行评价，并随机利用不同的手持式移动设备对AR系统进行横向交叉实验。最终结果表明：

1）通过AR引导的髋关节穿刺手术可以将预选的穿刺位置缩小至直径为5 cm的圆周范围内，极大地降低了穿刺点的选择判断难度。

2）通过随机抽样的移动设备进行系统搭载实验，使符合配准要求的手动校准时间低于5 min。临床专家评价显示，校准操作易于学习与实施，可以在常规术前与准备过程同步进行配准的手动校准。

3）AR引导的模拟穿刺实验结果评价显示，引导效果的优良率达到86.3%，具有较好的引导效能。

上述临床专家评价结果表明，本文提出的实用化无创AR引导方法，在骨科中、大型关节穿刺等介入式手术中，可以基本满足手术引导性能需求。

6 结语

本文介绍了一种基于髋骨穿刺手术的导航方法，该方法结合间接配准、神经网络图像分割等方法，达到了髋骨模型虚实配准的效果。同时针对不同移动设备的性能特点增添了多点配准、手动配准和不同型号摄像头镜头畸变矫正等必要的功能模块，使AR导航性能具有较好的信息处理效率及使用体验。为了满足术中观察视口的需求，该方法使用一般外置摄像设备或移动设备的摄像头进行视频输入，用于虚拟三维重建模型与真实物体的配准。经过人工标识物的自动配准和调整误差的手动配准过程，皮肤虚拟模型与患处真实影像能够高度贴合，并显示内部骨骼的精确位置，从而实现了初步可行性验证。该研究成果可为进一步挖掘方法及系统的潜能提供基础，进一步引入更为复杂的术式规范，对前交叉韧带快速重建、骨隧道定位引导等手术进行实时引导。然而，在测试过程中发现了以下缺点：

1）采用的印刷标识物在非自然光照（如白炽灯）下易反光，摄像头的图像采集精度不高导致标识物的识别存在障碍，对标志物图形设计、标志物材料、AR设备硬件性能等提出了一定的要求，需要在未来的应用推广过程中加以关注。

2）针对不同的设备需要进行专项的镜头畸变操作，镜头桶形畸变导致的杠杆效应是初始配准存在较大误差的主要原因，需要通过扩大预置参数范围加以解决，在后续的产品化开发中可针对不同设备，将畸变矫正参数以预设选项模式导入AR系统，保证一般设备的AR配准性能。

3）三维重建模型数据属于点云类型，存在顶点数巨大的特征，为达成理想效果需要搭载设备消耗较大算力。需要在三维重建过程中导入适当的模型优化流程，并进一步聚焦重建区域进行筛选，以有效控制冗余模型顶点数据的形成，从而降低对运行设备的性能要求。

同时本研究也发现，视频摄像采集的方法虽然目前广泛应用于娱乐与商用虚拟现实行业，但是在医学等专业领域则存在可见光干扰、接口标准化、患者隐私保护等问题，在专业应用领域的实现路径上存在较多事务性问题等不可预见的影响。在自动驾驶领域采用的以激光雷达为探测传感器的基于平面特征的点云配准方法[17]，对未来的研究有较大启发。因此，该方向在未来的研究中将作为一个有趣的方向加以深入探索。

[1] 张爱民. 增强现实技术在创伤骨科疾病的应用现状[J]. 中华医学杂志, 2017, 97(14): 1120-1123. ZHANG Ai-min. The Application Status of Augmented Reality Technology in Orthopedic Trauma Diseases[J]. Chinese Medical Journal, 2017, 97(14): 1120-1123.

[2] UDDIN S A, HANNA G, ROSS L, et al. Augmented Reality in Spinal Surgery: Highlights from Augmented Reality Lectures at the Emerging Technologies annual meetings[EB/OL]. (2021-10-01)[2023-02-01]. https:// dig­i­tal­commons.wustl.edu/open_access_pubs/11150.

[3] BATTAGLIA S, BADIALI G, CERCENELLI L, et al. Combination of CAD/CAM and Augmented Reality in Free Fibula Bone Harvest[J]. Plastic and Reconstructive Surgery Global Open, 2019, 7(11): e2510.

[4] GIBBY J T, SWENSON S A, CVETKO S, et al. Head-Mounted Display Augmented Reality to Guide Pedicle Screw Placement Utilizing Computed Tomography[J]. International Journal of Computer Assisted Radiology and Surgery, 2019, 14(3): 525-535.

[5] ELMI-TERANDER A, BURSTRÖM G, NACHABE R, et al. Pedicle Screw Placement Using Augmented Reality Surgical Navigation with Intraoperative 3D Imaging: A First In-Human Prospective Cohort Study[J]. Spine, 2019, 44(7): 517-525.

[6] CHEN X, XU L, WANG Y. Augmented Reality in Surgery: A Comprehensive Systematic Review[J]. Computers in Biology and Medicine, 2020, 121: 103827.

[7] MORETA-MARTINEZ R, GARCÍA-MATO D, GARCÍA- SEVILLA M, et al. Augmented Reality in Computer- Assisted Interventions Based on Patient-Specific 3D Printed Reference[J]. Healthcare Technology Letters, 2018, 5(5): 162-166.

[8] LIU He, AUVINET E, GILES J, et al. Augmented Reality Based Navigation for Computer Assisted Hip Resurfacing: A Proof of Concept Study[J]. Annals of Biomedical Engineering, 2018, 46(10): 1595-1605.

[9] 韩玉仁, 李铁军, 杨冬. 增强现实中三维跟踪注册技术概述[J]. 计算机工程与应用, 2019, 55(21): 26-35. HAN Yu-ren, LI Tie-jun, YANG Dong. Overview of 3D Tracking Registration Technology in Augmented Reality[J]. Computer Engineering and Applications, 2019, 55(21): 26-35.

[10] 黄铭明, 苏其瑜, 曾维, 等. 下颌骨骨折虚拟手术培训系统研究[J]. 计算机工程与应用, 2018, 54(23): 223-229. HUANG Ming-ming, SU Qi-yu, ZENG Wei, et al. Research of Virtual Surgery Training System of Mandibular Fracture[J]. Computer Engineering and Applications, 2018, 54(23): 223-229.

[11] ZHANG Yan-xiang, WANG Ruo-yi. A Study on the Effects of Head Mounted Displays Movement and Image Movement on Virtual Reality Sickness[C]//2020 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW). Atlanta, GA, USA. IEEE, 2020: 630-631.

[12] DE SÁ M, CHURCHILL E. Mobile Augmented Reality: Exploring Design and Prototyping Techniques[C]// Proceedings of the 14th international conference on Human-computer interaction with mobile devices and services. San Francisco, California, USA. New York: ACM, 2012: 221-230.

[13] 吴东, 孔祥朋, 杨敏之, 等. 深度学习卷积神经网络在髋关节翻修术前CT分割领域的研发与初步应用[J]. 中华骨科杂志, 2023(1): 62-71. WU Dong, KONG Xiang-peng, YANG Min-zhi, et al. The Development and Primary Application of a Deep Learning Convolutional Neural Network in the Field of Revision Total Hip Arthroplasty CT Segmentation[J]. Chinese Journal of Orthopaedics, 2023(1): 62-71.

[14] OTSU N. A Threshold Selection Method from Gray- Level Histograms[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1): 62-66.

[15] MCCORMACK J, O’DONNELL G, MCHUGH P. CT image segmentation methods for bone used in medical additive manufacturing[J]. Journal of Manufacturing Processes, 2017, 27: 25-34.

[16] TASSANI S, KORFIATIS V, MATSOPOULOS G K. Influence of Segmentation on Micro-CT Images of Trabecular Bone[J]. Journal of Microscopy, 2014, 256(2): 75-81.

[17] LI Jian-wei, ZHAN Jia-wang, ZHOU Ting, et al. Point Cloud Registration and Localization Based on Voxel Plane Features[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2022, 188: 363-379.

Practical Augmented Reality Navigation Method for Hip Joint Puncture Surgery

CHEN Shu1, LI Kai-rong2, ZHANG Nan-xin3, MENG Gang4

(1.College of Physics and Information Engineering, Fuzhou University, Fuzhou 350108, China; 2.Faculty of Humanities and Arts, Macau University of Science and Technology, Macau 999078, China; 3.First Affiliated Hospital, Fujian Medical University, Fuzhou 350004, China; 4.Nanjing University of Technology, School of Art and Design, Nanjing 211899, China)

The work aims to utilize mature technological routes and functional integration to achieve non-invasive practical bone augmented reality (AR) navigation for hip joint puncture surgery. The automatic segmentation method based on neural networks was adopted to segment bone images from existing clinical CT image data and perform 3D volume reconstruction. Virtual reality development methods were used to achieve surgical navigation functions.In this work, a CT scanning method and the registration device design for AR were implemented, and a practical 3D automatic reconstruction function of bone tissue based on CT images was developed. AR preview of bone tissue registration with real human bodies was successfully achieved. The entire process validation from clinical CT image acquisition to real-time bone display for real human registration was completed. This study provides a new technical route and method for non-invasive bone navigation, demonstrating the feasibility of quickly achieving virtual bone and real skin registration display under non-invasive conditions. The results of this study provide new ideas and references for clinical orthopedic surgery, and can provide technical support and reference for surgical navigation research in other fields of surgery.

augmented reality (AR); surgery navigation; orthopedic; hip joint

TB472

A

1001-3563(2023)12-0430-08

10.19554/j.cnki.1001-3563.2023.12.051

2023–02–05

福建省自然科学基金“基于机器学习的胰腺图像自动三维重建方法研究”（2022J01992）；福建省自然科学基金对外合作项目“基于增强现实的可视化实时引导技术在前交叉韧带骨隧道精准定位中的研究”（2023I0014）

陈纾（1980—），男，博士生，副教授，主要研究方向为数字媒体技术，产品创新设计思维及方法。

孟刚（1979—），男，博士，副教授，主要研究方向为产品视觉创新设计思维及其方法。

责任编辑：马梦遥