ACL重建手术增强现实导航系统的人机交互技术

郭 娜，王田苗，2，胡 磊，刘洪升，王昱涵，俞国鑫，宋雄康，耿宝多，杨 标

1.北京航空航天大学 机械工程及自动化学院，北京 100191

2.北京航空航天大学 医工交叉创新研究院，北京 100191

3.苏州铸正机器人有限公司 基础研发部，江苏 苏州 215000

1 引言

膝关节前交叉韧带（Anterior Cruciate Ligament，ACL）断裂后不能进行有效治疗，会对患者的生活质量造成严重影响。关节镜下的ACL重建手术最常用的手术方式。但是，由于保留ACL 残迹会增加骨道定位的难度，传统的关节镜下ACL重建手术，要求必须完全清除ACL 残迹。而保留残迹的ACL 重建是ACL 重建手术的发展趋势[1-3]。增强现实（Augmented Reality，AR）技术是增强微创手术环境感知的有效方法，不仅可以在保留残迹的情况下，辅助医生进行精准的靶点定位，提高术后的康复效果以及患者的生活质量，还可以为医生提供丰富的解剖结构，扩大医生的手术视野，降低手术难度。近年来，随着计算机技术、图像处理技术的发展，AR 技术逐步应用到腹腔镜手术、脑外科、神经外科、耳鼻喉科手术、牙科以及骨科等临床外科手术当中[4-11]。

增强现实导航系统具有以下三个特征[12]：（1）虚实融合；（2）精确的“对齐”；（3）实时交互。其中，人机交互是增强现实系统区别于传统导航系统的重要特征。根据交互方法，增强现实系统中的人机交互技术可以分为[13]：基于传统的硬件设备的交互技术（鼠标、键盘、手柄）、基于语音识别的交互技术、基于触控的交互技术[14]、基于动作识别的交互技术[15-18]、基于眼动追踪的交互技术、基于脑机接口的交互技术[19-20]。尽管外科手术导航系统的应用已有二十多年了，但是受硬件技术的制约，目前的交互技术在稳定性、感知能力和反馈能力等方面仍存在缺陷。增强现实导航系统，尤其是基于光学透视的增强现实系统与传统的人机界面有很大的不同，其信息通道更为多样化，因此交互方式与传统的人机界面有很大的不同。更为重要的是，外科手术不同于其他应用场景，对无菌有极高的要求。此外，在外科手术中，医生处于高度紧张状态。因此，流畅、舒适的人机交互十分必要。

人机界面中的多余信息有可能会分散医生精力，使医生产生“失控感”[21]。文献[22]根据传统的人机交互通用设计原则提出了AR系统人机交互的通用设计原则：自解析性、较低的认知负荷、较低的体力需求、易学性、较高的用户满意度、灵活可用、实时响应以及较高的错误容忍度。但是其他学者认为增强现实系统不仅应该结合软硬件设备与应用场景给出具体的指导原则[23]。因此，有必要研究增强现实手术导航系统中的人机交互的准则。

GOMS 模型是人机交互领域最常用的交互模型。但是GOMS 模型是一种脱离实际应用的模型[23-24]。AR系统的操作模式可能是模糊的、不确定的[25]。因此，有必要研究多通道信息交换的人机交互模型。

主流的人机交互的评价是以用户为中心的设计和评估；在工业和自动化领域也有符号学和Fitts 定律法[26]。增强现实导航技术是一门新型学科，目前尚未有比较成熟的评价方法，而且增强现实导航系统的人机交互任务涉及多种设备和传感器，交互任务复杂，因此，传统的人机交互评价方法不适用。

本文搭建了基于HoloLens的ACL重建手术导航系统，结合围手术期的医生认知模型，提出了外科手术增强现实导航系统的人机交互原则。同时，针对多信息融合问题，采用eGOMS 模型对导航系统的人机交互任务进行建模。为科学客观地评价人机交互的性能，采用综合评价理论中最常用的层次分析法和模糊分析法，对人机交互系统进行综合评估。

2 基于光学透视的ACL重建手术导航系统

2.1 手术导航系统

2.1.1 系统结构

如图1 所示，本文提出了一种基于HoloLens 的增强现实导航系统。该系统包括CT 机、C 型臂、PC 机、Micron Tracker 以及 HoloLens。如图2 所示，基于增强现实技术的ACL 导航系统的九大模块之间的关系如下：位置跟踪模块为整个系统提供各个跟踪目标的位置信息（标定器、手术目标、标定块以及HoloLens），位置信息由Micron Tracker采集，通过UDP协议传输给其他模块；C型臂空间注册模块可以实现X光图像与手术空间的注册，其注册结果可以为2D-3D配准模块提供参数支持；2D-3D 配准模块可以实现术前CT 图像与术中X 光图像的配准；虚实配准模块可以实现虚拟空间和真实场景之间的空间配准；可视化显示模块可以根据虚实配准与图像配准的结果，将虚拟模型、路径规划等信息与真实场景融合显示；三维重构模块可以实现术前CT 图像的三维重构，为2D-3D 配准、路径规划以及可视化显示提供三维数据模型。

图1 ACL重建系统增强现实系统结构图

图2 ACL重建手术导航系统模块关系图

图3 基于增强现实的ACL重建手术导航流程

2.1.2 导航流程

如图3所示，基于增强现实技术的ACL导航系统的使用流程如下。

（1）术前处理

①对HoloLens的工作空间进行离线标定。

②目标区域CT扫描。

③对术前CT数据进行分割与重构，获取股骨和胫骨的STL模型。

④在分割出的STL模型上，进行手术路径规划。

（2）术中导航

①拍摄X 光，对C 型臂进行空间标定[27]，将标定结果与X光图像传输给2D-3D配准模块。

②在2D-3D配准模块中，导入术前的CT数据与分割的STL 模型，调整STL 模型与X 光的初始位置，进行2D-3D图像配准[28]，配准结果传输给可视化现实模块。

③对HoloLens进行在线标定[29]。

④增强显示，导航跟踪。

2.2 空间配准技术

2.2.1 基于锥形螺旋线的C型臂标定器

如图4 所示，为提高点对配准的空间注册精度，本文采用一种基于锥形螺旋线的C 型臂标定器对C 型臂进行标定。在手术靶点附近，该标定器相比与传统的双平面标定器，标定精度更高[27]。

图4 标定器

2.2.2 基于Splat的2D-3D图像配准

为实现术前CT 图像与数字X 图像的空间统一，如图5所示，采用基于DRR投影的2D/3D自动配准方法策略。DRR 重建、相似度准则、参数优化算法是2D/3D 配准过程的重要组成。通过、配准精度、配准时间以及配准成功率对不同的方法进行对比分析，基于Splat-SRCGD的2D/3D的配准策略的综合表现最佳[28]。

图5 基于DRR的2D-3D配准模型

2.2.3 基于空间补偿的虚实标定

为实现快速的在线标定，通过分析HoloLens 的工作空间（如图6所示），将标定过程分解为离线标定和在线标定[29]。离线标定过程通过对工作空间中的关键点的采样，然后采用线性插补模型对非采样点的转换矩阵进行插值，实现对整个工作空间的标定。在线标定是通过对工作空间中心的采样，然后通过对转换矩阵的空间补偿，实现HoloLens 的在线快速标定。该在线交互标定方法与传统的外部跟踪标定法的标定精度相当，但在线标定时间更少。

图6 HoloLens的工作空间

2.3 人机交互技术

2.3.1 人机交互界面

在Unity3D进行场景开发，系统的人机交互界面如图7所示。导航系统人机交互的主要任务包括：虚实配准、虚实融合、导航跟踪。导航跟踪方式的设置可以通过语音或手势来确认，不涉及通道整合问题。标定块的虚实对齐、虚实融合目标的可视性设置需要涉及多通道操作者的整合。

图7 人机交互界面

2.3.2 人机交互模型

本文采用eGOMS模型[23]进行人机交互任务分析，实现多通道信息的整合。其中，G代表目标Goals、O代表操作Operations、M代表多通道信息Modals、S代表信息整合Synthesization。根据eGOMS模型，标定块的虚实对齐、虚实融合目标的可视性设置的交互模型如图8所示。

图8 AR导航系统人机交互模型

3 基于认知模型的人机交互准则

3.1 围手术期的医生认知模型

主刀医生是外科手术成功的关键，其认知行为模型、情绪和体力对手术的成果有重大影响[30]。在外科手术中，尤其是像ACL重建手术的运动医学手术中，手术只是整个治疗的一个环节。如图9所示，本文分析了围手术期的医生的认知行为模型：保留前交叉韧带的残迹对术后康复效果有很大的提升；术后的疗效评估结果对医生的提高手术技能、提高手术的疗效也有重要的促进作用；医生对解剖结构的熟悉程度也会影响手术的效果。因此，采用增强现实的主要目的是为医生提供丰富的解剖信息，提高其对膝关节解剖结构的认知，能实现在保留ACL残迹的情况下，进行ACL骨道的精准定位。

图9 围手术期的医生的认知行为模型

3.2 外科手术导航系统人机交互准则

本文采用Microsoft HoloLens 作为AR 显示设备。Microsoft HoloLens不仅可以完成基于光学透视的虚实场景叠加，还可进行语音、手势交互。但是，作为头戴式设备，其位置并不固定。因此，基于HoloLens 的ACL重建手术导航系统满足以下特征：（1）光学透视式AR；（2）移动式AR；（3）导航式 AR；（4）多感官AR。基于OST-AR技术的外科手术导航系统不仅要满足传统手术导航系统的交互准则，也要满足AR 交互方式的准则。因此，AR手术导航系统的人机交互规则主要包括：

（1）虚实配准一致性——虚拟物体与真实场景应有效融合，尽量减小虚拟物体的扭曲变形、跟踪误差和用户视角的参数错误[31]。

（2）用户的安全感——基于VST-HMD 的外科手术导航系统的最大问题就是，医生无法用眼镜直视真实场景，因此存在一定畏惧感。尽管医生可以通过OST-HMD观察到手术场景，但是基于OST-HMD的导航系统仍存在虚实遮挡问题，在术中不利于医生的观察手术现场。因此，AR系统不应遮挡用户的感兴趣区域[32]。

（3）信息的有效性——为避免多余的信息分散用户的精力，应对信息进行分类管理，虚拟信息要有较高的对比度、文本提示内容清晰、标注信息具有深度显示、信息可见性可以选择。

（4）低认知负荷——操作尽可能采用通用交互习惯，减少用户使用系统的学习周期，不增加其认知负荷。

（5）精准的靶点定位——能精准地定位手术靶点，提高手术的效果。

（6）实时的跟踪导航——能实时跟踪目标的位置，并给用户指示操作方向[33-34]。

4 人机交互的可用性评估

4.1 基于层次分析法的可用性评价指标

（1）评价指标

根据国际标准化组织提出的ISO9241-11标准，可用性是指特定用户在特定的使用背景下，使用某个产品达到特定目标的有效性、效率和满意度。目前，有些学者开展了针对虚拟现实系统的可用性评估[23，35]。但针对增强现实导航系统交互的可用性研究尚无。结合3.2节提出的人机交互准则，参考虚拟现实界面可用性评价方法，AR导航系统人机交互的可用性评价主要如下[36]。

①任务绩效：是指系统能否满足任务需求。本文中任务绩效主要是指错误率。出错率，是指不能实现预定目标的操作。出错率的测量，是通过统计出现错误的情况在总任务完成的比例。

②适当性：是指增强显示的虚拟信息应适当，尽量减小冗余信息，提高医生的注意力，本文中适当性包括医生最关心的虚拟信息与系统提供的虚拟信息的比率，最关心的虚拟信息的提示性是否突出。

③易用性：指系统操作应该简单方便，在需要的情况下能够获得有效帮助，并且具有一定的容错能力简单性、帮助性。本节主要通过系统的符号复杂度、操作深度、操作总量来衡量交互操作的易用性[37]。系统的符号复杂度，包括符号的种类和符号的总体数量。不同功能下，系统的符号复杂度差别较大，为更好地给出评价等级，本文将基于HoloLens 的增强现实导航系统与成熟的导航系统产品进行对比。系统的符号复杂度修正为增强现实系统的符号复杂度与BrainLab 系统符号复杂度的比例。操作的深度，指完成一个具体的功能及操作需要在几种不同的界面和环境中切换才能完成，本文中是指所有要实现的功能中最多操作界面切换；操作工作总量，完成一个具体的功能和操作需要点击次数加上编辑符号的数量，从而衡量系统的交互效率。

④易学性：是指医生可通过少量学习，就可以使用系统。本文中主要通过新知识的比率与学习时间两方面来进行评价。

⑤交互性：是指强调自然、真实的交互体验。本文中主要包括自然性、直接性、结果可预知性。

（2）指标权重

AR导航系统人机交互的可用性评价包含多个评价指标。为科学评价AR导航系统人机交互的可用性，采用AHP来确定各评价指标的权重。各指标的层次模型如图10。

通过5名专家对各指标的重要性进行打分，得到判断矩阵如下：

图10 AR导航系统可用性评价指标层次模型

一致性检验指标CR以及CRi分别为：0.037 1，0，0，0.006 1，0，0.002 8。各层次一致性检验指标均小于0.1，故全部通过检验。其中，i=1,2,3,4,5

如果λ和λi分别是矩阵A和Bi对应的最大特征根，x和xi分别是矩阵A和Bi对应的特征向量。将ε和εi分别归一化，得到向量θ和θi。如果xi表示向量θ的元素，yij表示向量θi的元素，将各分层的权重进行合并计算，可得到各二级指标的综合权重为：xji=yij×θi。各指标权重如表1所示。

表1 可用性指标权重

4.2 基于模糊理论的综合评价

模糊评价法是以模糊数学为基础，应用模糊关系的合成原理，将一些边界不清、不易定量的因素定量化，从多个因素对被评价事物隶属等级状况进行综合评价的一种方法。

（1）确定评价因素集合及评价等级集

人机交互的性能划分为5个等级，V={很好，较好，一般，差，很差}。

（2）单因素评价

在采用模糊理论进行综合评价时，需要通过隶属度函数进行模糊集合的量化。根据可用性评价评价指标的特点，本文采用梯形/半梯形隶属函数。由专家根据经验给定，各指标边界如表2所示。

表2 可用性评价指标边界值

新知识率、关键信息率、系统的符号复杂度、操作深度及操作工作总量可根据定义进行计算，计算结果分别为18%、85%、95%、3、4。出错率、关键信息率、提示性、自然性、直接性、结果可预知性、学习时间采用调研法，由8名专家进行打分。根据隶属度函数以及测评结果，可用性评价指标隶属于评价等级的测度值如表3所示。

表3 可用性评价指标隶属于评价等级的测度值

（3）综合评价结果

结合表3 的数据，得到相应的模糊综合评价矩阵。根据4.1 节的结果中各指标的权向量，采用加权平均算子作为模糊合成算子，进行模糊合成。

先对二级指标进行模糊合成：

其中，i=1,2,3,4,5。Wi表示二级指标的权重，Ri表示评价等级测度，S表示第i个一级指标中二级指标的个数。

再对一级指标进行模糊合成，模糊合成的综合评价向量为：

模糊综合评价向量的结果为：

依据最大隶属度原则，AR 导航系统人机交互的可用性评价等级为较好，具有较好的任务绩效、适当性、易学性、易用性和交互性。

5 总结

通过对围手术期的医生认知模型的分析以及虚拟现实系统人机交互准则的调研，提出了基于OST-AR技术的外科手术导航系统的人机交互的设计准则。针对AR 导航界面的多感官信息融合问题，提出了基于eGOMS 模型建立了AR 导航系统的人机交互范式。为客观评价AR导航系统的人机交互可用性，本文采用层次分析法建立了人机交互的可用性评价指标体系，提出了任务绩效、适当性、易学性、易用性和交互性5个一级评价指标，以及出错率、关键信息率、提示性、符号操作复杂度、操作深度、操作总量、新知识率、学习时间、自然性、直接性、结果可预知性11个二级指标。最后采用模糊理论对AR 导航系统的人机交互可用性进行综合评价，该系统的评价结果为较好，可以进行实际医用。