基于眼动追踪的AR 辅助装配指示符号影响机制研究

吴磊，苏瑶，盛芹芹，王峻峰

（华中科技大学 机械科学与工程学院，武汉 430074）

随着信息技术的飞速发展，数字制造被认为是减少产品开发时间和成本，提高产品质量和更快响应市场需求的新兴技术。增强现实（AR，Augmented Reality）将计算机生成的信息叠加在真实环境中，可帮助模拟、辅助和改进制造过程，是创新有效的数字化解决方案。在增强现实系统中，将计算机生成的虚拟元素与人所在的真实场景相融合互通，是新兴的交互场景。AR 技术可以与人类的认知能力相结合，通过AR 系统提供有效的工具协助制造过程，在航空业、核工业、维护和制造领域已有应用案例。AR 交互界面在真实环境中叠加了与环境相关的图形内容和文本描述，以视觉指令的形式出现，其信息显示和图像叠加是上下文的互相关联，显示内容取决于观察到的对象。然而，当前AR 辅助装配的视觉符号设计尚没有通用的标准，如何解决AR 辅助装配中指示符号的认知和用户体验问题，成为研究重点。本文以AR 辅助机械装配的指示符号为例，从人类本源的视觉认知机理出发，采用眼动追踪方法对增强现实环境下辅助装配符号维度与状态进行量化分析与评估，进而提出AR 环境下辅助装配指示符号的交互设计策略。

1 AR 辅助装配指示符号研究现状

在AR 辅助装配和维护技术领域，魏巍等人[1]详细阐述了跟踪配准技术、实时交互技术、虚实融合技术在辅助装配系统中的实现方法。徐迟等人[2]从数据和工作流程方面提出并分析了扩充装配手册的两阶段应用，并在工作站环境下开发了用于增强装配应用的内容创作和内容可视化系统。李旺等人[3]采用六种方式对装配工艺进行可视化表达，应用XML 开发出一种具有三层信息结构的增强装配工艺编辑原型系统。杨振[4]发现AR 辅助可以缩短整体装配任务和子任务的时间，并减少这些任务中的错误。宋春雨等人[5]通过解决移动端注册算法的实时性等问题，开发实现了移动AR 齿轮油泵装配环境下虚实场景融合效果。赵阳等人[6]在AR 环境下，通过Kinect 进行手势交互，对汽车发动机进行装配，实现了发动机装配序列的呈现，极大地增强了用户对真实场景的直观感受。闫甲鹏等人[7]基于Android 移动终端建立了齿轮油泵移动AR 装配系统，实现了装配系统虚实场景的融合，且融合场景沉浸感较强。詹松涛等人[8]利用移动AR 技术辅助引导布线，通过研究视觉跟踪算法的多坐标系转换的三维注册配准算法、无标识注册技术和移动终端AR 辅助布线的交互方式，实现信息的有效引导及良好的交互体验。Giulia 等人[9]提出一种将操作任务转换为二维符号以在AR 中传达指令的方法，能降低用户的心理负担，无需跟踪即可工作。

在虚拟环境符号的研究领域，Nagel[10]通过图像动态可视化方法提高VR 场景中的图像与使用场景融合度，并在不同的环境和数据复杂度中适当将可视化图形简化提高可用性。而Granum[11]就VR 用户与3D视觉对象之间的感知问题进行了讨论，并建议将图形对象大小保持恒定以支持VR 的深度感知，对象大小也是空间距离单位的参考感知条件，应该在近距离上增添例如表面纹理等属性以触发感知分组。在场景视觉认知方面，Itti 等人[12]提出Neuromorphic Vision Toolkit（NVT）模型，该模型包括底层颜色、强度、方向和闪烁特征的自下而上计算，探讨了复杂环境中的神经形态模型。Lu 等人[13]提出使用AR 设备呈现的图像可能会降低视觉搜索性能，通过两个视觉搜索实验调查了背景复杂度，指示符号的不透明度、大小和形状对视觉搜索性能的影响，得出了可供AR 研发人员参考的数据。Palmarini[14]根据工业维护的关键绩效指标来探讨和量化了AR 的优缺点，提出了跟踪和工业维护中的用户AR 交互问题。

AR 辅助装配指示符号的用户体验问题越来越受到学者的关注，Giles 等人[15]将AR 图形与智能辅导系统相结合，开发出了用于智能AR 培训系统的模块化软件框架。评估发现智能AR 系统将测试分数提高了25%，任务性能提高了30%。该研究表明与更传统的AR 培训相比，使用智能AR 指引可以显著改善学习效果。Santos 等人[16]创建了一个由可理解性和可操作性量表组成的手持AR 系统可用性量表，并用四个实验评估了问卷的有效性和可靠性。这项研究对于AR系统的可用性研究的推进具有重要意义。Deshpande等人[17]通过在HoloLens 耳机上开发AR 应用程序并进行测试实验发现AR 程序在解决空间问题和心理表现有关的行为指标时产生积极影响。Lei 等人[18]研究了AR 培训对于不同经验程度和性别的影响，实验证明AR 帮助男性学员更快学习组装例程，并对女性组装者而言更有效。Lei 等人[19-20]通过对50 个被试使用AR 组装LEGO 模型进行了两组实验，探讨了AR 辅助动画在促进对参与复杂系统组装的人员的学习和培训方面的有效性。实验结果表明，使用动画AR 系统时，由于认知促进的积极作用，受训者的学习曲线显着改善，并且犯错的次数更少。

综上所述，当前AR 可视化研究多为技术层面的解决方案，对于AR 中设计本身的可用性和用户体验还很少被关注，已有的关于AR 辅助装配产品的可用性问题的部分研究，主要集中在认知绩效和沉浸式体验方面。当前涉及增强现实环境的符号可用性研究较为欠缺，尤其是没有针对AR 辅助机械装配符号的交互设计展开深入的研究。

2 AR 辅助装配指示符号影响机制研究方法

2.1 实验变量

本研究遵守机械装配符号设计的相关规范，选取符合用户认知的指示符号设计方案。在此基础上探讨指示符号不同表现形式下的用户体验，得出符合用户体验的AR 辅助装配指示符号不同表现形式的影响机制。采用双因素（2×2）眼动实验设计，实验自变量为指示符号的维度（2D、3D）和状态（静态、动态）。实验因变量为任务过程中被试对指示符号AOI（Areas of Interest，兴趣区）的首次注视时间、总注视时间、装配任务时间、主观评分。在实验中，指示符号的总注视时间反映认知负荷，首次注视时间反映视觉凸显性；实验过程中的装配任务时间反映装配效率；装配任务完成度和装配错误次数反映装配质量；实验后的满意度评分和美感评分反映了被试的主观评价。实验要求被试者佩戴眼镜式眼动仪完成典型装配任务，记录操作过程中的眼动数据，并在实验后完成主观问卷。

2.2 实验假设

H1：指示符号的维度和状态对指示符号的认知负荷有显著影响；

H2：指示符号的维度和状态对指示符号的视觉凸显性有显著影响；

H3：指示符号的维度和状态对装配任务的装配效率有显著影响；

H4：指示符号的维度和状态对装配任务的装配质量有显著影响；

H5：指示符号的维度和状态对被试的主观评价有显著影响。

2.3 实验被试

实验选取汽车发动机作为装配实验载体，被试选取工程类专业的硕博士研究生共计83 人，被试矫正视力正常，无色盲色弱情况，均为右利手。通过眼动数据结果筛选，剔除采样率较低的样本23 份，最终得到60 份有效眼动数据，有效数据中男性被试48 人，占比80%，女性被试12 人，占比20%；被试年龄分布为18～25 岁占比88.3%，26～30 岁占比为10%，31～40岁占比为1.6%。

2.4 实验设备

实验采用Tobii Glasses 2 眼镜式眼动仪。实验地点为机械学院工业工程实验室。实验场地的主要设备有：实验监视屏幕、装配台、AR 图像捕捉摄像头、装配信息显示屏、实体发动机、工具栏、配件栏，眼动实验场地见图1。

图1 眼动实验场地Fig.1 Eye tracking experiment platform

2.5 实验材料

实验材料设计分为四个组合类别，分别为2D 静态指示符号、2D 动态指示符号、3D 静态指示符号、3D 动态指示符号。实验材料中，装配辅助指示符号的显示尺寸为140 pixels×140 pixels，装配界面的总显示分辨率为1366 pixels×768 pixels，眼动追踪装配实验图标素材见图2。

图2 眼动追踪装配实验图标素材Fig.2 Indicator symbol stimulus in eye tracking experiment

本实验主要包含装配操作任务和主观问卷两个部分，首先，实验正式开始前，向被试介绍实验目的和流程，被试仔细阅读实验指导语；紧接着进行眼动仪调试和校准，进入练习程序，被试完成装配操作练习，确认操作符合流程后进入正式实验。实验正式开始，要求被试阅读任务名称后点击界面“开始操作”按钮，进入装配界面进行装配操作；操作完成后点击“操作完成”完成一个实验任务，然后切换下一个实验任务，直至完成全部6 个眼动实验任务；最后，操作任务完成后填写主观问卷，实验完成。机械装配实验流程见图3。

图3 机械装配实验流程Fig.3 Mechanical assembly experiment flow

3 AR 辅助装配指示符号眼动数据分析

实验采用眼动追踪对AR 辅助装配指示符号进行科学地评估与分析，主要分析统计数据如下：眼动仪记录AOI 内的首次注视时间（Time of first fixation）、总注视时间（Total duration of fixation），同时使用了主观评分采集被试的反馈。

3.1 眼动热区分析

视觉兴趣区（AOI，Area of interest）主要反映被试在操作任务中对操作视野注视和关注的区域，红色代表浏览和注视最集中的区域，黄色和绿色代表目光注视较少的区域。研究表明，被试的注视点主要集中在界面指示符号区域、实体发动机任务执行区域和工具栏区域。任务开始后，被试的主要视觉浏览顺序首先是界面指示符号区域，其次是工具栏区域，最后是实体发动机任务执行区域，信息呈现方式眼动实验视觉搜索热区见图4。

图4 信息呈现方式眼动实验视觉搜索热区Fig.4 Hot area of visual search for information presentation in eye movement experiments

3.2 首次注视时间分析

首次注视时间表示指示符号的视觉凸显性，表示从进入装配任务的系统界面开始到被试的注视点出现在兴趣区的时间，表示指示符号刺激引起被试视知觉的显著性程度。首次注视时间柱状图见图5。对数据进行二维组间方差分析，结果表明，指示符号的状态主效应显著，（F=15.670，P<0.05，偏η方=0.044），其中静态指示符号的首次注视时间均值（2.027 s）明显高于动态指示符号的首次注视时间均值（1.415 s）。指示符号的维度主效应不显著（F=0.075，P=0.784>0.05，偏η方=0.000）。指示符号的状态与维度的交互效应不显著（F=2.297，P=0.131>0.05，偏η方=0.007）。

图5 首次注视时间柱状图Fig.5 Histogram of first fixation time

结果表明，动态图标的视觉凸显性更强。交互式界面中图形符号的移动通常通过动态效果来体现。当移动的物体对大脑产生持续的刺激时，大脑将根据刺激产生条件反射，从而引起大脑更多的注意力[21]。在具体的应用场景设计师应根据具体设计需求对界面信息进行视觉层次划分。在单一符号指令场景下，使用动态图标更易引起用户的注意。但过多的高视觉凸显性符号同时展现，可能会引起视觉混乱从而降低产品的用户体验。

3.3 总注视时间分析

在机械装配任务中，被试对指示符号兴趣区内的总注视时间越长，表明其提取信息语义越困难，认知负荷越大，符号总注视时间柱状图见图6。对数据进行二维组间方差分析，结果表明，指示符号的状态主效应显著，（F=101.452，P<0.05，偏η方=0.253），其中静态指示符号的总注视时间（2.565 s）明显低于动态指示符号的总注视时间（4.933 s）。指示符号的维度主效应显著（F=9.645，P<0.05，偏η方=0.031），2D 指示符号的总注视时间（3.384 s）明显低于3D 指示符号的总注视时间（4.114 s）。指示符号的状态与维度的交互效应不显著（F=2.325，P=0.128>0.05，偏η方=0.008）。

图6 符号总注视时间柱状图Fig.6 Histogram of total duration of fixation

上述结果表明，动态3D 指示符号的总注视时间大于其他指示符号，其认知负荷在各类指标的统计结果中最大。因为动态符号承载的信息量更大，用户需要更多的时间来解释动态符号的含义，动态符号更易出现歧义。在实际应用场景中，应同时考虑设计所需表达的信息量，在最佳信息传达前提下进行抉择。随着动态3D 的设计手法更广泛地被应用，人们对新表达形式带来的学习成本将会越来越低，也将影响着认知负荷的变化。

3.4 装配任务时间分析

装配任务时间指实验中完成每一项装配任务所用的时间。同一装配任务的装配任务时间越长，表明单位时间的装配效率越低，装配任务时间柱状图见图7。对数据进行二维组间方差分析，结果表明，指示符号的状态主效应显著，（F=4.731，P<0.05，偏η方=0.015），其中静态指示符号的装配任务时间（19.266 s）明显高于动态指示符号的装配任务时间（17.878 s）。指示符号的维度主效应不显著（F=0.056，P=0.814>0.05，偏η方=0.002）。指示符号的状态与维度的交互效应不显著（F=0.056，P=0.814>0.05，偏η方=0.000）。

图7 装配任务时间柱状图Fig.7 Histogram of assembly task time

上述结果表明，动态指示符号的任务完成效率更高。动态效果可以提高人们的视觉注意力，增加愉悦的心理体验，同时也可以增强人们的紧迫感，在警示信息设计上也常用动态展示手法。对比而言，静态符号不容易让人感受到时间流逝，动态符号会让人产生一种催促感，从而更快完成任务。通过相关性分析证明，认知负荷与装配效率在一定区间内呈正相关，即认知负荷越高，装配效率越高。由此，从整体任务完成角度而言，虽然动态符号的注视时间消耗较大，但是最终使被试在更短的时间内完成任务。

3.5 装配质量分析

实验中，装配质量由装配任务完成度和装配错误次数两个部分构成，装配任务完成度指装配任务的最终完成程度，以主观问卷量表的形式进行度量。装配错误次数是装配任务过程中的操作错误次数的总和。装配错误记录主要有：工具选择错误、工具使用错误、装配位置错误、装配方式错误、遗漏配件，由专业实验记录员记录，每错误一次计1 分。

1）装配任务完成度评分。在实验中，装配任务完成度评分满分为5 分，分数越高，用户完成度越高。对装配任务完成度评分进行二维组间方差分析，结果表明，指示符号的状态主效应显著，（F=5.921，P<0.05，偏η方=0.016），其中静态指示符号的装配任务完成度评分（4.546）明显高于动态指示符号的装配任务完成度评分（4.232）。指示符号的维度主效应不显著（F=1.090，P=0.297>0.05，偏η方=0.003）。指示符号的状态与维度的交互效应不显著（F=2.365，P=0.125>0.05，偏η方=0.007）。

2）装配错误次数记录。对装配错误次数进行二维组间方差分析，结果表明，指示符号的状态主效应显著，（F=9.614，P<0.05，偏η方=0.026），其中静态指示符号的装配错误次数（0.224 次）明显低于动态指示符号的装配错误次数（0.430 次）。指示符号的维度主效应不显著（F=0.863，P=0.353>0.05，偏η 方=0.002）。指示符号的状态与维度的交互效应不显著（F=0.950，P=0.330>0.0，偏η方=0.003）。

上述结果表明，四类指示符号中装配质量最高的是静态2D 指示符号，装配质量最低的是动态2D 指示符号。用户认知负荷与装配质量呈负相关，认知负荷越高，装配质量越低，由此，从任务完成结果和任务过程的认知负荷角度，静态符号均为最佳选择。国外相关符号的研究显示，符号的动效的动态展示方式和显示持续时间也会影响任务完成质量。当因受其他因素影响，需要使用动态符号时，可以调整符号的动效的动态展示方式和显示持续时间以达到高质量完成任务的目的。

3.6 主观评价分析

通过问卷收集被试对实验任务中指示符号的主观满意度，对满意度进行5 点评分，评分从高到低依次为：静态2D 指示符号（4.44），静态3D 指示符号（4.33），动态2D 指示符号（4.31），动态3D 指示符号（4.00）。从状态和维度两个角度来看，静态指示符号（4.39）的满意度高于动态指示符号（4.16）；2D指示符号（4.38）的满意度高于3D 指示符号（4.16）。

通过问卷收集被试对实验任务中指示符号的主观审美评分，对美感进行5 点评分，评分从高到低依次为：动态2D 指示符号（3.88），静态3D 指示符号（3.87），动态3D 指示符号（3.75），静态2D 指示符号（3.67），四种类型的整体评分差异较小。从状态和维度两个角度来看，静态指示符号评分为3.76，动态指示符号评分为3.81，静态指示符号的美感低于动态指示符号；2D 指示符号评分为3.76 分，3D 指示符号评分为3.81，2D 指示符号的美感度低于3D 指示符号。上述结果表明，动态效果可以提高人们的视觉注意力，增加愉悦的心理体验，并在显示界面的层次关系中增强界面的交互活力，这些特点都满足了当代社会对信息传播的需求，这使动态和3D 两大要素将在未来的设计中被人们更广泛和频繁地使用，同时关于动态和3D 的设计将会有更佳的用户体验。

4 AR 辅助装配指示符号设计策略

通过眼动实验研究系统评估了2D、3D 和静态、动态四种条件下，在AR 机械装配场景中完成典型机械装配任务，获得有关不同条件下交互体验的反馈。研究表明，指示符号的维度和状态对指示符号的认知负荷有显著影响，在任务认知负荷较高的条件下，应该优先采用静态和2D 指示符号，其效果优于动态和3D 指示符号。指示符号的状态对指示符号的视觉凸显性、装配效率、装配质量和主观评价都有显著影响。当任务需要增强视觉凸显性和装配效率时，应该优先使用动态指示符号，其效果优于静态指示符号；当任务需要提高装配质量和主观评价分数时，应该优先使用静态指示符号，其效果优于动态指示符号。对于特定的交互任务或具体的设计目标，不同需求的设计策略优先级推荐见图8。

图8 不同需求的设计策略优先级推荐Fig.8 Priority recommendation of design strategies for different needs

根据眼动实验结果和上述分析，总结提出AR 辅助装配指示符号设计策略和指导原则。设计的本质是帮助用户解决工作和生活中的问题，当设计师考虑选择在特定应用场景中运用何种表现方式时，应该充分考虑设计需求。例如需在用户无压力下高质量完成任务或者需用户紧张高效地完成操作等，不同场景的设计需求是不同的。例如，用动态符号来表达目标主体变化的过程是一种直接的信息可视化手段，3D 符号则具有更高的具体性，能使用户快速建立符号与真实场景之间的映射。当符号设计中涉及动态、3D 等表达方式时，需要考虑信息表达的准确性，以动态符号的形式来表达力的强度、操作的方向、时间的长短等信息时，要参照语境使得符号的动态参量与真实场景之间建立正确的映射关系，避免引起歧义，误导用户行为。在动态的符号设计过程中，符号的颜色、透明度、尺寸、旋转角度和几何形态，动效的变化速率、频率、变化次序、发生时长都影响着动态符号语义的表达。适当的变化速率能加强视觉凸显性，但容易丢失符号的细节。这些变量在一定程度上影响了表达信息的准确性，会对符号的认知产生影响。因此，在指示符号的两种状态和维度中，并无绝对的优势或者劣势，应该在具体的使用场景下灵活进行切换和选择，以便尽量发挥其优势特征。

5 结语

基于上述研究，对AR 辅助装配指示符号的设计规律进行总结，提出AR 辅助装配指示符号设计的策略，使得AR 装配指示符号设计能更加契合用户的认知习惯，降低用户认知负荷，提升机械装配效率，为AR 辅助装配指示符号设计提供相应的指导。本研究对AR 辅助装配的指示符号设计提供了一定的设计参考，受实验环境、研究范围和技术条件等因素的影响，仍存在一些局限性。在实验设计上，实验中研究了AR 辅助机械装配中的指示符号，未来的研究可能会研究更多的AR 特征变量，例如背景复杂度等；任务设计中，后续可根据真实工作场景加入时间压力作为变量，研究不同时间压力需求下的AR 指示符号设计策略。在研究方式上，可以增加脑电等生理测试指标分析增加结果的丰富性。