眼动测量在人机界面作业优化评估系统中的应用

李晨辉　庞志兵　张艳君　邹渝　李宏雷　翟霄飞

摘要：在传统人机界面工效评估方法的基础上，研究了眼动测量在人机界面交互工效评估应用方面的应用，分析了眼动测量在装备研制、院校教学和部队训练的应用前景。将眼动测量引入人与装备交互操作的过程中，检测装备操作员眼球的运动参数，量化评估装备人机界面的优劣，为装备人机界面的优化与设计提供科学依据。阐述了基于眼动测量的人机界面工效评估系统所实现的基本功能、系统软硬件结构组成，并对系统的实验应用领域进行了展望。

关键词：人机交互；界面评估；眼动测量；工效评估

中图分类号：TB 472，TP 391文献标识码：A文章编号：1672-7312（2017）01-0041-05

0引言

人机界面（Human Machine Interaction，HMI）作为装备与操作员的交互窗口，实现了装备信息的内部形式与操作员可以接受形式之间的转换，是装备整体设计中至关重要的部分，将直接影响到操作工效的提升和作战效能的发挥[1-2]。视觉是人类认识世界和相互沟通的直接途径。因此，视觉认知生理评估方法是非常有效的界面优劣评判方法。传统的人机界面评估主要基于用户自身的主观回忆，在进行人机交互时用户的思维活动难以得到客观体现，测试结果也容易受到影响。相反，在人机交互的过程中，利用眼动跟踪测量技术，观测眼球的运动参数，量化评估人机界面设计与交互性的优劣，能够将用户的主观影响有效消除，为界面优化提供客观依据。此外，眼动跟踪测量技术还可以在人机交互过程中观测眼球的运动，提供客观的、可以相互比较的、量化的度量标准，从而为选拔操作人员提供依据。近年来出现的的专家-新手范式（expertnovice paradigm），是将实验人群分为专家组和新手组，采集2组人员的眼动数据，对比注视时间、注视点次数、扫视轨迹等指标的差异，用于发现专家高效、实用的扫视模式和新手的扫视缺陷，对于指导新手的技能训练具有重要作用[3]。美国空军将眼动测量系统应用于部队训练，能明显提高训练效果，及早纠正错误的扫视习惯。在F16B的15个训练科目中，有10个应用眼动测量的训练系统[4]。操作员的眼动模式越优、扫视规律越有效率则装备操作绩效越好。因此，装备人机界面交互操作训练时，加入眼动模式的指导，有助于新手掌握经验操作员高效的眼动注意力分配规律，养成正确的扫视习惯，提高训练效率，缩短训练周期，为装备训练内容的制定与调整提供帮助。工程实践表明，装备存在的缺点和易发生的问题往往集中在人机界面上，会导致操作不便、维护困难等问题。在进行人机界面评估与优化的过程中，主要可分为2个方面：一是“机适应人”，在装备研究设计阶段，按照“设计-仿真-测试-修正”的闭环进行，采用大量的调研数据统计和操作员经验统计分析等，人力物力消耗过大；二是“人适应机”，即在装备定型使用阶段，由于装备可变空间缩小，必须尽量发挥人的可塑性特点，强化操作员的限制性训练，以便更好地适应装备，充分发挥装备的作战效能。同时，还要将装备使用过程中发现的设计缺陷等问题反馈工业部门，以进一步优化武器装备的设计与制造[5]。

1眼动测量技术及应用

人的眼球运动表现为在被观察目标上一系列的停留点之间的快速跳动，通常分为3種类型，即注视、眼跳和追随运动[6]。当注视停留点的时间超过100 ms时，称为注视点。眼跳是注视点或注视方位的突然无意识改变。追随运动是当被观察物体与眼睛存在相对运动时，为了保证注视点的稳定，眼球会追随物体移动。眼动测量是通过检测眼球注视点位置和相对运动而实现对眼动轨迹的追踪，记录眼动的时间和空间数据，如注视时间、注视次数、眼跳潜伏期、回视次数、瞳孔大小及眼跳距离等。通过分析这些眼动数据，可获得操作员视觉加工的信息选择模式、认知特征，掌握其在装备操作过程中的注意力分配、工作负荷状态等信息[7]。眼动测量技术在人机界面和工效等方面的应用主要有以下4个方面。

1.1在人机界面设计中的应用

随着装备信息化程度的增强，人机界面沟通顺畅与否与装备效能的发挥紧密相联。装备操控面板的设计和布局应符合人的视觉特性，使信息显示既便于接受又易于做出判断。运用眼动技术研究装备人机界面布局的优劣，分析其对装备操作绩效的影响，利用眼动设备对操作员操作过程中的眼动状态进行测量，根据其眼动数据，分析界面布局对操作员认知的影响，为人机交互优化设计提供科学依据。

1.2在人员操作绩效考核中的应用

研究发现，用专家扫视模式培训过的新手比不用专家的扫视模式培训的新手搜索绩效要高。在研究操作员眼睛运动规律时，可利用眼动模式诊断操作缺陷和评价操作绩效。另外，通过对比专家和新手装备操作时的眼动模式，不仅可为评价操作绩效提供参考，还可为制定操作员的培训计划提供依据。

1.3装备操作员疲劳度检测的应用

随着装备自动化程度的提升，操作员需要处理的信息量不断增加，加重了其工作负荷。在操作装备时，需要长时间集中精力监控各种控制仪表，极易引起机能、脑力和视觉疲劳，会造成武器装备操作的失误，直接影响到部队的作战训练。研究发现，眨眼的频率和工作任务的难度存在正相关性，如多任务的眨眼频率比单一任务的眨眼频率高。利用眼动技术对人机界面进行交互评估分析，推断出视觉的疲劳程度，认知能力下降程度等，客观地量化出相应的工作负荷量和疲劳度。

1.4装备操作中人员分心现象的测量

操作员在操作装备时，会受到警报声响、人为因素、非人为因素等的影响，造成分心现象，严重时会降低操作绩效，增加失误率。利用眼动技术测量出操作员的分心现象（如当操作员视线长时间离开相关仪表就是最直接的操作分心指标），进行量化分析，以便及早发现操作分心现象。

2基于眼动测量的人机界面作业优化评估系统

2.1系统实现功能

装备人机界面的评估与优化，实际上就是分析操作员与人机界面的信息显示与控件布局等元素间的协调匹配度。由于不同的操控人员，对装备内部结构的理解和操作技能水平是不同的，这将直接影响到从人机界面上获取信息的能力，影响交互过程中的反应能力。基于视觉优先的原则，操作员必须具有有效的视觉信息采集方法，它将决定着后续信息加工的质量和动作行为的反应效果，是人与机器配合的基础。视觉搜索是一种复杂的认知过程，具有较强的目的性。将眼动测量技术引入到人机界面评估与作业流程优化的研究过程中，充分发挥视觉搜索对人机界面评估与优化研究能力，研发出相应的评估实验系统。该系统依据人机界面工效学设计标准与原则，运用眼动测量技术分析人机界面，为操作员提供的信息量和视认反应时间的定量关系，并将所采集的实验数据与试验人机界面模型相结合，对人机界面的视野设计、可视域、可触域、控件布局等进行评估。同时，系统根据量化分析结果，研究人机界面设计缺陷或操作流程的问题，提出优化改进方案。

系统研究设计的目的主要是为了解决以下2个方面的问题。

2.1.1有效解决了客观评估人机界面的问题

评估装备人机界面的优劣，重点在于能够保证视觉反应与操作反馈之间的协同，使操作员通过人机界面，迅速、准确了解装备各类状态参数和战场环境信息等，高效地完成作战任务。因此，通过对操作员的眼动状态的测量分析，采集注视点在人机界面上的位置转换、停留时间，通过移动序列记录及轨迹描绘，来度量人机界面布局的有效性和合理性，尽量减少显示视觉密度，增加视觉平衡感。利用所采集的注视热点，直观地反映操作员的眼动轨迹的空间分布，标记出注视时间在该区域的长短，根据眼动轨迹的跳动度，分析相关的影响因素，避免界面布局不一致等问题。

2.1.2有效解决了科学优化作业流程的问题

优化作业流程时，需要解决的关键问题就是输入快速性、操作准确性、信息明确性和图示标准性等。根据操作员眼动状态，分析其注视、跳动的时隙和序列，结合作业流程进行对比分析，优化作业结构与流程。统计注视点平均数量和平均时间，以反应人机界面布局的合理性和显示信息的难易度。在输入快速性上，要尽量减少操作员的输入动作，以提高其工作效率和出错概率。在操作准确性上，为预防操作员的错误，优化作业步骤，尽量避免易错、易混操作的相关性和交织性。在信息明确性和图示标准性上，是在人机界面评估的基础上，提出相应的改进方案，利用本系统对该方案进行模拟测试，评价界面改进对作业流程优化的影响。

在研究论证的基础上，重点实现了以下功能。

1）记录装备人机界面操作流程记录；

2）记录操作员操纵过程中注视点数据集；

3）分析目视热点区，以及与操作步骤的相关性；

4）提出人机界面可优化点建议；

5）提出在人机界面固定条件下操作员操纵优化流程；

6）对统计数据进行可视化描述等。

2.2系统结构组成

该系统采用半集成的软硬结合方式，采用先进的眼动测量技术（商业产品），对操控人员的眼动状态进行采集和复现，利用自研的分析软件，将采集的数据与人机界面仿真模型相结合，分析设计缺陷和优化作业流程，并动态演算和显示评估结果，建立相应的装备人机界面评价指标体系，提出改进方案，并可进行复现测试。本系统主要组成结构如图1所示。

该系统结合了眼动跟踪测量技术和3D建模技术，在人机工程学、人工智能、数据挖掘的研究基础上，依据操作员自身特点、操控能力以及视觉搜索与认知能力等行为特征，研究装备人机界面布局的评估方法和优化原则。利用Mobile Eye系列眼动仪，实现对操作员在进行装备人机界面或模拟人机界面作业过程中的双眼视域、手部操作以及眼睛随动过程等数据的采集与复现。利用系統控制台和数据服务器，将所采集的数据进行归类统计分析，根据操作员的眼动轨迹和相关参数，对人机界面布局和作业流程进行评估优化。

2.2.1系统硬件组成

该系统的硬件部分主要由眼动设备、多点触控显示屏、数据协议接口和服务器组成。眼动设备主要用于对操控人员的眼动轨迹进行采集。显示屏主要用于人机界面仿真模型的动态显示，以便于对人机界面进行评估和作业流程的优化。系统控制台、数据协议接口和服务器用于处理、转换和传输所采集的眼动数据，分析相应的注视、跳动、随动轨迹与时间，热点区与干扰区的大小、分布等。

2.2.2系统软件结构

该系统的软件部分由眼动设备控制软件和人机界面评估与优化分析软件（包括眼动数据统计模型、界面优化模型、场景仿真模型等）组成，其结构框图如图2所示。利用3D建模技术对装备舱室结构，以及操作界面进行按比例缩放，构建出装备显示界面的仿真模型和模拟操作环境，同时还要加入相关的影响因素，如光线、气象、噪声等，拓展评估实验的应用功能。

2.3系统应用展望

根据调研统计，早期的人机界面优化主要是问卷反馈和设计经验的综合体，能够集中体现设计人员的思想，但却弱化了操作员的感知体验。近年来，眼动技术不断发展，正在逐渐进入人机界面设计，并取得了良好的效果。本系统的研究与设计也正是基于此，重点是应用到装备的研制与生产过程中，一是降低装备或者系统技术支持的费用，缩短操作人员训练时间；二是减少由于人机界面问题而引起的软件修改和升级问题；三是使装备的可用性增强，便于操作人员进行有效作业；四是帮助装备设计者更深刻地领会“用户为核心”的设计原则；五是在界面测试与评估过程中形成的评估标准和设计原则，对人机交互界面设计有着直接的指导作用。

因此，利用该系统可以有效提升装备人机界面研究的能力，使其从传统的经验统计转变为定量与定性相结合的研究模式。

2.3.1能够为工业部门科研论证服务

武器装备的信息化、自动化程度不断提高，对人机界面的依赖程度越来越高。早期依靠武器装备研发人员设计的人机界面，对装备操控理解的角度与部队操控人员的往往不同，会造成装备操作使用的困难，严重制约着装备作战效能的发挥。为解决这类问题，工业部门通过派驻、调研等方法，到部队一线了解和指导装备的操作使用情况，但这并未从根本上解决问题。利用眼动测量技术，将装备人机界面评估指标体系软件化，实现对人机界面设计评估的自动化，并生成相应的经过量化和定性分析的评估方案报告，增强工业部门在装备人机界面设计过程中指导的针对性。

2.3.2能够为军队院校规范教学服务

军队院校在舱室装备的教学中，以示范指导为主要方式，严格按照操作规范实施，制约了学员的主动性。通过装备实践教学，学员能够掌握基本的作业流程，但操作步骤较为死板，与人机界面的协调匹配度不好，严重影响了人机适应性的发挥。利用眼动技术，监控学员的作业流程，通过交流研讨，可以分析学员个体与舱室人机界面的协调匹配度，依据个人情况优化相应的作业流程，以提升装备操作的效能，实现真正的个性化武器装备教学实践。

2.3.3能够为作战部队科学训练服务

舱室装备定型生产后配发部队，为尽快形成战斗力，工业部门往往会派驻人员到部队现场进行教学指导。目前，由于装备操作规范在制定过程中，部队参与度不高，在人机界面设计与作业流程制定方面存在着与部队实际不相匹配的问题。另外，部队装备操控人员以士官为主，由于其知识结构和技能素养的差异，对装备人机界面的掌握程度和對作业流程的理解程度会与工业部门所设想的存在较大差别。因此，该系统能够对装备标准的作业流程进行评估分析，形成优化的标准作业流程，再与部队操控人员进行比对，分析个体差异，提出优化方案。最终，利用该系统在部队的舱室装备训练中，形成对操控人员指导分析的闭环，使部队具有装备人机界面设计和作业流程优化的能力，能够为工业部门反馈经过量化分析的改进方案，提升装备升级改造的针对性。

3结语

人机界面交互性的评估已经逐渐形成了一系列的方法和技术体系，但总体来讲，仍然以主观评价为主要方法，而本系统的研究与开发，将基于眼动测量进行客观量化评估方法引入到评估过程中，以人机界面为根据，利用眼动测量技术，科学构建舱室人机界面模型，进一步深入研究“人、机、环境”各因素间的相互关系，使评估结果更加客观、易于解释，同时对于容易出现的“漏判”和“误判”问题，该系统提供的数据也成为重要评估的重要依据。根据系统的评估结果可使装备界面设计更加人性化、科学化，使用户的体验能够更加舒适，并快速地获取相关信息，满足人机适应性的要求。同时，人-机-环境系统工程实验环境的建设是一项庞大的系统工程，需要依照科学构建的理论体系逐步建设，逐步实现体系实验。研制基于眼动测量的人机界面交互工效评估系统是该体系建设中的重要内容之一，能够为适应未来战争的装备人机界面设计、装备操作流程优化等提供科学的指导。

参考文献：

[1]庞志兵，李宏雷，刘东，等.人-机-环境系统工程理论与核心军事能力建设的问题研究[C]//第十一届人-机-环境系统工程大会论文集.北京：电子工业出版社，2011.[2]庞志兵.防空兵人-机-环境系统工程[M].北京：防空兵学院，2000.[3]LIU Zhongqi，YUAN Xiugan.Comparison of expert and novice eye movement behaviors during simulated Landing flight[J].Space Medicine & Medical Engineering，2009，22（5）： 358-361.[4]Wetzel P A，Anderson K，Gretchen M，et al.Instructor use of eye position based feedback for pilot training[J].Human Factors and Ergonomics Society，1998，2（5）：5-9.[5]眼动追踪技术的评价指标.基于眼动追踪的战斗机显示界面布局的实验评估[J].电子机械工程，2011，27（6）：50-53[6]庞志兵，张泳，李宏雷，等.人-机-环境系统工程实验室建设研究[C]//第十次军队院校实验室建设与发展学术研讨会论文集.北京：国防工业出版社，2012.

[7]LU Tianjiao，LOU Zhenshan.Eye movement research of the pilots in different flying time of simulated orientation mission[J].Chin J Aerospace Med，December 2013，24（1）：12-17.

（责任编辑：梁清）