基于眼动追踪的指挥控制系统人机交互效能评估方法

田晨智 宋敏 田继伟 邢清华 梁文洋

摘要：      指挥控制系统是信息化作战体系的核心支撑，  其操作使用的便捷性、 准确性等人机交互效能直接影响着作战指挥控制效率。 为持续优化指挥控制系统人机交互效能，  需要建立科学合理的评估方法。 本文引入眼动追踪技术，  使用瞳孔直径、 眼跳次数、 注视点数量等眼动数据，  构建指挥控制系统人机交互搜索效率、 操作效率、 认知负荷、 设计复杂性和吸引性等指标的量化评估模型，  利用熵权-变异系数法对各眼动数据组合赋权，  形成指挥控制系统人机交互效能的综合评估结果。 基于该方法对指挥控制系统和指挥信息系统进行对比实验，  并利用SUS系统可用性量表和NASA-TLX认知负荷量表的調查结果进行对照分析，  结果验证了评估方法的有效性和准确性。

关键词：     指挥控制系统； 人机交互； 眼动； 熵权-变异系数法； NASA-TLX； SUS

中图分类号：      TJ760    文章编号：     1673-5048（2023）04-0057-10

文献标识码：    A    DOI： 10.12132/ISSN.1673-5048.2023.0008

0引言

空中作战是现代战争的主要作战样式，  是夺取未来战争胜利的重要保证，  而指挥控制则是空中作战的基础与核心。 高效的指挥控制离不开先进的指挥控制系统（下文简称“指控系统”）与优秀的指挥控制人员（下文简称“指控人员”）。 在空中作战时，  指控人员要在时间紧、 压力大、 强度高的情况下迅速完成目标航迹识别、 空战指挥引导、 突发情况处置、 兵力动态调度等一系列任务，  这对指控系统的人机交互效能提出了十分严苛的要求。 和谐的人机交互设计不仅能够降低指控人员的认知负荷，  极大提升任务完成效率，  还可以最大限度地激发指控人员的潜力与指控系统的效能，  达到“人在回路”［1］的作战目标。

目前，  对于指控系统人机交互效能的评估大多采用专家打分、 问卷调查等方法，  评估结果主观性强、 缺乏科学依据，  且没有统一的衡量标准。 Lorenz等［2］通过主任务测试、 NASA-TLX、 SUS量表问卷调查等方法对挖掘机控制系统人机交互效能进行评估。 Liu等［3］将指控系统人机交互效能划分为126个可用性指标，  根据德尔菲法对人机交互效能进行评估。 Joseph等［4］研究了人机交互中产生的认知负荷与眼动指标间的关系。 高俊云等［5］使用灰色层次分析法评估舰炮武器系统的人机交互效能。 王颖等［6］运用GOMS模型对机载指控系统人机界面的任务操作流程进行优化。 王崴等［7］基于脑电和眼动信号识别人机交互意图。 通过上述研究不难发现，  相较于传统评估方式，  生理指标测量法具有采集数据科学、 客观，  计算结果可信度高等优点。 因此，  本文引入眼动追踪技术，  构建了较为完善的基于眼动指标的指控系统人机交互效能评估模型，  通过对比分析实验中采集的相关眼动数据，  使用熵权-变异系数法对其客观赋权以计算综合得分，  实现对人机交互效能的科学评估。

1基于眼动追踪的指控系统人机交互指标体系构建

1.1指标体系

参考软件质量评估模型［8］，  将指控系统人机交互效能划分为人、 机、 人-机三部分，  分别从绩效、 设计、 协同三方面进行评估。 其中，  绩效评估可分为指控人员的搜索效率和操作效率； 设计评估可分为指控系统的复杂性和吸引性； 协同评估对应人机交互中产生的认知负荷。 经查阅大量资料［9-19］，  同相关领域专家进行深入探讨，  结合指控人员的指挥控制流程以及指控系统的运行原理，  在综合考虑任务完成时间和准确率等要素的基础上，  基于眼动指标建立了指控系统人机交互效能评估模型，  如图1所示。

（1） 绩效评估： 从指控人员任务完成绩效的角度，  对指控系统人机交互效能进行评估，  包括指控人员的搜索效率与操作效率。 其中，  眼跳次数越少、 扫描路径长度和扫描持续时间越短，  则搜索效率越高，  反之越低［9-13］； 操作准确率越高、 任务完成时间越短，  则操作效率越高，  反之越低［14］。

（2） 设计评估： 从指控系统设计构造的角度，  对指控系统人机交互效能进行评估，  包括指控系统的设计复杂性和设计吸引性。 其中，  注视点数量和回视次数越多，  则设计复杂性越高，  反之越低［15-16］； 首次注视前时间越短、 首次注视时间和累计注视时间越长，  则设计吸引性越强，  反之越弱［9，  16］。

（3） 协同评估： 从指控人员与指控系统相交互的角度，  对指控系统人机交互效能进行评估，  主要由指控人员与指控系统在交互过程中所产生的认知负荷来衡量。 其中，  眨眼率越高、 眨眼时间越短、 瞳孔直径越大，  则认知负荷越高，  反之越低［17-19］。

1.2眼动评估指标

由于采集数据科学、 客观、 精准等特点，  眼动追踪技术已经成为一种广泛使用的效能评估方法，  眼动指标不仅能够用来测评产品设计的优劣，  还能够反映人们的思维方式以及心理特征。

本文通过眼动追踪技术对指控系统人机交互效能进行评估，  有效克服了专家打分等评估方法主观性强、 计算结果说服力差等缺点。 根据本文建立的指控系统人机交互效能评估指标体系对所涉及的相关眼动指标进行简要介绍，  如表1所示。

2指控系统人机交互效能评估方法

2.1评估流程

本文具体评估流程如图2所示。 利用眼动追踪系统记录被试在A系统和B系统中完成指挥控制任务的全过程，  测量相关眼动指标。 对其进行归一化处理，  并分别使用熵权法和变异系数法计算权重，  进行组合赋权，  得出眼动综合评分。

此外，  利用SUS系统可用性评估量表和NASA-TLX认知负荷评估量表对被试进行问卷调查，  从人和系统两方面验证了指控系统人机交互效能眼动评估结果的准确性。

2.2熵权-变异系数法组合赋权

由于眼动指标的特殊性，  德尔菲法、 层次分析法、 环比评分法等主观评估方法［20-22］不能精准衡量其重要程度，  故引入熵权-变异系数法对眼动指标进行组合赋权［23］。 熵权法［24］是一种客观赋权方法，  利用指标的信息熵判断其离散程度，  进而计算其所占权重，  然而通过熵权法获得的指标权重分布可能出现平衡缺陷。 变异系数法［25］能够有效克服异常值的不利影响，  还可以直接利用指标所包含的信息，  常用于两个总体均值不等的离散总体的比较。 因此，  将两种方法相结合能够有效弥补各自缺陷，  发挥更大优势。 具体计算步骤如下：

（1） 形成指标评价矩阵。   初始指标评价矩阵为

式中： xij（i=1，  2，  …，  n； j=1，  2，  …，  m）表示第i个方案中第j个指标的数值。

（2） 对初始数据进行归一化处理。

正向（效益型）指标处理公式为

逆向（成本型）指标处理公式为

式中： max（xj）和min（xj）分别表示同指标下所有样本的最大值和最小值。

（3）熵权法

计算第i个方案中第j个指标的特征比重，  即

（4）变异系数法

计算第j项指标的均值和标准差，  即

（5）熵权法和变异系数法组合赋权的结果为

ωj=λwj+（1－λ）δj（11）

式中： λ为偏好系数，  且λ∈（0， 1），  通常取λ=0.5。

2.3NASA-TLX指控人员认知负荷评估

NASA-TLX（National Aeronautics and Space Administration-Task Load Index）认知负荷评估量表［26］由美国航空航天局（NASA）开发，  是使用最广泛的主观心理负荷评估工具之一，  不仅被试间变异最小，  而且使用者接受程度最高。 该量表从6个维度划分了人的心理负荷因素，  其中每个维度均由一条20等分的直线表示，  如图3所示。

具体计算过程如下：

式中： F为认知负荷评估总分； Mi为被试在第i条直线上所选分数； Pi为15个对子中第i个项目被选中的次数。 NASA-TLX权重测试表如图4所示。

2.4SUS指控系统可用性评估

SUS（System Usability Scale）系统可用性量表［27］由Brooke于1986年编制，  共包含10道题目，  由奇数项的积极描述和偶数项的消极描述组成，  彼此间具有高度的相关性。 该量表具有简洁、 准确、 可靠等优点，  广泛应用于产品的可用性评估中。 因此，  在主观评估阶段，  以SUS系统可用性量表为基础，  结合指控系统人机交互的特点，  对该量表进行了改进，  如图5所示。

具体计算过程如下：

G=2.5×（S奇－S偶+20）（13）

式中： G为可用性评估总分； S奇为奇数项总分； S偶为偶数项总分。

3实验设计

3.1实验设置

实验对象为10名经过初始资格认证的指控人员，  平均年龄25岁，  双眼视力在1.0以上，  均接受过正规的指挥控制训练，  具备一定的指挥控制基础。 任务开始前，  首先向被试进行实验介绍，  然后被试佩戴眼动仪进行校准，  校准完成后先进行2 min的測试，  让被试熟悉眼动仪的使用方法，  之后正式开始实验。 每名被试在实验开始前都应重复上述过程。 本实验基于指挥信息系统和指挥控制系统，  被试在两套系统中完成相同的3项任务，  通过实验中测量的相关眼动数据，  结合上述模型，  对2套系统的人机交互效能进行评估。

3.2实验设备

实验设备包括指挥控制系统（A系统）、 指挥信息系统（B系统）和眼动追踪系统。 A系统（如图6所示）是保障指挥员和指挥机关对空中作战人员和武器系统实施指挥和控制的信息系统，  该系统以通信、 计算机等信息网络为主要依托，  具有文电处理、 指令传输、 态势分析和辅助决策等功能。 B系统（如图7所示）能够基于雷达情报显示当前空中敌我态势，  为指控人员进行空战控制提供实时信息支撑； 同时，  亦可生成模拟作战想定，  辅助指控人员进行训练。 其中，  A系统和B系统都具有空战指挥控制功能，  但A系统的功能相对专一，  属于专业性系统，  B系统的功能覆盖范围较广，  属于综合性系统。 眼动数据的测量采集使用Tobii  Pro  Glasses 3眼动测量系统，  可提供各种视角下的全方位眼动追踪数据，  如图8所示。

内置的加速计、 陀螺仪和磁力计传感器可辨别头部和眼球移动，  将头动对眼动追踪数据的影响降至最低，  确保研究人员能够获得被试在自然状态下的眼动数据［28］。

3.3实验任务

在任务开始前，  被试自由观察A系统和B系统主界面各30 s； 实验开始后，  首先，  被试绘制巡逻空域、 待战空域以及训练空域各1个； 其次，  被试按要求制作同一想定，  并根据我机飞行状态的变化进行通报； 最后，  被试使用数据链对3批飞机进行指挥控制。 以上任务均属于指挥控制基本任务，  且被试在A系统和B系统中完成的工作量相同，  具体操作流程如表2所示。

4指控系统人机交互效能评估分析及计算

4.1实验数据分析

通过眼动仪记录任务过程，  利用SPSS对所测得数据进行t检验，  从绩效评估、 设计评估、 协同评估3方面对A系统和B系统的人机交互效能进行综合评估。

（1） 绩效评估

被试分别在A系统和B系统执行任务时的眼跳次数、 扫描路径长度和任务完成时间3项指标中存在显著差异，  如表3所示。 与B系统相比，  被试在A系统中拥有更少的眼跳次数、 更短的扫描路径长度以及更少的任务完成时间。

（2） 设计评估

被试分别在A系统和B系统执行任务时的注视点数量、 回视次数、 首次注视前时间和累计注视时间四项指标中存在显著差异，  如表4所示。 与B系统相比，  被试在A系统中拥有更少的注视点数量和回视次数、 更短的首次注视前时间和累计注视时间，  说明A系统更加简洁，  B系统设计相对复杂。

（3） 协同评估

被试分别在A系统和B系统执行任务时的眨眼率和瞳孔直径两项指标中存在显著差异，  如表5所示。 与B系统相比，  被试在A系统中拥有更少的眨眼率和更短的瞳孔直径。

4.2实验数据分析

由式（2）～（3）对测量数据进行归一化处理，  由式（4）～（6）利用熵权法对各指标进行赋权，  由式（7）～（10）利用变异系数法对各指标进行赋权，  由式（11）计算各指标的组合权重，  并以“ωj1，  ωj2，  ωj3，  ωj4，  ωj5”分别表示“λ=0.1，  0.2，  0.3，  0.4，  0.5”时的组合权重，  结果如表6所示。

3种赋权方法及不同的偏好系数所得权重差异较小，  且变化趋势基本一致，  如图9所示。 因此，  赋权方法的变化对结果影响较小。 为了降低熵权法与变异系数法所得权重的差异对评估结果造成的影响，  选取λ=0.5时的组合权重作为评估模型中眼动指标的最终权重。

为均衡考虑各因素对指控系统人机交互效能的影响，  对绩效评估、 协同评估、 设计评估均赋权0.333，  对搜索效率、 操作效率、 复杂性、 吸引性均赋权0.500，  对眼动指标赋权ωj5，  利用加权求和法计算A系统和B系统人机交互效能的综合评分。 由式（12）计算被试的NASA-TLX认知负荷评分，  并将得分进行归一化处理换算成百分制，  结果如表7所示； 由式（13）计算被试的SUS系统可用性评分，  从主观角度对A系统和B系统人机交互效能进行分析，  结果如表8所示。

对比A系统和B系统基于眼动指标的认知负荷评估结果和NASA-TLX问卷调查得分可知，  两者所得结论基本相符，  如图10所示。 总体而言，  A系统和B系统中评分高者的比例分别为9∶1和7∶2（另一组得分相同）。 其中，  眼动与归一化后的NASA-TLX认知负荷评估均为正向评估，  即得分越高，  所产生的认知负荷越低，  人机交互效能越好。 因此，  在执行指挥控制任务时，  A系统产生的认知负荷低于B系统。

对比A系统和B系统基于眼动指标的综合评估结果和SUS问卷调查得分可知，  两者所得结论基本吻合，  如图11所示。 从总体来看，  A系统和B系统中评分高者的比例分别为9∶1和7∶3。 其中，  眼动与SUS系统可用性评估均为正向评估，  即得分越高，  系统可用性越强。 因此，  在執行指挥控制任务时，  A系统的人机交互效能优于B系统。

A系统和B系统眼动视图如图12所示，  黑色底图是A系统的眼动视图，  白色底图是B系统的眼动视图。 对比两者能够明显发现，  被试在A系统中执行任务时的注视点热区主要集中在界面中间及下方区域，  且注视点序列较为清晰； 被试在B系统中执行任务时的注视点热区占据了界面中央大部分区域，  且注视点序列较为混乱。 一方面，  10名被试在A系统中的注视点热区平均面积约为0.062  m2（此处为19英寸16∶9显示器屏幕中的热区面积），  注视点数量平均为327.4个； 在B系统中的注视点热区平均面积约为0.079  m2，  注视点数量平均为419.3个，  说明了A系统占用被试的认知资源总量较少，  使被试能够在较为轻松的环境下完成任务。 另一方面，  被试在A系统中的注视点序列相较于B系统更加清晰，  说明被试在A系统中执行任务时的思维更流畅，  逻辑更缜密。 由于任务操作步骤相对固定，  因此，  被试在同一系统中的注视点热区之间以及注视点序列之间会出现较为相似的情况。

由于A系統是专业的指控系统，  其所有功能专门针对指挥控制任务所设计。 而B系统是集成指挥控制、 预警探测、 情报搜集等多功能于一体的综合系统，  界面布局、 颜色搭配及功能要素等都相对复杂。 其中，  A系统主界面共有36个按键，  B系统主界面共有50个按键。 同时，  被试在A系统中完成任务最少需要17个步骤，  实验中平均需要20个步骤； 在B系统中最少需要18个步骤，  实验中平均需要22个步骤。 当任务操作步骤相差不大的情况下，  较多的按键及复杂的布局会分散被试的精力，  使其不仅耗费大量时间用于寻找指定按键、 记忆相关步骤，  还增加了被试的心理压力及工作负担。 实验结果表明，  被试在A系统中拥有更短的任务完成时间及较高的准确率。 因此，  在执行指挥控制任务时，  A系统更加简洁明了、 精准快捷，  能够使指控人员产生更低的认知负荷，  并拥有更高的可用性。 此外，  A系统除了常规的底部按键布局，  还在界面顶端添加了快捷键窗口，  有效避免了大量按键堆砌，  提高了系统使用的便捷性，  拓展了指控人员的操作空间，  优化了指控系统的界面布局，  大大增强了人机交互效能。

5结论

本文基于眼动指标建立了指控系统人机交互效能评估模型，  利用熵权-变异系数法对眼动指标进行客观赋权，  通过让10名被试完成相同的指挥控制任务，  对A系统和B系统的人机交互效能进行评估，  并根据NASA-TLX量表和SUS量表分别从人的认知负荷和系统的可用性2个角度对评估结果进行了验证。 该方法不仅有效克服了传统评估手段所得结果不够准确、 缺乏理论依据等缺点，  还避免了仅从定性角度对眼动指标进行分析易导致指标数据间此消彼长、 相互矛盾，  无法得出准确结论的问题。

由于操作系统及被试人员的特殊性，  仅选取了2种系统和10名指控人员进行实验，  如果增加样本数量，  则能够增强组合赋权法的计算精度，  进一步提高评估模型的可靠性。 此外，  本文建立的指控系统人机交互效能评估指标体系所涵盖的眼动指标还不够全面，  在后续研究中，  需要健全指标体系，  优化算法模型，  改进评估手段。

参考文献：

［1］ 李明，  刘若愚，  姜春兰，  等. 基于无线智能节点的远程控制系统设计与实现［J］. 北京理工大学学报，  2020，  40（8）： 849-855.

Li Ming，  Liu Ruoyu，  Jiang Chunlan，  et al. Design of the RemoteControl System for Intelligent Wireless Nodes［J］. Transactions of Beijing Institute of Technology，  2020，  40（8）： 849-855.（in Chinese）

［2］ Lorenz S，  Helmert J R，  Anders R，  et al. UUX Evaluation of a Digitally Advanced HumanMachine Interface for Excavators［J］. Multimodal Technologies and Interaction，  2020，  4（3）： 57.

［3］ Liu R，  Gao L，  Liu Y，  et al. Research on the Usability Evaluation Model of HumanComputer Interaction for Command and Control System［C］∥2nd International Conference on Intelligent Computing and HumanComputer Interaction （ICHCI），  2021： 213-219.

［4］ Joseph A W，  Murugesh R. Potential Eye Tracking Metrics and Indicators to Measure Cognitive Load in HumanComputer Interaction Research［J］. Journal of Scientific Research，  2020，  64（1）： 168-175.

［5］ 高俊云，  丛树学. 灰色层次评估法在舰炮武器系统人机交互效能评估中的应用［J］. 舰船电子工程，  2011，  31（8）： 136-139.

Gao Junyun，  Cong Shuxue. Application of Grey Analytic Hierarchy Process for HumanComputer Interaction Effectiveness Evaluation of Naval Gun Weapon System［J］. Ship Electronic Engineering，  2011，  31（8）： 136-139.（in Chinese）

［6］ 王穎，  牟苏斌. 基于GOMS模型的机载指控系统人机界面优化研究［J］. 计算机与数字工程，  2016，  44（7）： 1378-1382.

Wang Ying，  Mou Subin. Human Computer Interface Optimization Based on GOMS Model for Airborne Command and Control System［J］. Computer & Digital Engineering，  2016，  44（7）： 1378-1382.（in Chinese）

［7］ 王崴，  赵敏睿，  高虹霓，  等. 基于脑电和眼动信号的人机交互意图识别［J］. 航空学报，  2021，  42（2）： 324290.

Wang Wei，  Zhao Minrui，  Gao Hongni，  et al. HumanComputer Interaction： Intention Recognition Based on EEG and Eye Tracking［J］. Acta Aeronautica et Astronautica Sinica，  2021，  42（2）： 324290.（in Chinese）

［8］ 杨阳，  汪海涛，  姜瑛，  等. 基于模糊层次分析法的软件质量评价模型的研究［J］. 计算机与数字工程，  2017，  45（4）： 620-623.

Yang Yang，  Wang Haitao，  Jiang Ying，  et al. Software Quality Evaluation Model Based on Fuzzy Analytic Hierarchy Process［J］. Computer & Digital Engineering，  2017，  45（4）： 620-623.（in Chinese）

［9］ 吴丹，  梁少博，  董晶. 查询式序列视角下跨设备搜索信息准备与重用阶段的眼动变化研究［J］. 情报学报，  2019，  38（7）： 760-770.

Wu Dan，  Liang Shaobo，  Dong Jing. Change of Gaze Behavior in Information Preparation and Resumption of CrossDevice Search Based on Query Lists［J］. Journal of the China Society for Scientific and Technical Information，  2019，  38（7）： 760-770.（in Chinese）

［10］ 赵佳宝， 张丙辰， 韦懿洋， 等.基于视觉刺激的ASD儿童干预图卡角色设计研究［J/OL］.包装工程.DOI：10.19554lj.cnki.1001-3563.2020.22.039.

Zhao Jiabao，  Zhang Bingchen，  Wei Yiyang， et al. Role Design of Intervention Picture Card for ASD Children Based on Visual Stimulation ［J/OL］. Packaging Engineering.DOI：10.19554lj.cnki.1001-3563.2020.22.039. （in Chinese）

［11］ Goldberg J H，  Stimson M J，  Lewenstein M，  et al. Eye Tracking in Web Search Tasks： Design Implications［C］∥Symposium on Eye Tracking Research & Applications，  2002： 51-58.

［12］ Poole A，  Ball L J. Eye Tracking in HCI and Usability Research［M］∥Encyclopedia of Human Computer Interaction，  2006： 211-219.

［13］ Goldberg J H，  Kotval X P. Computer Interface Evaluation Using Eye Movements： Methods and Constructs［J］. International Journal of Industrial Ergonomics，  1999，  24（6）： 631-645.

［14］ Chen Y，  Yan S，  Tran C C. Comprehensive Evaluation Method for User Interface Design in Nuclear Power Plant Based on Mental Workload［J］. Nuclear Engineering and Technology，  2019，  51（2）： 453-462.

［15］ 陳晓皎，  薛澄岐，  陈默，  等. 基于眼动追踪实验的数字界面质量评估模型［J］. 东南大学学报： 自然科学版，  2017，  47（1）： 38-42.

Chen Xiaojiao，  Xue Chengqi，  Chen Mo，  et al. Quality Assessment  Model of Digital Interface Based on EyeTracking Experiments［J］. Journal of Southeast University： Natural Science Edition，  2017，  47（1）： 38-42.（in Chinese）

［16］ 顾芮冰，  张丙辰，  张仁杰，  等. 基于AHP层次分析法的儿童电子绘本角色面孔绘图方式研究［J］. 包装工程，  2022，  43（10）： 221-231.

Gu Ruibing，  Zhang Bingchen，  Zhang Renjie，  et al. Role Face Drawing Methods of Childrens Electronic Picture Books Based on AHP Nalytic Hierarchy Process［J］. Packaging Engineering，  2022，  43（10）： 221-231.（in Chinese）

［17］ 尤洋，  王以宁，  张海. 智慧课堂环境下教学视频复杂度与学习者认知负荷关系研究［J］. 现代远距离教育，  2020（2）： 91-96.

You Yang，  Wang Yining，  Zhang Hai. Research on the Relationship between the Complexity of Teaching Video and Learners Cognitive Load in Intelligent Classroom Environment［J］. Modern Distance Education，  2020（2）： 91-96.（in Chinese）

［18］ Chen S Y，  Epps J. Using TaskInduced Pupil Diameter and Blink Rate to Infer Cognitive Load［J］. HumanComputer Interaction，  2014，  29（4）： 390-413.

［19］ 薛耀锋，  李卓玮. 基于眼动追踪技术的在线学习认知负荷量化模型研究［J］. 现代教育技术，  2019，  29（7）： 59-65.

Xue Yaofeng，  Li Zhuowei. Research on Online Learning Cognitive Load Quantitative Model Based on Eye Tracking Technology［J］. Modern Educational Technology，  2019，  29（7）： 59-65.（in Chinese）

［20］ Dalkey N C. Delphi［M］∥Martino J P. An Introduction to Technological Forecasting. London： Routledge，  2018： 25-30.

［21］ Podvezko V. Application of AHP Technique［J］. Journal of Business Economics and Management，  2009，  10（2）： 181-189.

［22］ Chen X ，  Jiang X Q，  Lu Y. Study on the Rural Ecotourism Resource Evaluation System［J］. Environmental Technology & Innovation，  2020，  20： 101131.

［23］ Li X X，  Du J K，  Fu Y. Water Quality Evaluation Model of Normal Cloud Based on Coefficient Variation and Entropy Weight［J］.Water Resources & Power，  2017，  10： 55-58.

［24］ Zhu Y X，  Tian D Z，  Yan F. Effectiveness of Entropy Weight Method in DecisionMaking［J］. Mathematical Problems in Engineering，  2020： 1-5.

［25］ Liu D J，  Zou Z H. Water Quality Evaluation Based on Improved Fuzzy MatterElement Method［J］. Journal of Environmental Sciences，  2012，  24（7）： 1210-1216.

［26］ Hart S G. NASATask Load Index （NASATLX）; 20 Years Later［C］∥ Human Factors and Ergonomics Society Annual Meeting，  2006，  50（9）： 904-908.

［27］ 潘飛，  姜可，  王东琦. 基于眼动追踪技术的购票网站可用性设计研究［J］. 包装工程，  2020，  41（24）： 243-247.

Pan Fei，  Jiang Ke，  Wang Dongqi. Usability Design of Ticket Purchase Website Based on Eye Tracking［J］. Packaging Engineering，  2020，  41（24）： 243-247.（in Chinese）

［28］ Nasrabadi H R，  Alonso J M. Modular Streaming Pipeline of Eye/Head Tracking Data Using Tobii Pro Glasses 3［EB/OL］. bioRxiv，  2022，  DOI： 10.1101/2022.09.02.506255.

Evaluation Method of HumanComputer Interaction Effectiveness of Command and Control System Based on Eye Tracking

Tian Chenzhi1，  Song Min1*，  Tian Jiwei1 ，  Xing Qinghua2，  Liang Wenyang1

（1. Air Traffic Control and Navigation College，  Air Force Engineering University，  Xian 710051，  China；

2. Air and Missile Defense College，  Air Force Engineering University，  Xian 710051，  China）

Abstract： The command and control system is the core support of the information warfare system. The convenience and accuracy of its operation and use directly affect the efficiency of combat command and control. In order to continuously optimize the humancomputer interaction effectiveness of the command and control system，  it is necessary to establish a scientific and reasonable evaluation method. This paper introduces eye movement tracking technology，  uses eye movement data such as pupil diameter，  number of saccades，  number of fixation points，  etc.，  to build a quantitative evaluation model of humancomputer interaction search efficiency，  operation efficiency，  cognitive load，  design complexity and attractiveness of command and control system，  and uses entropy weightvariance coefficient method to weight each eye movement data to form a comprehensive evaluation result of humancomputer interaction effectiveness of command and control system. Based on this method，  a comparative experiment is carried out on the command and control system and the command information system，  and the results of the SUS system availability scale and NASATLX cognitive load scale are compared and analyzed. The results verify the effectiveness and accuracy of the evaluation method.

Key words：  command and control system； humancomputer interaction； eye movement； entropy weightvariance coefficient method； NASATLX； SUS