复杂信息系统界面可用性指标体系研究

赵 欣，丁 怡，侯文军，陈筱琳



复杂信息系统界面可用性指标体系研究

赵 欣1，丁 怡2，侯文军2，陈筱琳2

(1. 中国电子科技集团公司电子科学研究院，北京 100041；2.北京邮电大学数字媒体与设计学院，北京 100876)

随着复杂信息系统在军事领域和民用领域的广泛应用及不断发展，人们对复杂信息系统显示界面的设计有了更高层面的要求。通过可用性评估指导复杂信息系统界面设计改良，降低系统复杂性带给用户的工作认知负荷，提高用户绩效成为亟待解决的问题。针对复杂信息系统界面进行了研究，从界面特征、任务特征、认知特征进行了分析，提出了界面复杂性的影响因素，构建了复杂度评估指标体系，采用层次分析法针对界面的复杂性的指标权重进行了研究，并根据构建的复杂度模型提出了相应的可用性指标体系。

复杂信息系统；可用性；层次分析法；指标体系

进入21世纪，复杂系统及相应的复杂性科学问题变得日益突出。复杂信息系统界面由于其信息种类繁多、信息层次关系复杂、数据信息多维化、查询操作流程繁多等特点，对操作者的脑力负荷、精神紧张度、使用经验均有较高要求。研究发现，用户对复杂信息系统显示界面的认知负荷远高于普通操作界面，特别是脑力负荷、注意力专注度与心理紧张度，复杂信息显示界面的操作挑战更高。

研究发现，目前复杂信息系统显示界面可用性评价体系并不成熟，还未有专门针对其综合性评估方法。然而，随着人机界面复杂度的增加，人类对操作复杂信息系统显示界面的需求却在不断扩大，其应用范围也在逐渐增大，这对于设计者与操作者都是巨大的挑战。

国内外学者在复杂信息系统的评估方面开展了许多研究。THACKER和TULLIS[1]针对静态数字界面评估提炼出界面信息稠密度、对象聚类程度、布局复杂度和用户提取信息时长4个指标，进而确定了预测用户搜索次数及界面满意度的模型。STREVELER和WASSERMAN[2]也提出了一种定量评估界面布局的系统，确定专家用户评估屏幕布局的指标和算法精准度。此外，COMBER和MALTBY[3]基于文献[1]界面评估理论进一步提出界面布局复杂度的评估模型，通过对界面中视觉对象的位置与大小等属性评价确定界面布局复杂度。例如，界面中视觉对象的高度、宽度、边距等变化越多，布局越复杂。国内有关学者围绕指标提取和描述也进行了相关研究并取得了一定成果。如谭浩等[4]针对人机界面交互特征的研究，基于语义差分法明确其交互特征的定义，并通过总结相关案例辅助语义内涵的描述。该研究过程其实就是提取指标并进一步细化指标描述的范例。文献[5]也对复杂系统界面进行了研究，通过对信息系统及界面系统复杂性分析，确定复杂系统界面设计的策略方法，进而建立界面对象网络描述模型。研究成果在于启发设计师在界面设计过程中需考虑到复杂结构信息的组织与展开方式，并通过可视化、多维度呈现等方式提高复杂结构信息的传达效果，提高系统的可用性水平。但没有产生一套专门针对复杂信息界面的评估方法与理论，从反方向验证产品设计的可用性水平与产品质量。

1 复杂信息界面特征

人机交互界面是系统的大脑，需要汇总系统的各方面信息并以一定的形式呈现出来。这些信息通过计算机后台处理，呈现给用户，为使用者观察分析、判断态势、决策操作提供可视化的信息依据。因此信息的种类、数量和信息呈现的方式是衡量人机界面复杂度的重要因素。

1.1 复杂信息界面显示特征

复杂信息系统基本属性需求决定了复杂信息系统界面显著区别于其他界面，在界面显示特征方面，有以下特征(表1)：

(1) 信息量繁多。复杂信息系统包含大量显示信息，其内容复杂。这种信息界面需要用户在同一时间内处理大规模信息，无疑给用户带来了较高的认知负荷，易导致用户出现遗忘和误读、误判情况。同时复杂信息系统信息内容本身的专业性水平较高，导致用户的使用、学习门槛较高，也会给用户在感知和理解时带来一定认知障碍。

(2) 信息层次复杂。复杂信息系统包含多层级的逻辑菜单结构，其对于用户操作产生很大影响，容易引导用户错误的心智模型。同时多变量信息单元迫使用户同时处理大量实时变化的信息内容，增加了用户的认知负荷。

(3) 信息呈现方式复杂。复杂信息系统包含多元信息维度、结构与运动关系，其信息呈现具有复杂性。一方面信息呈现方式多样，既包括符号、字母、文字、图形、颜色等视觉显示信息，也包括语音、振动等其他信息源。另一方面，各种信息符号还可以通过组合产生更加丰富的呈现形式，增加界面信息的复杂性。颜色与图标的组合变化可以区分对象的状态，此外，信息呈现的动效、出现的时机等进一步增加了信息呈现的复杂性。

(4) 界面布局复杂。其表现为操作区域较多、区域位置与面积动态规划、部分操作区自动隐藏。

表1 复杂信息界面显示特征

复杂信息系统的复杂性决定了界面布局的复杂性，一般来说复杂信息系统的界面操作区域较多，且部分操作区会自动隐藏。图1是一款游戏产品的界面，图中可见复杂信息界面的界面布局设计，除了需要考虑视觉上的清晰度、美观度、合理度，还要针对操作区、态势区、菜单功能区进行更加系统地设计与考虑。例如对于菜单功能区，为了避免占用过多的态势区和操作区，必须对菜单功能区进行合理的区域划分，根据操作频率与权重划分区域位置与面积，同时对不常用功能自动隐藏，尽量减少无效信息对用户注意力的分散，避免增加用户认知负荷。

图1 某种复杂信息界面的信息展示区域

此外，操作任务的复杂性也会影响界面布局，甚至影响硬件布局。例如在军事界面中会出现双任务操作的使用情境，而如何确定屏幕的位置、尺寸、平衡工作绩效与成本等多重因素也是界面布局设计中需要考虑的重要问题。

1.2 复杂信息界面任务情境特征(表2)

(1) 不确定性和难预测性。对复杂信息界面的情境特征分析需要结合任务操作场景，其具有不确定和难预测的特点。一方面因为执行任务难度高，执行环境复杂，对用户的生理和心理负荷较高，增加了任务操作的不确定性。同时由于复杂的操作环境对系统的操作使用也有物理影响，更加难以进行合理预测。

(2) 任务切换频繁。除了任务复杂性导致的不确定性与难确定性之外，在交互操作层次、复杂信息界面的任务线程切换具有多变的特征。任务线程的切换复杂性体现在模块配合、信息源、任务操作模式等方面。此外，任务操作的复杂性(多任务还是双任务)、操作者的配合度(多人操作还是单人操作)等交互要素以及任务活动本身、操作环境、参与者带来的复杂性更进一步增加了任务动态切换过程中的复杂性，从而影响执行效果的稳定性。

(3) 情境因素干扰。伴随着人工智能技术的发展，各种预测模型的涌入为复杂信息系统设计带来了更多的活力，同时也进一步带来了挑战。一方面，系统基于情境信息的预判机制(如在某个特定情境下会自动弹出相应窗口)，可以降低操作人员的工作负荷，提高工作效率。另一方面，系统的智能化判断与用户的认知模型之间存在差别，当系统预判不能精准反映当前情境任务的需要时，很容易导致误判与任务失败，增加了系统的不确定性，不利于用户对系统状态与系统行为的预测判断。

表2 复杂信息界面任务情境特征

1.3 复杂信息界面认知特征

复杂信息界面的界面复杂性及任务复杂性决定了操作人员认知的复杂性。参考ENDSLEY[6]提出的情境意识理论，在界面认知方面，复杂信息界面特征(表3)主要体现在：

(1) 感知大量信息。由于复杂信息界面经常随机呈现多维度的任务情境信息，需要用户快速感知，并对相关信息进行快速识别。因此复杂信息界面对操作人员的感知能力有较高要求。在一些情况下，感知的成败将直接影响任务最终的成败。良好的感知能力与察觉及注意捕获息息相关，从认知学角度，人类的知觉系统对变化的敏感度很高，例如闪烁、运动等经常用于警报信息的设计。然而，变化视盲依然存在，特别是在较高任务负荷下，人眼球依然会忽略环境中的一些变化情况。此外，刺激的突显程度、变化的位置与中央窝之间的视角、注意力的集中程度等都会影响人类的感知敏感度。

表3 复杂信息界面认知特征

(2) 较强的理解记忆支撑。信息感知基础上，需要对信息内容进行进一步的认知和理解才能做出决策和应对。信息在头脑中的加工机制与长时记忆中知识的表征和组织方式有关。人类的知识是不完整的、模糊的，大多数以关联知识的形式存在，因此需要在设计中建立“知识启发”，帮助用户获取信息中心模糊的部分，提高认知的精确度。此外，记忆能力和专业知识也会影响操作绩效。工作记忆的容量，例如阅读广度、操作广度、计算广度可以预测操作员的任务绩效，特别是任务需要大量信息支撑的情况。在工作记忆容量有限的情况下，专业能力与工作经验的高低也会影响任务绩效，通过工作记忆激活访问长时记忆的提取线索，进而将有价值的信息进行更长久的保存，降低工作记忆容量限制和记忆衰退的限制，同样是提高任务绩效的关键所在。

(3) 准确的判断预测能力。用户基于相关信息的觉察和认知基础上，需要对任务进行准确地判断和预测，进而做出决策判断。首先是搜集线索阶段，一方面，线索的物理特征会使信息更加凸显，从而影响选择性注意和加工机制。另一方面，线索的可靠性和可信性也会影响最终结果的判断。然后是判断阶段，用户基于其心理模型进行预判。心理模型可以由用户自发形成，也可以通过训练精心组织和建构。心理模型与系统行为的一致性越高，判断的准确性越高，因此专家往往比新手具备更精炼、准确的心理模型。此外、时间压力也会影响用户的决策进程。

2 构建复杂度模型

2.1 构建评价体系

为了有效评估人机交互界面复杂性，了解其影响因素、具体表现、所属类别等相关问题，采用发声思维的方式对复杂信息界面进行评估。考虑到军用系统界面的获取难度较高，且对使用者的操作经验有很高要求，因此选取民用产品中的游戏界面为研究对象，邀请专家用户进行操作体验。在体验过程中，用户需要使用大声思维的方法，即对自己在操作过程发现的界面复杂特征进行表达和描述，形成口语报告。比如对于游戏界面，用户的口语记录有：“经常弹出的对话信息容易干扰我的注意”、“如果鼠标进入地图区域，区域面积自动变大将更利于我的操作”等等。

与此同时，邀请军用系统的设计专家进行专家访谈，记录设计过程中考虑到的设计细节，从设计者的角度提取、分析、理解复杂信息系统的属性特征。以一个设计师的访谈记录为例：“我希望能通过有效的界面设计，帮助用户在进行数据操作的同时，兼顾到态势屏上的信息，保证任务绩效的同时不会错过重要信息”。

对两个过程收集到的界面描述特征进行抽象提取，形成界面复杂度模型要素。需考虑影响界面复杂度的相关指标，并对一些描述进行整合，如，态势区的信息需要在视野范围内“与”根据信息权重设计相应呈现位置整合为“信息布局”这一描述。最终通过上述分析，提取出7类可衡量界面复杂度的特征，即信息内容、界面布局、界面交互、任务情境、任务配合、认知负荷、生理负荷。在此基础上，根据前期调研过程中收集到的用户反馈和专家访谈结果以及部分用例进行归纳整理，挖掘特征的内涵。如对于“界面布局”这一特征，可以定义为“信息呈现的区域范围和位置”。

在定义基础上，采用语义差分法，从正反两个方面对这一特征在复杂方面的表现进行描述和表达。如，针对“界面布局”，其复杂的特点是占用空间层次较多，反之占用空间层次较少。针对“信息内容”的复杂特点是信息数量和信息层次较多，反之有较少的信息内容，或者信息内容的层次非常简单(3类以下)。同时，将对应的描述特征进行抽象，设计出相关用例，完善有关定义的描述。表4是可以挖掘出信息界面复杂度的表征范式。

表4 复杂度模型

2.2 确定各因素权重

本文采用系统工程理论中的层次分析法(analytic hierarchy process，AHP)确定各个因素的权重。首先，根据提取出的7类可以衡量界面复杂度的特征建立界面复杂性评价层次模型，如图2所示。而后根据AHP的研究过程确定各因素权重。

图2 复杂性评价层次模型

(1) 专家打分。邀请3位用户体验专家(从业时间3年以上)完成决策，其打分记录见表5。

接下来计算二级准则层的得分。对于1号专家，1=(4+3+2)/3=3，2=(4+3)/2=3.5，3=(2+2)/2=2。同理计算其得分情况。最终计算出二级指标得分见表6。

表5 专家打分

表6 二级准则层得分

(2) 构造判断矩阵。根据专家的打分值构造第二层级(即1，2，3)3个因素的判断矩阵1，其中

以1号专家为例，

其判断矩阵见表7。

表7 判断矩阵

即，

(4) 一致性检验。通过对判断矩阵进行一致性检验，判断所求权重的合理性。检验公式为

=/(6)

其中，为判断矩阵的随机一致性比率；为判断矩阵的一般一致性指标，即

为判断矩阵的平均随机一致性指标，1~9阶的判断矩阵值分别为：0，0，0.58，0.90，1.12，1.24，1.32，1.41，1.45。

根据同样的方法，确定出2和3各个指标的权重，最终确定各因素的最终权重值，见表8。

表8 二级准则层权重

继续采用上述方式，对于第3层级指标层的各项数据影响因素进行数据分析，得到各个指标层的影响权重，见表9。

表9 各个指标最终权重

3 基于复杂度模型的可用性评价体系构建

文献[7]指出，最早的可用性评价体系是由McCall，Richards和Walters提出的，该体系从评估维度、评估准则和评估指标3个层次进行分层。随后，Van等结合产品设计的原则从可用性维度、指标、手段、知识4个层面构建可用性评价体系。之后，Seffah等构建了QUIM质量整合地图，从因素、准则、指标、数据4个层面进行可用性研究。

在复杂度模型基础上对人机交互界面的可用性评估指标进行分析和整理，可以发现复杂度模型主要覆盖了可用性指标中软件界面层次和人因层次的可用性指标，即界面设计和人的认知维度。在复杂度模型和可用性评估维度确定的基础上，邀请复杂人机交互界面设计评估实践经验丰富的专家组成焦点小组，通过头脑风暴和综合分析，得到复杂人机交互系统进行可用性评估过程需要重点考虑的可用性指标。

结合复杂度模型，从信息内容、界面布局、界面交互多个维度提炼出人-软件界面交互的指标，见表10。

在人-人交互方面的可用性指标需要结合个人自身的生理特征、认知特征、行为特征，以及任务执行过程中人员的配合与沟通。结合复杂度模型，从任务情景、任务配合、认知负荷、生理负荷四个维度提炼出人-人交互指标，见表11。

表10 人-软件交互可用性评估指标

表11 人-人交互可用性评估指标

4 结 论

针对复杂信息界面的复杂性进行系统分析，提出了复杂界面基本特征的理论模型。而后通过专家访谈和出声思维的方式，构建出界面复杂性评价层次模型。并依据此评估模型运用系统工程理论中的AHP评估各复杂度因素的权重。根据复杂度模型找出可用性评估指标，并进行构建。其可以在之后的研究中结合相应的评估方法构建较为完整的评估方法体系，有助于进一步指导复杂信息界面可用性评估与实践。

[1] THACKER P, TULLIS T S. Application of Tullis visual search model to highlighted and non-highlighted tabular displays [C]//Human Factors Perspectives on Human-Computer Interaction: Selections from Proceedings of Human Factors and Ergonomics Society Annual Meetings. California: SAGE Publications, 1995, 31(11): 1221-1225.

[2] STREVELER D J, WASSERMAN A I. Quantitative measures of the spatial properties of screen designs [C]// INTERACT Conference Proceedings. Amsterdam: North Holland Publishing, 1984: 125-133.

[3] COMBER T, MALTBY J R. Evaluating usability of screen designs with layout complexity [C]//OZCHI 95: Fifth Australian Conference on Computer-Human Interaction. New York: ACM Press, 1995: 175-178.

[4] 谭浩, 李薇, 吴永萌. 交互特征研究与设计应用[J]. 湖南大学学报: 社会科学版, 2015, 29(2): 155-160.

[5] 熊远博. 复杂结构信息显化与复杂系统界面设计研究[D]. 南京: 东南大学, 2013.

[6] ENDSLEY M R. Design and evaluation for situation awareness enhancement [C]//Proceedings of the Human Factors and Ergonomics Society Annual Meeting. California: SAGE Publications, 1988: 97-101.

[7] 郑燕, 刘玉丽, 王琦君, 等. 产品可用性评价指标体系研究综述[J]. 人类工效学, 2014, 20(3): 83-87.

On the Usability Evaluation Index System of Complex Information System Interface

ZHAO Xin1, DING Yi2, HOU Wenjun2, CHEN Xiaolin2

(1. China Academic of Electronics and Information Technology, Beijing 100041, China; 2. School of Digital Media & Design Arts, Beijing University of Post and Telecommunications, Beijing 100876, China)

With the rapid development and extensive use of complex information system on both military and civil field, design of the display interface of complex information system needs to be improved to a higher level. The usability evaluation can be used to guide the improvement of the interface design of complex information system, which can reduce the workload of users induced by the complexity of system, and also improve the performance of users. This has already become a problem demanding prompt solution. This paper researched on the complex information system interface and analyzed from the features of interface, task and cognition, after which, the influence factors of interface complexity were put forward, the index system of complexity evaluation was constructed and the index weight of the complexity of interface was studied by AHP, and in the end, the corresponding usability index system was put forward according to the complexity model.

complete information system; usability; analytic hierarchy process; index system

TP 391

10.11996/JG.j.2095-302X.2018040716

A

2095-302X(2018)04-0716-07

2018-04-07；

2018-06-10

赵 欣(1967-)，男，河北藁城人，高级工程师，硕士。主要研究方向为机载电子信息系统人机交互设计与评估。 E-mail：hdpuzhaoxin@163.com

侯文军(1963-)，女，山西太原人，教授，博士。主要研究方向为人机交互与数字媒体。E-mail：hou1505@163.com