航天器软件人机界面工效评价指标与评价方法研究

孙建华，蒋 婷，王春慧，刘 旺，姜昌华，孙恒硕，宋 玲，崔玉静，杨燕昆，张小鹏，吴立涛

(1. 中国航天员科研训练中心人因工程重点实验室，北京100094；2. 西安交通大学机械工程学院，西安710049)

1 引言

航天工效学以航天员为中心的理念、方法贯彻到航天器和航天任务设计与研制的全周期，从系统层面研究人-机、人-环、人-人相互关系和影响，制定工效学要求和评价准则，开展航天工效学评价，确保航天器的适人性，提高人在航天器的工作效能进而优化系统效能，实现人-机-环系统安全、高效[1-2]。 在载人航天任务中，航天员在轨工作、生活过程中，需要频繁使用软件产品来完成航天器管理、日常生活管理、科学实验等任务操作，软件人机界面的工效学评价是航天员工作效率、系统绩效及安全性的重要保障。 航天器软件人机界面的工效学评价既要考虑产品工程研制的不同时期，也要结合单机、分系统及系统不同层面的评价要素状态，并针对人机界面各要素给出明确的评价结论和改进建议。

针对软件人机界面评价指标，以国际标准组织ISO 颁布的9241 系列标准最为常用，该标准是关于办公环境下视觉显示终端的人机工程学国际标准，包含了信息显示、对话原则等在内的各种软件界面设计的要求和指导原则，但并不完全适用于中国航天器软件人机界面的工效评价。 如ISO 9241-11 提出的效率、有效性、满意度[3]，只是对软件进行一个整体的评价，评价人员无法通过这些指标判断问题原因，进而无法提出改进建议[4]；早期的研究者如Shackle[5]提出了评价模型，包含有效性、易学性、效果等一级核心指标；Lewis[6]提出了ASQ 评价模型，其一级核心指标包含有用、信息质量和界面质量；Schneiderman[7]把网站响应速度(Response speed)、用户学习时间(User learning time)、用户使用网站后长时间保持的能力(Maintain)、使用过程中的出错率(Error rate)、使用者的主观满意度(Satisfaction)5 个指标列为网站的评价指标集；Jakob Nielsen[8]提出的评价模型包含允许动作回退、一致性、容错性、防误、易理解性、主观满意度等一级核心因素。上述评价模型在软件人机界面工效评价领域应用较广，但是每个研究者提出的软件人机界面评价指标体系各有不同，且在对各级指标的选取原则、具体过程以及构建的一般方法方面研究较少，定性研究较多，定量研究很少，且与相应研究问题密切相关，在具体衡量指标体系的构建方面未能形成较为统一的观点。 在航天领域，NASA 认为人机界面在整个系统中都应该是标准的，包括界面的标准化和整个系统操作运行方法的标准化，注重人机界面的一致性和易学性。 主要从可用性、简单性、一致性和易读性4 个通用原则进行了阐述[9]，未系统提出针对软件人机界面的评价指标体系，并不适用于中国航天器软件人机界面评价。

国内外学者在选取人机界面综合评价方法时会把多种评价方法进行结合[10]，包括认知预演法，启发式评估，有声思维、问卷法、生理评价法等。 对于航天器软件人机界面，每一种方法都不能完全胜任工效评价的全部要求，需要把各种方法结合起来，充分发挥各自的特点，相互弥补不足。

针对以上问题，本文对航天器软件人机界面评价指标体系构建的一般方法进行探讨，给出指标体系构建的相关原则和实施措施。 根据软件人机界面要素特点和评价原则，提取评价指标，形成指标体系，并进行有效性检验。 针对航天器软件人机界面评价指标的特点，选择对应的评价方法。对航天器软件人机界面进行系统的工效学评价，定位工效问题，并针对工效评价指标给出结论，提出改进建议。

2 评价指标

2.1 要素分析

界面要素具有不同类型的属性，这些属性会影响软件整体的易用性、可用性。 每个界面要素的属性可分为3 类：要素属性、整合属性和交互属性[11]，属性定义及举例如表1 所示。

表1 界面要素属性分析[11]Table 1 Interface element attribute analysis[11]

进行航天器软件人机界面评价时，需针对软件人机界面具体设计给出评价结论[12]。 在梳理评价指标时要将软件人机界面分解为界面要素。在对航天器软件人机界面层次架构及界面组成分析的基础上，按照界面要素属性和交互属性将界面要素归为5 类：文字按钮、文字标签、图像按钮、图像标签、文本框，具体特征，如表2 所示。 如界面上有1 个由文字组成的控件，可以点击，点击后有反馈，不能输入文字，不含图片，则该控件可归类为文字按钮。 工效评价人员可根据表中所述特点对界面要素进行归类。

表2 界面要素分类Table 2 Classification of interface elements

2.2 评价指标体系

航天器产品的工效学评价通常根据产品的层级关系分为单机级、分系统级和系统级评价，在不同层级根据产品的接口属性评价不同的工效学指标及内容。 据此原则，航天器软件人机界面评价原则分为2 个部分：一是界面要素的可视性、可读性、可懂性，软件人机界面被定义为用户看到、听到、触摸或操作的对象的集合，要给出每类显示页面中各元素三方面的评价结论和建议；二是软件界面的任务匹配性，评价重点关注软件人机界面要素能否完整有效地支撑操作任务完成、能否保障航天员快捷有效的操作、能否防止误操作风险。

将评价原则向界面要素分解提取评价指标，如评价原则中的任务匹配性，将该原则向界面要素分解，操作软件执行特定的任务，首先要考虑的是任务中需要操作的每个界面要素的属性；该特定任务涉及的界面要素大于等于2 个，指的是界面要素的整合属性；用户操作界面要素的交互动作，指的是界面要素的交互属性。 所以任务匹配性需要将界面要素的3 个属性都考虑进去。

软件人机界面的设计是在软件使用情境及用户需求分析的基础上，进行界面要素、逻辑结构、交互流程的具体设计[13]。 对软件人机界面评价可从以下3 个维度考虑：一是界面层，是指界面要素和逻辑结构，对应到界面要素属性是指界面要素的个体属性和整合属性；二是操作层，主要是指交互流程的设计，针对界面要素属性是交互属性；三是需求层，是指界面设计的前提是用户需求分析，从软件整体的设计上来说，是否满足用户执行该软件完成特定任务所需的功能，对软件的整体使用是否满意。

界面层主要是指要素属性和整合属性，要素属性主要是指界面要素独立具有的属性；整合属性主要指的是多个界面要素组合起作用，如界面要素的布局、排序或层次结构等，可将一级指标梳理为界面布局、界面层级、界面信息、界面要素；操作层主要是指界面要素的交互属性，是用户操作软件人机界面时发生的属性，可从操作流程和交互要求两方面进行考虑，操作流程指标是指任务操作流程应该符合用户操作习惯和认知期待，用户可以顺畅高效地完成任务；交互要求指标是指软件应支持用户完成任务操作。 针对交互要求共提取了7 个二级指标：操作反馈、防误、返回功能、搜索、交互暗示、一致性。 以操作反馈指标为例：用户在操作任务时，系统应不断告知用户目前它正在做什么及是如何响应用户输入的[14]。 反馈是人与界面交互过程中非常重要的一环，指在执行任务操作时，应有信息反馈告知用户软件当前操作状态，如某一任务操作结束后应有反馈信息，告知用户任务是否完成。 以系统响应时间为例，0.1 s 是用户能够承受的“控制性”的极限；1 s 是用户能够承受的“得到回应”的极限；10 s 是用户能够等待一个动作完成的极限，对应响应时间应提供相应的操作反馈；需求层主要从用户需求、用户满意度两方面来考虑。 最终形成8 个一级指标，51 个二级(底层)指标构成的指标体系，一级指标如表3 所示。

2.3 评价指标体系有效性检验

对航天器软件人机界面评价指标体系有效性检验，主要是检验指标是否覆盖航天器软件人机界面所有评价项及每个指标是否必要。 从必要度、重叠度、完备度3 个角度对指标体系进行有效性性检验，必要度是检验指标体系中各底层指标存在的目的性、必要性[15]；重叠度是检验软件人机界面指标体系的结构冗余度；完备度是检验指标体系涵盖的指标是否全面。

表3 评价指标体系Table 3 Evaluation indicator system

邀请12 名航天工效评价专家对51 个单项指标的必要度进行打分(1，2，3，4，5 分别代表指标非常不必要、比较不必要、一般、比较必要、非常必要)，结合必要度评判的集中度和离散度求取必要度系数。 必要度系数为离散度/集中度，离散度取值越小说明评判意见越集中，一般若离散度取值小于0.63，说明离散度符合要求；集中度取值越大说明重要程度越高，设置集中度界值为2，说明至少达到一般等级[16]；离散度越小，集中度越高，必要度系数越小，则该指标必要度越高，限制必要度系数≤0.63/2 ＝0.315，51 个指标的必要度系数取值均小于0.315，符合必要度系数要求。 12名专家对两两的重叠度进行打分，第i 个指标与第j 个指标重叠度取值为rij∈[0，1]， rij取值为0，表示两个指标完全不存在重叠关系，rij取值为1，表示两个指标完全重叠。 指标体系综合重叠度为所有指标重叠度取值之和，设定严格综合重叠度度系数为0.1，限制指标集综合重叠度≤底层指标个数×严格综合重叠度系数＝51×0.1 ＝5.1。指标体系综合重叠度取值为1.83≤5.1，符合重叠度要求。

在对指标体系进行必要度和重叠度打分后，12 名专家已对指标体系有了充分地了解，在此基础上询问专家指标体系是否全面。 专家一致认为现有指标体系已覆盖软件人机界面评价项目，未提出新指标，现有指标体系符合完备度要求。

3 评价方法

根据评价指标特点将指标体系中的51 个底层评价指标分为3 种类型：可视可测量指标、用户操作类指标、主观感受类指标。 可视可测量的指标可以通过眼睛观察判断，也可借助技术手段来获取具体的定量数据，如字体大小、对比度等；用户操作类指标主要针对操作反馈、搜索等；用户主观感受类指标受到用户主观感受及日常操作习惯及认知的影响，不能由评价者自行评价，需要对用户进行任务后调查来获取可信的数据，进而判断指标是否达标。 这一类指标主要是指用户主观满意度。

针对以上3 类指标，对应选取了5 种具体的评价方法，指标类型与评价方法对应关系如表4所示。

表4 指标类型与评价方法Table 4 Evaluation indicators and evaluation methods

如表4 所示，按照指标类型及适配的评价方法，将软件人机界面评价分为3 个轮次：界面要素评价、单一操作任务评价和情境任务评价。 单一操作任务评价主要考虑软件操作的覆盖性，情境任务是在覆盖性分析的基础上选取典型情境任务。

3.1 界面要素评价

采用专家走查法，确定评价指标项，如文字按钮-字体大小、文字按钮-字体间距、文字按钮-对比度、文字按钮-字体颜色等，编制界面要素走查表，由2～3 名航天工效评价专家持游标卡尺、亮度计等测量工具进行基于显示界面要素的静态评价。

3.2 单一操作任务评价

单一操作任务主要考虑软件操作的覆盖性，覆盖软件所有的功能。 根据测试任务梳理对应评价指标项，通过任务操作是否出错，判断该任务涉及的软件界面是否有工效问题。 判别工效问题主要依据以下两点：一是受试者是否能完成任务，针对设计好的测试任务，测试前，预先定义好每个任务的标准操作路径。 测试完成后，与受试者的任务操作路径对比，判断是否出错，并定位出错步骤；二是受试者是否能高效地完成任务，针对受试者操作路径与标准操作路径相同的步骤，将受试者任务操作步骤时长与专家用户操作步骤时长进行对比。 选取了9 个数据指标辅助判别工效问题，如标准操作步数、受试者实际操作步数、受试者第i 步骤的操作时长、第i 步骤界面要素是否有注视点等，并针对数据指标设计工效问题判别式。

受试者的选取需满足具有航天知识背景，接触过大量软硬件产品，熟悉航天器舱体环境，根据《可用性工程》中“5 个受试者可以发现80%以上的可用性问题”[14]，确定单一操作任务评价轮次受试者数量为5～8 人。

3.3 情境任务评价

软件使用环境决定了使用者的需求特异性，用户需求指标对于软件整体设计来说起决定作用。 单一操作任务考虑了软件功能的覆盖性，但是无法发现软件在各种使用情境下可能出现的问题。 所以在覆盖性分析的基础上，选取典型情境任务，结合真实使用场景进行测试，评价软件是否满足真实使用场景下的需求，此评价方法无需设计测试任务，在航天员执行真实任务时采集数据即可。

4 评价实践

基于航天器软件人机界面工效评价指标和评价方法，针对在轨物资信息管理系统软件、通用计算机程序专用下载软件、综合显示单元软件、音频单元软件、电子手册软件、医学信息综合管理软件6 个航天器软件进行工效评价，来验证本文提出的航天器软件人机界面工效评价指标和评价方法，并总结现有航天器软件人机界面普遍存在的工效问题，提出改进建议，为之后的软件界面研制提供设计指导。

将评价指标与评价方法应用到航天器软件人机界面的工效评价中，发现不同航天器软件存在的工效问题具有共性。 经统计，各评价轮次发现的不合格指标数量占比如图1 所示。

图1 各评价轮次发现不合格指标数量占比Fig.1 Quantity proportion of unqualified indicators found in each evaluation round

由图1 所示，界面要素评价轮次发现不合格指标数量占比为6%，在所有评价轮次中占比最少，说明航天器软件整体的可视可读性较好。 界面要素评价轮次占比较大的不合格指标类型主要是涉及图像按钮的对比度、图像大小及操作空间等，航天器软件设计可适当增大按钮与背景界面的对比度；适当放大图像按钮尺寸及操作空间。

单一操作任务评价轮次主要考虑软件操作的覆盖性，覆盖软件所有的功能，发现的不合格指数量占比为单一操作任务评价占比(74%)与单一操作任务评价＆ 情境任务评价占比(12%)之和(86%)。 在所有评价轮次中比重最大。 按照指标体系的一级指标对不合格指标分类，界面要素类(24.55%)、交互要求类(22.73%)、界面布局类(20.91%)不合格指标占比较大，3 类不合格指标占比之和占所有不合格指标的68.19%。 建议着重从航天器软件人机界面的交互方式及界面布局进行改进设计。

情境任务评价轮次是在覆盖性分析的基础上选取典型情境任务，结合真实的使用场景进行测试，发现的不合格指数量占比为图1 中情境任务评价占比8%及单一操作任务评价＆ 情境任务评价占比12%，之和为20%。 情境任务评价发现的不合格指标中有57.69%，同单一操作任务评价发现的不合格指标一致，情境任务评价单独发现的不合格指标占比为42.31%，说明情境任务评价可以发现单一操作任务评价发现不了的不合格指标项，证明情境任务评价是非常必要的。

情境任务单独发现的不合格指标类型数量占比如图2 所示。 从图2 中可以看出用户需求类不合格指标占比最大，比值为55%，用户需求对于软件整体设计来说是非常重要的，情境任务评价旨在分析软件是否满足真实使用场景的用户需求，再次验证了情境任务评价轮次的必要性和重要性。 建议在软件设计前期对航天员进行用户需求调研，确保软件人机界面设计符合用户需求。

图2 情境任务评价轮次-不合格指标类型数量占比Fig.2 Situational tasks evaluation round-quantity proportion of unqualified indicator types

5 结论

1)构建了适配于航天器软件人机界面的工效评价指标体系，含8 个一级指标，51 个二级(底层)指标，并通过了必要度、重叠度和完备度检验；

2)构建了适配于航天器软件人机界面评价指标体系的评价方法，包含5 种评价方法，共分为3 个评价轮次；

3)经过航天器软件人机界面工效评价实践，验证了评价指标与评价方法的有效性，提炼了现有航天器软件人机界面普遍存在的工效问题，有助于改进现有航天器软件人机界面及指导新的航天器软件人机界面规避此类工效问题，可提升航天器软件的可用性、易用性、通用性，对提高航天器软件人机界面的设计水平具有直接的应用价值。 并可减少培训的学习消耗，提升航天员的安全性和工作效率，提高系统绩效，保障飞行安全。

参考文献(References）

[ 1] 王春慧， 陈晓萍， 蒋婷， 等. 航天工效学研究与实践[J].航天医学与医学工程， 2018. 31(2)： 172-181.

Wang C H， Chen X P， Jiang T， et al. Research and practice of space ergonomics[J]. Space Medicine＆Medical Engineering， 2018. 31(2)： 172-181.(in Chinese)

[ 2] 陈善广，姜国华，王春慧，航天人因工程研究进展[J]. 载人航天， 2015(2)： 95-105.

Chen S G， Jiang G H，Wang C H. Advancement in space human factors engineering[J]. Manned Spaceflight， 2015(2)：95-105.(in Chinese)

[ 3] International Organization for Standardization. ISO 9241-11-2018 Ergonomics of Human-system Interaction — Part 11：Usability： Definitions and Concepts[S]/ / ISO/TC 159/SC 4 Ergonomics of human-system interaction. International Classification for Standards：13. Geneva： International Organization for Standardization， 2018：9-12.

[ 4] 李乐山. 人机界面设计(实践篇)[M]. 北京： 科学出版社， 2009：144-145.

Li L S. Human-Machine Interface Design (Practice) [M].Beijing：Science Press， 2009：144-145.(in Chinese)

[ 5] Shackel B. Usability-context， framework， definition， design and evaluation[J]， Human Factors for Informatics Usability，1991， 21-37.

[ 6] Lewis J R. An after-scenario questionnaire for usability studies： Psychometric Evaluation over three trials[J]. ACM SIGCHI Bulletin， 1991， 23(4)：79.

[ 7] Shneiderman B. Human factors of interactive software[C]/ /Enduser Systems and Their Human Factors. Springer， Berlin，1983：9-29.

[ 8] Nielsen J. Usability inspection methods [C]/ /Conference Companion on Human Factors in Computing Systems. Association for Computing Machinery， New York， United States，1994：24-28.

[ 9] 陈善广，姜国华，陈欣，等.人整合设计手册(上)[M].北京：中国宇航出版社，2016：654-659.

Chen S G，Jiang G H，Chen X， et al. Human Intergation Design Handbook(The First Volume)[M].Beijing： China Astronautic Publishing House，2016：654-659.(in Chinese)

[10] Paz F， Paz F A， Pow-Sang J A. Application of the communicability evaluation method to evaluate the user interface design： a case study in web domain.[C]/ / International Conference of Design， User Experience， and Usability. Toronto.Canada， 2016： 479-490.

[11] Han S H， Hwan Y M， Kim K J， et al. Evaluation of product usability： development and validation of usability dimensions and design elements based on empirical models[J]. International Journal of Industrial Ergonomics， 2000. 26(4)： 477-488.

[12] 周前祥，姜国华. 基于模糊因素的载人航天器乘员舱内人-机界面工效学评价研究[J]. 模糊系统与数学， 2002. 16(1)： 99-103.

Zhou Q X， Jiang G H. Ergonomic evaluation of man-machine interface in crew cabin of manned spacecraft based on fuzzy factor[J]. Fuzzy System and Mathematics， 2002. 16(1)：99-103.(in Chinese)

[13] Savidis A， Stephanidis C. Unified user interface design： designing universally accessible interactions[J]. Interacting with Computers， 2004， 16(2)：243-270.

[14] Nielsen J. 可用性工程[M]. 北京：机械工业出版社，2004：88-89，100.Nielsen J. Usability Engineering[M]. Beijing：China Machine Press， 2004：88-89，100.(in Chinese)

[15] 李远远. 基于粗糙集的指标体系构建及综合评价方法研究[D]. 武汉：武汉理工大学， 2009.

Li Y Y. Research on Indicator System Construction and Comprehensive Evaluation Method Based on Rough Set Theory[D]. Wuhan：Wuhan University of Technology， 2009.(in Chinese)

[16] 余昆. 大型船舶驾驶室人机界面综合评估研究[D]. 哈尔滨：哈尔滨工程大学， 2012.

Yu K. Study on Comprehensive Evaluation of Man-machine Interface of Large Ship Cab[D]. Harbin：Harbin Engineering University，2012.(in Chinese)