数字化监控任务界面中信息特征的视觉搜索实验

吴晓莉 薛澄岐 Gedeon Tom 胡 鸿 李 晶

(1河海大学机电工程学院, 常州 213022)(2Research School of Computer Science, The Australian National University, Canberra 2601, Australia)(3东南大学机械工程学院, 南京 211189) (4湖南工学院安全与环境工程学院, 衡阳 421001)(5南京林业大学家具与工业设计学院, 南京 210036)

随着计算机和通讯技术的快速发展,数字化、智能化的人机交互界面已经引入到核电厂监控、交通枢纽、军事信息化作战等大型、复杂的操作执行系统.这些复杂信息系统正面临着全新的模式,操作员将与数字化信息呈现的交互界面进行监视、查询、响应和执行的整个认知行为过程.监控任务界面中的信息主要指系统呈现在界面上传递给操作者认读的内容,包括字符、文本、图像、图标、色彩、维度等表达方式,通过不同呈现方式组成特指含义的信息块.通常通过颜色、大小、形状、方位等属性来表现信息的特征[1].任务界面信息呈现研究涉及设计科学、心理学和计算机科学交叉的新领域.Wu等[2]用生理实验评估人机界面的操作行为和认知负荷；Salman等[3]通过对紧急医疗信息系统的导航栏和用户界面设计来展开生理实验研究,提出了具有参考价值的设计方法.Neyedli等[4]针对自动化作战识别系统的信息呈现,采用军事模拟与虚拟建模的测试环境考察敌军、友军、制服、头盔等视觉目标信息呈现的形式.Zhou等[5-6]对界面元素布局进行分析,提出界面设计美度的评价方法；李晶等[7-8]研究人机交互界面中信息的可视化结构,通过均衡时间压力提出信息编码的合理性建议；文献[9-12]提出数字化交互界面的脑电评估方法.吴晓莉等[13-15]研究信息交互界面的视觉局限生理实验方法,分析视觉搜索过程中信息疏漏、错误感知的根本原因.以上通过界面信息分析与评估方法、生理实验等手段的研究,为监控任务界面信息特征的研究提供了可参考的依据.本文针对信息特征的视觉搜索过程,从凝视-扫视的浏览路径分析操作员搜索信息的注意资源分配,展开眼动跟踪实验.

1 信息特征获取

操作员执行任务需要获取信息特征,若干个信息特征成为了若干个搜索目标.信息特征的获取过程就是操作员视觉(眼动)搜索的过程.本文从眼动的反应机理(凝视-扫视)和注视点数据密度(集簇)阐述视觉搜索过程.

1.1 凝视-扫视-凝视

在目标搜索过程中发生凝视-扫视-凝视的浏览路径,并伴随着认读、辨识、判断选择和决策,然后进入下一个目标搜索任务(见图1).Yarbus[16]认为,特征承载的信息越多,双眼停留其上的时间就越长.视觉搜索是信息认知过程的重要阶段,而注意支配着视觉搜索过程的凝视与扫视.视觉搜索主要是前注意信息的加工处理,可以说是无意识的.前注意信息一般指视觉信息界面中能够引起无意注意的信息自身属性,如颜色、大小、形状、方位等.

图1 一个凝视周期[17]

1.2 信息特征搜索产生的集簇

凝视到扫视产生的浏览路径是一个注视点跨越到另一个注视点,在注视点会有持续时间, Salvucci等[18]提出了注视点眼动速度识别的基准值算法(I-VT).注视点的位置由原始眼动数据中的X和Y值的均值确定.扫视长度需要根据注视点的X,Y坐标计算出斜边的长度,这主要用来分析某个被试的扫视路径.搜索路径持续时间包括了凝视时间,即扫视时间加上注视持续时间.

在眼动跟踪技术中,把UFOV作为一种集簇(cluster)分析图,并定义为一种可在背景图上呈现注视点数据密度最大的区域可视化图形.集簇算法就是为了找到眼动数据的空间分布模型.集簇算法公式[19]可表示为

式中,σs为距离基准值或空间的长度;xi,yj为注视点坐标.

1.3 信息特征搜索过程的相关参数

根据凝视与扫视过程和目标搜索产生的集簇分析可知,合理的信息特征呈现能够有效分配操作员的注意资源,提高视觉搜索效率,对操作员任务执行的认知绩效起到关键作用.因此,可通过认知处理信息的时间和搜索信息的时间获得搜索效率、目标搜索反应时、扫视次数、注视点数等眼动数据[20],由信息特征呈现的差异以及集簇分布获得不同信息特征的注视点密度,如表1所示.通过视觉搜索实验可展开操作员搜索目标的注意资源分配研究,得到优化监控任务界面的有效依据.

2 信息特征的视觉搜索实验

表1 信息特征搜索过程的相关参数[20]

按照Yarbus[16]实验的范式,本文将采用眼睛运动与定点注视的分析方法,分析在监控任务过程中操作员是如何将视觉注意分配到不同信息内容上的.结合Goldberg等[17]提出的凝视-扫视的信息搜索过程,分析典型监控任务界面中不同任务的眼动跟踪轨迹.从而获得视觉信息界面中不同信息特征的行为和生理反应规律.

2.1 实验材料

本文采用某航战显示系统的监控任务界面作为实验材料.该界面由飞行数据显示、水平位置显示、雷达态势以及武器挂载4个界面组成(具体子界面显示内容不做详述).在实验材料中包含了大量的信息特征,这些特征全部承载于监控任务界面中(包括了表示不同含义的信息图标、各种不同模式的信息表达方式、各种数据表达形式、各种方位的指示符号、各种状态信息的表达方式以及大量的简写符号、大写字母表示等).本实验将真实的监控任务界面作为眼动跟踪的视觉搜索材料,在不同任务中,呈现同一个信息界面.

2.2 实验设计与程序

本实验考察在监控任务界面呈现复杂的信息特征时,人眼搜索注意加工特性的信息；考察在不同任务与不同信息区域是否在眼动指标上存在差异,以及不同信息区域搜索过程中的相对差异.本实验采用4(任务)×9(区域)两因素被试设计.其中,按照操作员监控过程任务分为任务1、任务2和任务3(见图2),并增加一个无任务的自变量(主要目的是查看扫视的次数,以及无意识下的主要凝视点).同时,针对3个任务设定了相应的问卷,作为视觉搜索任务后,根据记忆回答不同信息的特征，如重要信息的颜色、容易忽略信息的方位等.根据飞行数据显示、水平位置显示、雷达态势和武器挂载相关信息特征所在的功能区,并根据聚集成信息块的大小、方位,划分了9个视觉区域,设定为INFO1～INFO9，见图2.根据功能布局,导航信息栏分别标记为INFO 1,INFO 2；飞行数据显示、水平位置显示、雷达态势以及武器挂载界面分别标记为INFO 3,INFO 4,INFO 5,INFO 6；状态信息栏分别标记为INFO 7,INFO 8和INFO 9.实验在河海大学人因交互实验室进行,实验设备采用TobiiX120眼动仪；被试为10名具有信息设计背景的研究生.

图2 被试无任务时的凝视与扫视

3 实验结果与分析

3.1 凝视与扫视

通过Tobii Studio Version3.1.0软件的数据可视化,可以得出被试信息搜索的整个凝视-扫视过程.图3为无任务状态下,被试无目的地观看,形成了密集的凝视-扫视过程.由图可以看出,被试虽然是无目的地观看,也会在某个区域聚集较多的注视点,从扫视路径的长度也可以看出有反复的左右、上下往返查看信息的内容.

图3 被试无任务时的凝视与扫视

在不同任务驱动下,被试的凝视-扫视过程呈现出明显变化.由图4可以看到,注视点聚集的区域有很大不同.任务1需要寻找代表飞机的符号,被试的注意集中在与飞机相关的图标类信息；任务2查看的是威胁相关的信息,被试会根据颜色、形状、数据等表达方式查看是否具有威胁的意义,视觉注意随着威胁相关性在移动,可以明显看到在出现敌机处有大量的凝视,可见这时被试在进行理解与辨析；任务3查看的是数据信息,在监控任务界面中有大量的数据信息,以不同方式表达并分布在各个不同的方位,明显扫视的次数远多于任务1和任务2,这与信息的布局有关.

(a) 任务1

(b) 任务2

(c) 任务3

3.2 被试的凝视/扫视比

由于扫视路径不能被叠加,分析一个被试的凝视-扫视过程,比较不同任务下的搜索路径与搜索效率,即凝视/扫视比.表2给出了3种任务下被试的反应时、凝视持续时间和扫视次数,左边为监控任务界面中的轨迹图,右边为提取后的搜索路径.可以看出,不论从反应时还是凝视持续时间3种任务成依次递增趋势,说明任务3对数据信息的搜索时间远大于任务1和任务2,任务1搜索耗时最短.Goldberg等[17]提出了如下的视觉搜索效率公式：

式中,f为认知处理信息的时间(指凝视持续时间)；s为搜索信息的时间(指扫视时间),也叫搜索路径持续时间.因此

式中，R1,R2,R3分别为任务1～任务3的搜索效率.

搜索效率可以说明界面信息布局的优劣,认知处理时间应远大于搜索信息时间,即R>1,说明信息布局合理,搜索信息的效率高.从数值明显可以看出,监控任务界面的信息搜索不利于被试的快速搜索,在任务2执行过程中信息分布略好于任务3和任务1.

针对不同任务的凝视与扫视,可进一步结合反应时、凝视总时间、注视点数、扫视时间和扫视次数等数据,分析不同任务的差异性.

表2 在3种不同任务驱动下一个典型被试的搜索路径

3.3 视觉搜索反应时和眼动数据的差异性比较

不同任务下的反应时与眼动参数均值与标准差,如表3所示.反应时表示信息搜索的速度,对反应时的方差分析表明,不同任务的主效应(F=19.463,P=0.048,P<0.05)达到显著性水平；总注视时间是完成任务所有凝视持续的总时间,表示花费在视觉编码的时间长短.对凝视持续时间的方差分析表明,不同任务的主效应(F=55.687,P=0.005,P<0.01)达到显著性水平.注视点数表示扫视的有效性,表示搜索目标的相对难度.对注视点数的方差分析表明,不同任务的主效应(F=54.918,P=0.005,P<0.01)达到显著性水平.扫视时间即为搜索路径持续时间,表示处理信息的复杂性程度.对扫视时间的方差分析表明,不同任务的主效应(F=55.907,P=0.005,P<0.01)达到显著性水平.扫视次数指标表示预搜索效率,对扫视次数的方差分析表明,不同任务的主效应(F=55.698,P=0.005,P<0.01)达到显著性水平.可见,不同任务对信息搜索的视觉认知都有显著性影响.

从眼动参数的比较可以看出,扫视时间远大于注视时间,扫视次数也远大于注视点数.通过凝视扫视比来比较界面信息的搜索效率.根据Ratio的计算公式,可以计算得到总的凝视持续时间与扫视时间之比和平均每次凝视时间与扫视时间之比.对2种凝视/扫视比的方差分析表明,不同任务的主效应(F=792.817,P=0.001,P<0.01)达到显著性水平.

表3 不同任务下的反应时与眼动参数均值与标准差

结果表明,凝视/扫视比与平均每次的凝视/扫视比有很大差异,如图5所示.无任务和任务1的平均每次的凝视/扫视比大于1,任务2和任务3分别为0.967和0.931,也趋近于1；总的凝视/扫视比均小于0.13,这很难用搜索效率来说明监控任务界面的信息布局问题.为了更深一步了解信息布局,还需要划分不同的监控区域,分析不同信息区域的眼动数据.

图5 凝视/扫视比

3.4 不同监控区域的眼动数据差异性比较

对监控区域总注视时间的方差分析表明,不同区域的主效应(F=7.939,P=0.045,P<0.05)达到显著性水平.从不同任务角度分析,注视时间上无明显差异,任务1注视时间相对其他任务短一些,说明寻找飞机图标的任务执行相对容易.对不同任务的监控区域注视点数方差分析表明,监控区域的主效应(F=7.786,P=0.039,P<0.05)达到显著性水平.9个不同监控区域的注视点数趋势与总注视时间趋势基本保持一致.对不同任务的监控区域访问次数方差分析表明,监控区域的主效应(F=9.033,P=0.004,P<0.01)达到显著性水平.INFO 3～NFO6区域的访问次数明显多于其他区域,特别是INFO5雷达态势子界面的访问次数达到最高值,说明该区域的信息搜索的往返率较高,表明信息的分布密集,也可能是该区域的信息识别较差,需要反复搜索目标.

4 讨论

4.1 认知信息处理与任务的关系

从监控任务界面的行为和生理反应指标可以看出,被试在同一个界面执行不同的任务,其相应的反应时、凝视持续时间、注视次数、扫视时间和扫视次数也有显著性差异.信息的搜索路径表现出任务1、任务2、任务3逐渐繁杂.被试的搜索路径表明了任务与信息内容的关联性,由于任务的导向,被试可能会关注某个区域并增加认知信息处理的时间.

由于信息的不同区域分布,每个被试凝视和扫视的区域面积不尽相同.说明任务执行中并不是全部区域的信息搜索,被试也会出现信息遗漏、寻找不到的情况.任务搜索后的问卷测试进一步说明认知信息处理的过程.表4为问卷测试结果.

表4 被试对不同任务中认知信息处理的测试与结果

在任务1中,被试搜索飞机图标.大部分被试都能首先看到红色的敌机以及绿色的友机,均匀分布在雷达态势界面中,被试在对这个区域认知信息处理后,还会寻找其他相关的飞机信息,这时至少有一半的被试会忽略主机符号.因此,凝视时间(认知信息处理时间)主要集中在雷达态势界面,在眼动数据中可以看到该区域有集中分布的注视点数(9.375次).在任务2中,被试搜索威胁信息.监控任务界面中敌机以红色凸显出了威胁信息的存在,紧急任务会以黄色图标，数据提示其威胁的程度,在其他的信息区域也会有相应的信息表达.同样,在雷达态势界面中,眼动数据表明了集中分布的注视点数(14.250次)远大于任务1.测试结果还表明,红色三角的指示符号认为是最紧迫的任务,与威胁相关.在这些图标、符号上,被试都花了大量的认知信息处理时间.在任务3中,被试搜索数据信息的不同表达方式.监控任务界面中含有大量的数据信息,并分布于不同的区域,这将会产生大量的扫视.眼动数据表明,任务3的凝视持续时间和扫视时间最长(4 590.25和39 542.63 ms).问卷测试的结果发现,绿色和蓝色的数据信息最重要；绿色的字符最容易引起人的注意,加框的字符也会引起注意.搜索轨迹和测试结果都表明了上部信息栏的数据最容易被忽略.因此,采用不同方式表达信息,也会增强认知信息处理的时间,从而达到信息被搜索到的目的.

以上分析发现,由于被试对信息的理解程度和视觉注意力的分配,在认知信息处理过程中,会产生信息遗漏,如没有搜索到主机的符号、上方信息栏数据信息没有查询等；同时由于信息的方位,被试也会产生信息的误读/误判,如武器种类的数目、威胁信息等；查看数据信息时也会受到其他信息的干扰,造成注意转移分散,从而错过、忽略相关的数据信息.

4.2 信息搜索与监控区域的关系

从不同监控区域的眼动数据差异性比较可知,总注视时间、注视点数以及访问次数,都说明了INFO 1～INFO 9不同监控区域的差异性显著.信息搜索的效率与信息的方位有很大关系,这也与视觉特性有关.根据视觉特性,眼睛的搜索行为一般受到界面中的物理位置的引导,当被试在搜索目标中采用系统扫视模式时,视线的变化习惯于从左到右,从上到下和顺时针方向运动[20].然而,在复杂的信息界面中,人眼的运动特性会随着任务而改变,这正是视觉搜索模型所提出的序列搜索和平行搜索,如果任务目标是被某个显著维度的某个水平确定时,就会出现序列搜索的不同情况.在搜索中,目标好像是突然显现,即当任务目标能用一个简单规则定义时,平行搜索就发生了[21-22].

眼动数据表明,被试的搜索路径按照信息的方位和任务导向为依据,进行序列搜索.界面信息的设计要求以视觉行为规律为依据,按照最短搜索路径对界面设计优化.根据凝视/扫视比可以看出,监控任务界面的信息布局很差(R<0.13),扫视时间远大于凝视时间,说明被试信息搜索的时间大多花在了寻找,产生了大量的扫视.

由此可见,扫视过程中会由于意向性减弱,造成记忆消退或注意转移,从而错过或忽略信息；同时信息所处方位,没有对该方位进行扫视,也会造成信息疏漏.

4.3 信息特征的集簇关系

被试的任务主要是寻找监控任务界面中的信息特征.不同的信息特征均会对注视时间和点数、扫视时间和次数产生影响.如敌机的图标特征、绿色字符特征、武器特征、红色三角框特征等,眼动数据表明在这些特征区域有较多的凝视持续时间和注视点数.可以根据Tobii Studio软件中注视点数据密度程度,生成可视化的集簇分析图.如图6所示,图像中的集簇面积说明了注视点数集中的区域.

图6 监控任务界面集簇图

视觉注意分为目标导向(goal-directed)的内源性注意和刺激驱动(Stimulus-driven)的外源性注意[23].内源性注意受到任务目标和主观意图控制,外源性注意是显著刺激的自动捕获.在监控任务界面中,被试在任务驱动下进行信息搜索,然而认知信息加工过程中,也会受到其他显著信息特征产生注意转移,即信息的突出特征捕获了被试的注意.如任务3中被试在寻找数据信息时,在敌机、友机特征上也产生了较多的注视点.因此,注视点数能够说明信息搜索中信息特征的集簇关系.

集簇图中根据注视点数划分了24个集簇区域,表5列出了飞行数据界面、水平位置显示界面、雷达态势界面和武器挂载界面主要的集簇区域分布百分数.数据表明,敌机图标、敌机上方数据、飞行坐标、武器符号的集簇分布达到70%以上,说明被试在认知信息处理和信息搜索时间上更多关注这些信息特征.由于任务不同,不论是内源性注意,还是外源性注意,都表明了这些信息特征的显著性.以上分析表明,注视点的集簇凸显了容易被注意捕获的信息特征.

表5 集簇区域分布的百分数

5 结论

1) 监控任务界面的搜索轨迹表明,搜索路径受任务驱动的认知信息加工和信息搜索时间影响,不同任务的反应时和眼动数据均具有显著差异性.

2) 凝视/扫视比表明,在信息搜索过程中,扫视时间和扫视次数都远大于凝视持续时间和注视点数,这说明此监控任务界面的搜索效率较低.

3) 不同监控区域的注视时间、注视点数和访问次数均具有显著差异性,雷达态势子界面分布的信息特征容易被注意捕获,这与任务驱动和自动捕获都有相关性.

4) 信息的方位和信息特征(颜色、形状、大小等)与视觉搜索都有显著影响,在不同任务下,容易造成信息的疏漏、误读误判、错过/忽略等问题.