多模态告警和认知负荷对装甲车辆乘员反应的影响

孙晓东, 金晓萍, 解芳, 孙厚杰, 郑思涓

(1.中国农业大学 工学院, 北京 100083; 2.中国北方车辆研究所, 北京 100072)

0 引言

随着装甲车辆作战信息化水平不断提高,单车乘员的数量逐步精简成为主要发展趋势[1],其作业类型逐渐转变为根据车载信息显示完成对战场和车辆信息的采集、传输、处理和存储等[2]。而乘员的信息资源处理能力有限,来自战场多维度、多通道的大量信息易导致乘员的认知负荷增大、感知能力下降,作战绩效降低[3]。为了减轻乘员的信息资源负担,提高获取、理解和处理信息的速度和准确性,研究有效的告警方式来提示作战的关键信息至关重要,而在作战中最重要的信息是敌车的方位[4]。

多模态是指至少将两个感官系统(或感觉模态)进行结合,以促进人与复杂系统之间的有效互动[5]。乘员的感知和行为中经常无意识地处理和利用信息冗余是多感官信息的基础[6],互补或冗余的多感官信息可以提升告警效果[7]。因此,对敌车方位进行多模态告警可能会提升乘员的感知能力与任务绩效[8]。Wickens[9-10]的多资源理论为多模态告警提供了指导原则,它表明乘员的信息处理资源分为视觉、听觉、认知和动作4个部分,有些资源可以同时使用而不影响任务绩效,一种模态处理多个任务(例如同时处理两个听觉任务)可能会显著降低任务绩效。

目前多模态信息提示研究主要集中在驾驶、军事和航空等领域。Wang等[11]在驾驶模拟器中通过向驾驶员提供告警信号,发现视觉和听觉结合的多模态告警能够提高驾驶员的绩效。Huang[12]和Lundqvist等[13]研究了单模态、双模态和三模态方向告警对年轻和年老驾驶员反应的影响,发现年老驾驶员可以从双模态告警中获益,三模态告警潜在优势仍存在争议。Oskarsson等[14]在战斗车辆模拟器上使用三模态提示了威胁的动态方向,与单模态和双模态提示进行比较,发现三模态提示既有整体最佳的感知性能和反应表现,也不会增加乘员认知负荷,类似的多模态信息提示优势也可在军事航空[15-16]中看到。Ngo等[17]在空中交通管制训练场景中,研究了听觉、触觉和多模态告警,发现多模态告警显著提升了操作员的绩效。李家文等[18]提出一套适用于驾驶员不同疲劳状态的复合预警方案,该方案全面提高了疲劳预警效果。张子健[19]探讨了多模态刺激对驾驶员驾驶绩效的影响,发现声音和振动组合刺激方案在绝大部分指标上优于声音和振动刺激方案。陈慧娟[20]对飞行员驾驶舱信息显示进行了研究,通过添加听觉和触觉提示,减轻了视觉通道负荷,提高了信息感知的高效性和准确性。认知负荷在多模态信息提示中扮演着重要角色,认知负荷指用户在特定目标下,工作记忆保持并加工信息所能承受的负荷量[21]。在过去的研究中,Santangelo等[22]和Marucci等[23]进行了目标搜索实验,发现操作员在高认知负荷时,采用双模态信息提示能够提升操作绩效,而在低认知负荷时,双模态信息提示对操作绩效没有影响。Gilson等[24]发现在高认知负荷和视觉通道信息量过载情况下,添加触觉信息提示能够提升士兵作战绩效。

综上所述,目前研究在多个领域探讨了多模态信息提示的优势,然而在装甲车辆领域,由于使用场景的复杂性,针对敌车方向进行多模态告警的研究较少,相关理论研究与数据支撑非常有限。此外,关于乘员在不同认知负荷水平下对不同告警类型的反应效果评价也研究较少。因此,本文基于装甲车辆乘员任务虚拟仿真实验平台,面向装甲车辆乘员某一假定作业任务,以视觉告警为基线,研究敌车方向的多模态告警对不同认知负荷水平下装甲车辆乘员反应的影响,并对告警效果进行评价。

1 多模态告警实验方法

1.1 被试人员

实验招募了20名成年男性作为被试人员,年龄为18～30岁(平均值M=24.35岁,标准差SD=3.42岁)。所有被试者身体状况良好,均为右利手,无色盲色弱,双眼视力或矫正视力正常,听觉和触觉正常。

1.2 实验设备

实验基于自主开发的装甲车辆乘员任务虚拟仿真实验平台,如图1所示。该平台主要由作战环境、车辆控制、信息提示和内部数据4个主要模块构成。其中,作战环境模块提供了真实的作战场景,包括山脉、树木、岩石等,光照正常,被试人员通过车辆控制模块可实现车辆的前进与停止、炮台旋转、瞄准镜开闭和炮弹发射等,信息提示模块提供视觉和听觉告警信息,内部数据模块可记录被试者的任务绩效(包括反应时间、歼敌时间和反应错误率)。

图1 装甲车辆乘员任务虚拟仿真实验平台Fig.1 Virtual simulation experiment platform for armored vehicle occupant task

在装甲车辆作战任务中,乘员可通过视觉、听觉和触觉感知各种告警信息,以往国内外的告警方式大多也围绕这3种感官来设计。因此,本文实验考虑视觉、听觉和触觉3种模态告警。

视觉告警设计主要考虑视觉的颜色和提示形式。在颜色方面,选用乘员容易辨认的红色;在提示形式方面,选用乘员容易理解的时钟指针图标,时钟上的指针指向表明了敌车在己车360°范围内的方位。红色时钟图标显示大小为8 cm×8 cm,出现在乘员眼睛平视屏幕注视点的上方位置,不会影响正常的搜索和瞄准打击。如图2所示,实验设计了8种时钟图标,能够提示敌车的8种方位情况。

图2 视觉告警Fig.2 Visual warning

听觉方面,通过无线蓝牙耳机接收实验平台内置的8种时钟形式的听觉告警,为男声提前录制,例如“5点钟方向,5点钟方向”。如图3所示,每个语音提示总时长为2.5 s,其中第1部分和第2部分时长分别为1.2 s和0.8 s,间隔0.5 s。

图3 听觉告警Fig.3 Audible warning

听觉告警信息的强度由声音的响度决定,正常人的听觉强度范围为0～140 dB,听觉告警信息强度最好保证比环境噪声超出8～15 dB的水平[25],考虑车内振动与噪声对乘员的影响,听觉告警信号的声音强度均设为85 dB。

触觉方面,为便于安装与携带,在被试者腰部安装一个触觉腰带提供触觉告警。如图4所示,被试者面向正南方,腰带一周固定8个微型振动器。每个振动器电压为1.5 V,振动频率为315 Hz,长度、宽度和高度分别为5.5 cm、3.2 cm和1.1 cm。被试者通过触觉腰带能够感知到8个方位的触觉振动提示。

图4 触觉腰带Fig.4 Tactile belt

1.3 实验设计

在本文实验中,被试人员行驶路线近似为一条由北向南的直线,车辆由北向南匀速行驶,如不依靠告警提示,被试者无法快速确认敌车方位。如图5所示,在己车行驶方向的45°～315°范围内,敌车出现的方位共有8种情况。实际作战在己车后方出现敌车情况相对较少,因此,为贴合实际情况,在己车的315°～360°和0°～45°方向不设置敌车出现。视觉、听觉和触觉告警针对敌车出现的方位都能够进行具体提示。

图5 己车与敌车方位图Fig.5 Location map of own vehicle and enemy vehicle

实验采用4(告警类型)×2(认知负荷水平)被试人员内双因素设计:

1)因素1为告警类型。装甲车辆乘员作战过程中,视觉通道是主要的信息感知途径,是大脑认知加工活动最广泛调用的通道,视觉通道信息量大,易导致认知负荷过载,通过添加听觉或触觉通道,可能会提升乘员作战绩效,增强感知性能。因此,以视觉告警为基线,告警类型有4种情况,包括视觉(V);视觉+听觉(V+A);视觉+触觉(V+T);视觉+听觉+触觉(V+A+T)。在双模态和三模态告警情况下,告警方向与敌车存在的方向在空间中保持一致,并且告警出现始终时间同步。

2)在本文实验中,因素2为认知负荷水平,通过添加倒数计数次任务来增加被试人员的认知负荷。有倒数计数任务时,被试人员认知加工过程信息量增加,认知负荷变高。8种实验条件下的具体设定如表1所示。为消除练习和疲劳效应,实验顺序采用拉丁方设计。

表1 不同实验条件设定

1.4 实验任务及流程

实验包括预实验和正式实验两个阶段:预实验阶段时,被试人员充分熟悉实验平台场景特点、车辆操作和具体任务流程,熟悉视觉、听觉和触觉告警的具体含义,签署实验知情同意书,并进行不低于 15 min练习;正式实验阶段时,每名被试者均需完成表1所示的8种实验条件,各实验条件下,敌车会在图5所示的8个方位以随机顺序依次出现,出现时间间隔为20 s,敌车出现后立即呈现各实验条件下的告警提示(呈现时长为5 s)。

实验在封闭房间内进行,光线正常,无杂音。被试者的任务包括主任务和次任务,被试者需要尽最大能力完成主任务,用自己剩余能力完成次任务。实验针对装甲车辆乘员某一假定作业任务,任务特点为:乘员搜索敌车目标,经过感觉加工、知觉和认知,以及反应选择等信息加工过程,先敌开火,最终击毁敌车。经过查阅资料并与相关领域专家讨论,被试人员的主任务具体实验流程为:在装甲车辆乘员任务虚拟仿真实验平台中,观察作战环境并搜索敌车目标,当敌车出现时,根据告警提示快速转动炮台,发现敌车时,打开瞄准镜,装弹并发射炮弹击毁敌车。如果炮台开始转动方向与告警提示的方向不同,则被记为反应错误情况。在高认知负荷水平下,实验全程被试人员还需完成倒数计数次任务:从1 000开始,以3为单位逐次倒数(例如,“1 000”、“997”、“994”等),如果计数错误,被试者立即被告知从头开始计数,此计数任务侵入性小,不会对主任务造成较大影响。实验结束后被试人员填写理解性和接受性主观评价量表,单次实验持续10～15 min,休息时长约5 min。

1.5 测量方法与指标

本实验综合采用主观评价量表和任务绩效测量作为告警效果评价方法。对不同认知负荷水平下的乘员对敌车方位进行告警提示,既要保证乘员快速感知到告警信息,又要保证其能正确理解告警信息,做出正确反应,以免产生烦扰感。因此,主观评价方面,从理解性和接受性[18]两个方面评价各告警类型的告警效果。

理解性评价量表包括信号理解和知觉匹配两部分,信号理解用来评价告警方式传递的信息能否被乘员正确理解,知觉匹配用来评价告警方式给予乘员的感觉是否符合当前的认知状态。接受性量表用来评价告警给乘员造成的烦扰程度。理解性和接受性的评价采用5级(-2～2)量表的形式,具体内容如表2和表3所示。

表2 理解性评价量表

表3 接受性评价量表

任务绩效包括反应时间、歼敌时间和反应错误率,通过实验平台内置脚本获取。如图6所示,反应时间指告警出现到炮台开始转动时间。歼敌时间指告警出现到敌车被击毁的时间。反应错误率指每个实验条件下,告警出现后,炮台方向转动错误次数占比率。反应时间可以反映乘员的感知能力,用来评价乘员能否快速感知到告警信息做出反应,歼敌时间和反应错误率能够体现乘员的作战绩效水平。

图6 反应时间与歼敌时间Fig.6 Reaction time and annihilation time

2 实验结果

对告警效果评价指标进行统计学分析,统计检验置信度取0.05。采用被试人员内双因素重复测量方差分析(ANOVA)研究告警类型和认知负荷水平对于评价指标的主效应和交互效应,效应大小为η2,η2为因素对整体因变量的影响效果。采用最小显著性差异(LSD)方法对告警类型进行事后多重比较。当结果不满足球形假设时,采用Greenhouse-Geisser方法校正后的修正自由度和p,p为衡量差异性的指标。

2.1 主观评价量表结果

不同实验条件下的主观评价量表的描述性统计结果如表4所示。低认知负荷水平下的主观评价量表得分比高认知负荷水平下的得分高。信号理解和知觉匹配的得分依据V、V+A、V+T、V+A+T顺序越来越高。

表4 不同实验条件下的主观评价量表描述性统计结果(平均值±标准差)

2.1.1 信号理解量表结果

信号理解量表结果如图7所示,ANOVA结果表明,告警类型和认知负荷水平之间的交互效应不显著(F(2.06,39.06)=0.23,p>0.05,η2=0.012,F值用于检验告警类型和认知负荷水平各变量之间是否存在统计显著性差异)。告警类型对信号理解得分主效应显著(F(1.89,35.81)=13.66,p<0.001,η2=0.418),事后多重比较结果显示,与仅V告警相比,V+T(p<0.001)、V+A+T(p<0.001)均显著提高了信号理解得分,V+A(p=0.056)没有显著提高信号理解得分。

图7 不同实验条件下信号理解量表结果Fig.7 Results of signal understanding scale under different experimental conditions

认知负荷水平对信号理解得分主效应显著(F(1,19)=8.94,p=0.008,η2=0.320),具体表现为低认知负荷水平下的信号理解得分显著高于高认知负荷水平。

2.1.2 知觉匹配量表结果

知觉匹配量表结果如图8所示,ANOVA结果表明,告警类型和认知负荷水平之间的交互效应不显著(F(3,57)=0.078,p>0.05,η2=0.004)。告警类型对知觉匹配得分主效应显著(F(2.05,39.00)=5.47,p=0.008,η2=0.224),事后多重比较结果显示,与仅V告警相比,V+T(p=0.024)、V+A+T(p<0.001)显著提高了知觉匹配得分,V+A(p=0.234)并没有显著提高知觉匹配得分。

图8 不同实验条件下知觉匹配量表结果Fig.8 Results of perceptual match scale under different experimental conditions

认知负荷水平对知觉匹配得分主效应显著(F(1,19)=8.99,p=0.007,η2=0.321),具体表现为低认知负荷水平下的知觉匹配得分显著高于高认知负荷水平。

2.1.3 舒适度量表结果

舒适度量表结果如图9所示,ANOVA结果表明,告警类型和认知负荷水平之间的交互效应不显著(F(3,57)=0.106,p>0.05,η2=0.006)。告警类型对舒适度得分主效应不显著(F(3,57)=0.45,p>0.05,η2=0.023)。

图9 不同实验条件下舒适度量表结果Fig.9 Results of comfort scale under different experimental conditions

认知负荷水平对舒适度得分主效应不显著(F(1,19)=2.11,p>0.05,η2=0.100)。

2.2 任务绩效结果

不同实验条件下的反应时间、歼敌时间和反应错误率的描述性统计结果如表5所示。低认知负荷下的反应时间和歼敌时间比高认知负荷水平下的短,依据V、V+A、V+T、V+A+T顺序,反应时间和歼敌时间越来越短。在每个认知负荷水平下,每种告警类型的告警总次数为160次(20名被试人员,敌车出现方向有8种情况)。低认知负荷水平下反应错误率均比较低,在高认知负荷水平下,V+T、V+A+T告警明显降低了反应错误率。

表5 不同实验条件下的反应时间、歼敌时间和反应错误率描述性统计结果(平均值±标准差)

2.2.1 反应时间

反应时间结果如图10所示,ANOVA结果表明,告警类型和认知负荷水平之间的交互效应不显著(F(1.63,30.93)=0.19,p>0.05,η2=0.010)。告警类型对反应时间主效应显著(F(1.95,36.96)=20.29,p<0.001,η2=0.516),事后多重比较结果显示,与仅V告警相比,V+T(p=0.001)、V+A+T(p<0.001)均显著降低了反应时间,V+A(p=0.056)没有显著降低反应时间。

图10 不同实验条件下反应时间结果Fig.10 Results of reaction time under different experimental conditions

认知负荷水平对反应时间主效应显著(F(1,19)=55.69,p<0.001,η2=0.746),具体表现为低认知负荷水平下的反应时间显著低于高认知负荷水平。

2.2.2 歼敌时间

图11 不同实验条件下歼敌时间结果Fig.11 Results of annihilation time under different experimental conditions

歼敌时间结果如图11所示,ANOVA结果表明,告警类型和认知负荷水平之间的交互效应不显著(F(3,57)=0.09,p>0.05,η2=0.005)。告警类型对歼敌时间主效应显著(F(2.31,43.81)=17.37,p<0.001,η2=0.478),事后多重比较结果显示,与仅V告警相比,V+T(p<0.001)、V+A+T(p<0.001)均显著降低了歼敌时间,V+A(p=0.065)没有显著降低歼敌时间。

认知负荷水平对歼敌时间主效应显著(F(1,19)=6.90,p=0.017,η2=0.266),具体表现为低认知负荷水平下的歼敌时间显著低于高认知负荷水平。

2.2.3 反应错误率

反应错误率结果如图12所示,ANOVA结果表明,告警类型和认知负荷水平之间的交互效应不显著(F(1.83,34.81)=1.67,p>0.05,η2=0.081)。告警类型对反应错误率主效应显著(F(1.93,36.73)=3.96,p<0.05,η2=0.172),事后多重比较结果显示,与仅V告警相比,V+T(p<0.05)、V+A+T(p<0.05)均显著降低了反应错误率,V+A(p=0.772)没有显著降低反应错误率。

图12 不同实验条件下反应错误率结果Fig.12 Results of reaction error rate under different experimental conditions

认知负荷水平对反应错误率主效应显著(F(1,19)=5.59,p<0.05,η2=0.227),具体表现为低认知负荷水平下的反应错误率显著低于高认知负荷水平。

3 讨论

本文旨在研究敌车方向的多模态告警对不同认知负荷水平下装甲车辆乘员反应的影响,综合采用主观评价量表和任务绩效对告警效果进行评价,实验所测得的主观评价量表得分、反应时间、歼敌时间和反应错误率的ANOVA结果汇总如表6所示。

3.1 关于多模态告警类型的讨论

在任务绩效方面,包含触觉的多模态告警均显著降低了反应时间、歼敌时间与反应错误率。相比V告警的反应时间、歼敌时间和反应错误率,V+T告警分别降低了17.4%、15.3%和77%,V+A+T告警分别降低了20.9%、18.7%和88%。

表6 ANOVA结果汇总

Wickens的多资源理论强调感官通道在信息处理资源中的作用[26]。乘员执行作战任务时,触觉告警的添加,将视觉通道的大量信息一部分转移到触觉通道,减少了视觉通道的信息量,削弱了乘员对视觉资源的竞争,有利于加快乘员的反应时间。触觉告警信息使乘员易于感知和理解,更加符合乘员的认知状态,不会额外增加乘员的认知负荷,而且在表达方向或空间方位信息时更加直观[27],所以包含触觉的多模态告警的信号理解和知觉匹配的得分显著增加。在添加倒数计数次任务后,认知负荷增大,依据Van Erp等[28]提出的Prenav模型,触觉告警可以使乘员绕过认知过程,不需要太多认知资源来处理触觉信息,而且不会转移乘员对当前任务的注意力,这能够潜在地减少认知负荷过载,提升作战绩效。目前,White等[29]已经证明了一种触觉腰带对士兵方向提示的有效性和适用性,可以有效地在复杂与危险的野外环境中使用。

在V+A条件下,任务绩效、信号理解和知觉匹配得分相比视觉告警并没有显著提高。首先, Loomis等[30]证明时钟形式的空间语言转换为一定含义表征需要消耗一定时间和认知资源,所以理解时钟形式的听觉告警需要一些额外的认知加工过程,例如理解“5点钟方向”这个告警信息,乘员首先需要将告警信息通过认知加工过程转换为己车与敌车方位的空间图像,然后再理解其表达的方位信息,最后做出反应动作,这些步骤将使乘员的反应时间增加,加大了告警信息的理解难度。此外,本实验听觉告警信息强度均为85 dB,可能因为听觉告警信息强度的设定,相较于V告警,V+A条件下的任务绩效并没有明显提升,未来可以研究不同听觉告警声音的强度、频率和间隔时间等因素对乘员任务绩效的影响。

三模态告警有着最高的理解性量表得分和最佳的任务绩效。在装甲车辆实战时,视觉、听觉和触觉告警信息都可能会被复杂的战场环境掩盖,利用三模态告警可以减少乘员错过单一告警信息的可能性,且各告警信息之间也有一定互补性。此外,时间和空间同步的三模态告警最大限度地激活了大脑皮层的多感觉神经元[7],提高了反应速度,反应时间缩短。

3.2 关于认知负荷水平的讨论

在高认知负荷水平下,一方面乘员需要完成搜索、瞄准和打击这一系列主任务,另一方面需要完成倒数计数次任务。相比低认知负荷水平,乘员需要处理的信息量增加,当乘员所需要信息的认知资源超过可用资源时,会引起资源分配不足,而且认知资源本身具有有限性,会导致乘员无法顺利完成主任务,引起绩效恶化,反应时间、歼敌时间和反应错误率显著增加。当告警信息出现后,乘员需要通过知觉与认知活动理解其含义并做出正确反应,认知负荷增大导致注意与记忆资源分配不足,导致乘员信息理解难度增加,所以信号理解量表和知觉匹配量表的得分显著降低。

Lavie[31]证明在认知负荷较低的情况下,多模态提示并不一定比单模态提示更有效,Spence[32]发现在认知负荷较高的情况下,如果多模态告警中的听觉和触觉提示的方向相同,则仍然有能力捕捉操作者的空间注意力,即使信号本身没有提供关于目标的位置信息。如果从不同的空间位置提供完全相同的单模态提示,多模态提示就不再有效。本文实验多模态告警条件下,视觉、听觉和触觉的告警信息出现时间同步且告警方向在空间中保持一致性。因此,在认知负荷较大的情况下,结果表明,相比视觉告警,包含触觉的多模态告警仍能使乘员更容易理解,并且显著提升了任务绩效。

4 结论

本文在探究敌车方向的多模态告警对不同认知负荷水平下装甲车辆乘员反应的影响,在所设计的实验条件下,得出以下主要结论:

1)相比视觉告警,包含触觉的多模态告警更容易使乘员理解,更符合乘员的认知状态,显著减少了乘员的反应时间、歼敌时间和反应错误率,三模态告警是最佳的告警类型,提示乘员在视觉通道信息量过载或认知负荷增大时,可采用多模态告警来提升乘员的作战绩效。

2)时钟形式的听觉告警不容易使乘员理解,增加了乘员的反应时间,提示在多模态告警设计时,听觉告警信息应使乘员易于感知和理解。

3)增加认知负荷后,乘员信息理解能力显著下降,反应时间、歼敌时间和反应错误率显著增加,提示在多模态人机交互设计时,需要采用适宜的干预手段使乘员认知负荷维持在较低水平。

本文通过分析敌车方向的多模态告警对不同认知负荷水平下装甲车辆乘员反应的影响,对告警效果进行了综合评价,可为装甲车辆舱室多模态人机交互告警设计提供理论依据。