基于生理信号的多任务下驾驶员认知负荷的评定*

高振海，段立飞，赵 会，禹慧丽

(1.吉林大学，汽车仿真与控制国家重点实验室，长春 130022;2.汽车噪声振动和安全技术国家重点实验室，重庆 401120)

前言

随着先进辅助驾驶系统、智能交通系统和车载通信设备的迅速发展，驾驶员在驾驶过程中不仅要承担信息感知、决策和操纵控制等与驾驶直接相关的主任务，还要承担一定的预警或信息界面监测和语音交互等与驾驶行为不直接相关的“次任务”，如接打手机等行为，驾驶汽车已经从单一任务逐渐转变为多任务共同执行的过程。

由于驾驶员信息处理能力的局限性，来自于驾驶任务和非驾驶相关任务的多渠道信息极易使驾驶员出现“信息过载”的情况，导致驾驶员大脑承受的认知负荷上升，其感知能力、判断能力和注意力都会受到不利影响，从而对驾驶安全造成潜在威胁［1］。

针对这一问题，研究人员对多任务下操作人员认知负荷评价方法进行了探索性的研究，从驾驶员心理生理特性的角度进一步完善人机交互界面和驾驶状态监测系统的设计，实现根据驾驶员实时的精神状态协调车内信息系统的工作方式。具有代表性的项目如欧洲经济委员会框架项目AIDE计划，由美国高速公路安全管理局联合德尔福公司、密歇根大学和爱荷华大学等发起的SAVE_IT计划，以及美国国防先进研究项目局和美国国家航空航天局设立的相关项目［2］。

目前提出的主流驾驶员认知负荷评价手段包括基于调查问卷的主观评价方法［3］，如 NASA-Task Load Index、Bedford Workload Scale、Driver Activity Load Index等，基于操纵绩效的评价方法和基于人体生理信号的客观评价方法。主观自评的方式是描述驾驶员主观感受最直接的方法，但实验结果很难排除被试对象的主观倾向性，且问卷形式的评价只能在驾驶实验完成或阶段完成后进行打分评价，无法描述认知负荷随时间的动态变化情况;基于操纵绩效的评价方法又会时而出现对认知状态变化不敏感的现象［4］。

使用心理生理参数(如脑电、心电、皮电和呼吸等)的评价方法具有较高的客观性和鲁棒性，且能够以较高的时间精度实现对被试对象的连续测量，很好地弥补了其他两种评价方法的不足。因此，该方法逐渐被汽车领域的研究人员采用。文献［5］中利用fMRI和fNIRS测试技术记录了狭窄道路行驶工况下驾驶员的大脑活动，验证了脑血流量作为评价大脑精神负荷的有效性。文献［6］中借助心电和脑电等生理信息建立了驾驶员工作负荷预测模型，用来评价人机交互界面的设计。文献［7］中所进行的研究发现了被试人员工作负荷的主观评分与心率变异性0.07～0.14Hz频段功率谱的变化有很强的关联性。文献［8］中研究发现，随飞行员执行任务难度加大，精神负荷增加，HRV功率谱中的低频成分随之下降。

为探索心理生理指标在驾驶员认知负荷评价中的应用，本文中在汽车驾驶模拟器上实现了驾驶员操纵任务与语音交互任务这一典型的多任务驾驶工况，采集分析了反映非驾驶相关任务执行前后认知负荷变化的心电、呼吸和皮电信号等关键生理参数的改变，验证生理参数在评价认知负荷中的有效性。

1 认知负荷生理指标

研究发现，单一种类的生理指标很难充分反映多任务下的脑力负荷。人因工程领域的研究人员认为，这一现象可由工作负荷的多资源模型理论［9］来解释，即大脑的信息处理活动是神经系统多个独立“资源库”共同参与的过程，多任务的过程可以划分为不同的组成部分，每个部分必须通过某种相对应的生理指标进行评价。

参照文献［8］中基于生物电信息的飞行员负荷评价方法，并考虑到生理指标在车内的易获取性和对驾驶员精神状态的敏感性，本研究采用心电、皮电和呼吸信号作为评价多任务工况下驾驶员认知负荷的综合生理指标。

心率变异性(HRV)的功率谱分析是进行精神负荷研究的有效方法。心率变异性是指逐次心跳间期—RR间期的微小变化。心率变异性的功率谱可以划分为3个频段:反映副交感神经活动的高频功率、与动脉血压的短期调节相关的中频功率和作为交感神经活动指标的低频功率。研究表明，心率变异性功率谱中的低频成分能够在一定程度上反映人的脑力负担［7－8］，为此，本文中采用心率变异性功率谱低频带能量作为评价驾驶员认知负荷中脑力负担的生理指标。

驾驶员在驾驶过程中由于交感神经兴奋，导致汗腺活动加强，分泌汗液较多，使皮肤导电能力增大，形成大的皮肤电反应。为此，引入平均皮电水平作为衡量驾驶员认知负荷中精神疲劳程度的生理指标［9］。

体力活动会导致呼吸频率(respiratory frequency，RF)和呼吸幅度(respiratory amplitude，RA)的增加，而唤醒水平和情绪波动虽然会使呼吸的频率增加，但是呼吸的幅度会减小。在压力或精神负担较高时，偶尔会出现强力呼吸或过呼吸的现象。为此，选用呼吸的频率和幅度作为认知负荷的评价指标。

2 驾驶模拟器实验

驾驶模拟器实验是进行驾驶员行为研究的有效方法。研究表明，在模拟驾驶员环境下驾驶员生理参数变化与实车实验具有相似的规律［10］。因此，本文中利用吉林大学汽车仿真与控制国家重点实验室的汽车驾驶模拟器，并用真实驾驶员进行实验。实验工况为人因工程研究中常用的双任务(dual-task)范例，即驾驶员在模拟驾驶实验中同时进行汽车操纵任务和语音交互任务。挑选6名年龄在22～30岁，具有合法驾驶执照的驾驶员作为实验对象，进行双任务模拟驾驶。在汽车操纵任务中，驾驶员须在半径为100m的实验环路上进行缓慢转向操纵以保证车辆不偏离道路，不越过边界，并将车速保持在60km/h。考虑到汽车驾驶的同时驾驶员通常还会进行与车内乘员通话、使用语音交互设备或车载电话等通信设备的语音交互行为，为此，选取n-back范式［10］作为实验中非驾驶相关的次任务，来模拟多任务机制下人的认知活动。

参照文献［11］中认知负荷评价的实验方法，采用“听觉刺激-语音反馈”的形式，即在模拟驾驶的过程中，每隔3s随机呈现给驾驶员0～9中的一个数字，要求驾驶员重复刚刚听到的语音刺激之前的第n个刺激。如在1-back任务中，当驾驶员听到某一数字时，应该立刻重复这一数字之前的数字。nback任务可以通过控制当前刺激与目标刺激间隔的刺激个数来量化地控制任务的难度。

记录整个实验过程中驾驶员的心电(electrocardiogram，ECG)、皮电(electrodermal，EDA)和呼吸(respiration，RES)信号。生理记录设备采用美国BIOPAC公司生产的BioNomadix无线生理记录仪，其优点是采集装置与主机之间以无线传输的方式进行数据通信，在一定程度上避免了传统记录方式传感器连线对驾驶员操纵造成的干扰。为尽量避免人体运动对心电信号产生干扰，ECG测试电极粘贴在胸骨的上下两端，如图1所示。EDA测试电极粘贴在手掌大、小鱼际肌隆起处;呼吸测试绑带缠绕在胸廓位置。生理数据的采样频率均为1 000Hz。

实验流程如表1所示，在正式实验前，先进行任务练习，以熟悉实验流程。进入正式的模拟驾驶阶段后，首先进行5min的单一驾驶任务。它将作为数据分析的基准，来量化后续双任务工况下驾驶员生理参数的变化;然后，进行正常驾驶+5min 1-back和正常驾驶+5min 2-back的双任务实验;最后，经过2min的恢复期后，进行NASA-TLX主观精神负荷打分［3］。

表1 实验流程

3 实验结果分析

提取ECG信号中的频域参数、EDA活动水平均值以及呼吸频率作为分析精神负荷的生理指标。运用方差分析和配对t检验分析任务执行前后生理指标的变化，P＜0.05表示存在显著性差异。数据分析以及生理信号的特征提取在MATLAB中进行。

心率变异性功率谱参数的提取过程如图2～图4所示。首先通过原始心电数据获取RR间期时间序列，并对其进行快速傅里叶变换，得到心电信号的功率谱密度参数，包括:极低频功率(VLF，0.02～0.06Hz)、低频功率(LF，0.06 ～0.15Hz)、高频功率(HF，0.15～0.4Hz)和总功率(TP)等参数。功率谱密度可表示为绝对单位(AU，ms2)和归一化单位(NU)两种。本文中使用的低频归一化功率值的定义为

分别提取单一驾驶任务和双任务工况下的心电信号归一化低频功率谱密度、皮电水平和呼吸频率与幅度，得到各项生理指标的平均值，如表2所示。表2中同时给出了认知负荷的NASA_TLX评分，具体指标和权重确定方法详见文献［3］。评分范围从0～100分，0分代表完全感受不到压力，100分代表认知负荷水平最高。

表2 主观评分和归一化生理指标平均值

(1)主观评分 从NASA_TLX评分可以看到，随着语音交互任务的加入和难度的提高，驾驶员主观感受到的压力水平随之上升。方差分析表明，任务难度水平对主观评分有显著的影响(p=0.001)。配对t检验表明，3种实验工况的主观评分之间有明显的差异。

(2)心率变异性 随着任务难度的增加，心率变异性低频功率谱密度(HRV_LF)值随之降低，单一驾驶、1-back和2-back 3种工况下的HRV_LF有明显的差异(p=0.007)。以1-back工况为例，图5示出单一任务和双任务工况下的HRV_LF功率谱密度，可以看到双任务工况下的HRV_LF降低比较明显。

(3)皮电水平 图6为单一任务和双任务驾驶工况下皮电信号变化。表2也给出了不同任务工况下的平均皮电水平(EDA)的变化。从表中可以看到，皮电水平的平均值随着任务难度的增加而上升，任务难度对于皮电水平有显著的影响(p=0.002)。配对t检验表明，双任务工况下(1-back和2-back)的皮电水平相对于单一任务有显著的上升，但是1-back和2-back工况的差别并不显著(p=0.150)。结果表明，皮电水平可以用来估计这一工况下驾驶员的精神负荷，但是不同任务难度下区分的效果不是很明显。此外，皮电信号单位时间内峰值数量和峰间幅值等参数均没有观察到显著的变化。

(4)呼吸频率与幅度 由表2可见，在双任务工况下的平均呼吸频率有所上升，任务难度对于呼吸频率有显著的影响(p=0.014)。配对t检验表明，双任务工况下(1-back和2-back)的呼吸频率相对于单一任务有显著上升，但是1-back和2-back工况的差别并不显著，呼吸幅度则基本上没有变化。

4 结论

(1)主观评分表明，相对于单一驾驶任务，双任务工况下驾驶员的主观压力感受上升明显，并且随着任务难度的增加而上升，进一步证明了驾驶过程中的非驾驶相关任务对驾驶员的认知活动存在不利的影响。

(2)对生理信号的分析表明，心率变异性功率谱密度、皮电水平和呼吸频率等生理指标与驾驶员认知负荷变化具有较好的关联性，可作为评价驾驶员认知负荷的有效指标和驾驶状态识别系统或汽车人机交互评价的依据。

后续研究中将继续引入脑电、眼电等其他生理指标，并进一步尝试在多项生理指标分析基础上进行驾驶员认知负荷的综合评价，为驾驶员人机交互设计提供可行的客观评价方法。

［1］ Green P．Crashes Induced by Driver Information Systems and What Can Be Done to Reduce Them［C］．SAE Paper 2000－01－0008．

［2］ Amditis A，Andreone L，Pagle K，et al．Towards the Automotive HMI of the Future:Overview of the AIDE-integrated Project Results［J］．Intelligent Transportation Systems，IEEE Transactions，2010，11(3):567 －578．

［3］ Rubio S，Díaz E，Martín J，et al．Evaluation of Subjective Mental Workload:A Comparison of SWAT，NASA-TLX，and Workload Profile Methods［J］．Applied Psychology，2004，53(1):61 －86．

［4］ Reimer B，Mehler B，Coughlin J F，et al．The Impact of a Naturalistic Hands-free Cellular Phone Task on Heart Rate and Simulated Driving Performance in Two Age Groups［J］．Transportation Research Part F:Traffic Psychology and Behaviour，2011，14(1):13－25．

［5］ Shimizu T，Nanbu T，Sunda T．An Exploratory Study of the Driver Workload Assessment by Brain Functional Imaging Using Onboard fNIRS［C］．SAE Paper 2011－01－0592．

［6］ Pala S，Schnell T，Becklinger N L，et al．Adaptation of the Cognitive Avionic Tool Set(CATS)into Automotive Human Machine Interface Design Process［C］．SAE Paper 2011－01－0594．

［7］ Vicente K J，Thornton D C，Moray N．Spectral Analysis of Sinus Arrhythmia:A Measure of Mental Effort［J］．Human Factors:The Journal of the Human Factors and Ergonomics Society，1987，29(2):171－182．

［8］ Tattersall A J，Hockey G R J．Level of Operator Control and Changes in Heart Rate Variability During Simulated Flight Maintenance［J］．Human Factors:The Journal of the Human Factors and Ergonomics Society，1995，37(4):682 －698．

［9］ Shimomura Y，Yoda T，Sugiura K，et al．Use of Frequency Domain Analysis of Skin Conductance for Evaluation of Mental Workload［J］．Journal of Physiological Anthropology，2008，27(4):173－177．

［10］ Mehler B，Reimer B，Coughlin J F，et al．Impact of Incremental Increases in Cognitive Workload on Physiological Arousal and Performance in Young Adult Drivers［J］．Transportation Research Record:Journal of the Transportation Research Board，2009，2138(1):6－12．

［11］ Reimer B，Mehler B．The Impact of Cognitive Workload on Physiological Arousal in Young Adult Drivers:A Field Study and Simulation Validation［J］．Ergonomics，2011，54(10):932－942．