基于置信规则库的驾驶人愤怒情绪识别模型

万平，吴超仲，林英姿，马晓凤，黄珍

（1.武汉理工大学智能交通系统研究中心，武汉430063；2.水路公路交通安全控制与装备教育部工程技术研究中心，武汉430063；3.东北大学智能人机系统实验室，波士顿02115，美国；4.武汉理工大学自动化学院，武汉430070）

基于置信规则库的驾驶人愤怒情绪识别模型

万平1,2，吴超仲1,2，林英姿3，马晓凤1,2，黄珍*4

（1.武汉理工大学智能交通系统研究中心，武汉430063；2.水路公路交通安全控制与装备教育部工程技术研究中心，武汉430063；3.东北大学智能人机系统实验室，波士顿02115，美国；4.武汉理工大学自动化学院，武汉430070）

针对“路怒症”诱发的攻击性驾驶行为影响交通安全问题，提出一种基于生理与脑电特征的驾驶人愤怒情绪识别模型.招募15名被试在武汉市区开展限时实车试验.由于所选实验线路为交通繁忙路段，被试易被行人横穿马路、车辆加塞等道路事件诱发愤怒情绪.实验中采用愤怒量表记录被试的愤怒等级，以及采用生物反馈仪与脑电记录仪记录被试的生理和脑电信号.将血容量脉冲、皮肤电导、δ波百分比与β波百分比这四项生理与脑电指标作为模型输入，建立基于置信规则库的愤怒情绪识别模型.验证结果表明，该模型的识别精度(82.24%)较BP神经网络、SVM分别提高7.15%、5.02%.研究结果可为开发基于生理和脑电信号的驾驶情绪识别设备提供理论支持.

智能交通；情绪识别；置信规则库；愤怒驾驶；实车试验

1 引言

调查显示我国有60.72%的车主曾有过“路怒”[1]，“路怒症”已成为我国道路交通的一种普遍现象，它会显著降低驾驶人的感知、判断、决策能力，并产生攻击性驾驶行为，危害道路交通安全[2].美国高速公路交通安全管理局的统计证实与情绪化驾驶(愤怒、悲伤)有关的交通事故约占总数的9.2%～14.8%[3].因此，有必要对这些负面情绪进行识别、干预.

目前有关情绪识别的研究主要集中在表情、语音、行为及生理信号等方面，而生理信号不受人为因素控制，更能真实反映人的情绪[4].Kessous在语音交互试验中，提取面部表情、身体姿势与声学特征对被试的高兴、恐惧、惊讶、悲伤等八种情绪进行识别[5].Schaaff采用EEG特征对高兴、悲伤等情绪进行区分，识别率达66.7%[6].牛晓伟[7]提取皮电、心率、呼吸与EEG等生理信号特征，运用小波、神经网络算法识别出高兴、惊奇、厌恶、悲伤、愤怒和恐惧六种情绪，平均识别率达60%.Katsis提取肌电、心电、呼吸、皮电等生理特征，采用支持向量机(SVM)和自适应神经模糊推理对模拟比赛环境下的驾驶人情绪进行识别，识别率分别达到79.3%、76.7%[8].

综上所述，目前的研究集中在一般的情绪识别上，较少涉及驾驶情绪，且大部分情绪通过室内语音、视频刺激产生，与实际交通环境中产生的情绪在唤醒度与持续时间上存在偏差.其次，情绪识别采用的方法大多基于神经网络、SVM等方法，这些方法在输入指标、训练规则上缺乏有效的权重分配，导致数据使用效率不高，且其精度取决于样本的完备度[9].为了提高驾驶情绪的识别准确率与效率，本文通过实车实验提取驾驶人在愤怒情绪下的生理与脑电特征，建立基于置信规则库(BRB)的愤怒情绪识别模型，并将模型的识别结果与BP神经网络(BPNN)、SVM模型进行对比.

2 实验设计

2.1 场景设计

本实验目的是使驾驶人尽可能多地产生真实的愤怒情绪，从而获得愤怒情绪下的脑电与生理指标，因此，本文在实际交通环境中开展实车实验.为了诱发被试的愤怒情绪，实验路线沿途经过武昌区和汉口区较为繁忙的路段，全程53 km，如图1所示.当被试在这条路线上驾驶时，会频繁遇到行人横穿马路、周边车辆加塞与长时间等待红灯等道路事件，如图2所示，这些道路事件会刺激被试产生愤怒情绪.为了提高刺激效果，限定1.8 h内完成实验.

图1 实车实验路线Fig.1 On-road experiment route

图2 实验行车环境Fig.2 Traffic environment of experiments

2.2 被试

研究表明男性驾驶人在驾驶过程中更易产生愤怒情绪及攻击性驾驶行为[10]，为了提高实验效果，本文被试均为男性驾驶人.招募了15名持有驾驶执照C1照的男性驾驶人，平均年龄43岁.此外，为了确保实验数据的准确性，被试的精神和身体状况须保证良好.

2.3 仪器

实验车是武汉理工大学智能交通系统研究中心改装的悦翔牌小轿车，车上安装了相关车辆运动传感器，如图3所示.使用生理反馈仪(图4)，采集被试生理信号如血流量脉冲(BVP)、皮肤电导(SC)、呼吸率(RR)与体温（Temp）.另使用Scan4.5脑电记录仪采集被试的脑电信号，如图5所示.其次，有3台高清摄像机(图6)分别记录被试的面部表情及语音、操作行为与前方道路环境（包括愤怒刺激事件），该记录可结合被试的主观报告作为愤怒驾驶的判别依据.

图3 实车实验用车Fig.3 The testing car for on-road experiments

图4 生理反馈仪Fig.4 Biograph Infiniti system

图5 脑电记录仪Fig.5 EEG recording equipment

图6 视频摄像机Fig.6 Video cameras

2.4 实验过程

(1)登记被试驾照信息，向其介绍实验要求，如被试须在早高峰(7:00–8:00)与晚高峰(17:00–18:00)出车实验，尽可能遇到更多愤怒刺激事件.此外实验须按时完成，否则扣除相应报酬.

(2)在被试的头部、手指与腹部按规范分别佩戴脑电帽与生物反馈仪传感器.佩戴采集设备后被试可能有不适感，因此被试须做驾驶练习以消除不适感.

(3)在预定路线上正式实验，每隔2 min，由副驾驶位置上的驾驶经验丰富的观察者向被试询问目前的愤怒状态，该状态通过5级Likert量表记录[11]（1—平静，5—暴怒）记录，而当被试遇到愤怒刺激事件时，立即询问其愤怒状态.同时，被试的脑电与生理信号通过脑电仪与生物反馈仪记录.

3 模型建立

3.1 指标选取

生理信号(BVP、SC、RR、Temp)可直接进行时域分析，而脑电信号仪进行频域分析，在对其去噪后（夹杂的眼电、肌电等）进行快速傅里叶变换可得到其频域特征，而脑电波依其频率范围可分为δ波（0.5,4）hz、θ波[4,8）hz、α波[8,14）hz与β波[14,35）hz，因此快速傅里叶变换后可得各种脑电波的功率百分比(δ%,θ%,α%,β%).通过对15名被试中性与愤怒情绪下的四种生理指标与四种脑电指标进行配对样本t检验，发现仅BVP、SC、δ%与β%这四个指标在两种情绪下存在显著差异(sig＜0.05)，如表1所示，因此可用这四个指标来区分这两种情绪.

表1 愤怒与中性情绪8指标配对样本t检验Table 1The paired t-tests of 8 indictors between angry and normal driving

3.2 置信规则库推理模型

置信规则库推理方法[12]可有效利用带有不确定性的定量信息和定性知识，实现复杂决策问题建模，该方法在传统规则表示的基础上加入规则、指标权重以及输出置信度，并用证据推理的方式实现规则库知识的推理，可有效提高数据的训练效率.置信规则库(BRB)的第k条规则形式如下：witha rule weigh θkand attribute weight δik.

如果第k(k=1,2,3,…,L)条规则是完整的，那么输出结果的置信度和为1，否则小于1，即

式中xi(i=1,2,…,Tk)表示第k条规则Rk中的第i个输入变量（前提属性）；Tk为前提属性的个数；为第k条规则中的第i个前提属性的参考值；Dj为第k条规则的输出部分的第j(j=1,2,…,N)个评价结果的参考值；βjk为Dj的置信度；N为评价结果的个数；θk为第k条规则的权重；L为规则的个数，δik表示在第k条规则中第i个前提属性的权重.置信规则库推理方法包括知识的表达与知识的推理，知识的表达通过置信规则库实现，知识的推理通过证据推理实现，其结构如图7所示.

图7 BRB系统模型结构图Fig.7 Structure of BRB system model

图8 BRB系统的学习模型Fig.8 Learning model of belief rule base system

式中p=p(βjk,θk,δik)是训练参数向量；m=1,2,…,M是训练样本的输入输出组数.BRB的优化学习就是通过调整参数集p，使目标函数值最小.综上，该学习问题可归结为线性约束的多目标优化问题.

3.3 基于BRB的愤怒情绪识别模型

将生理与脑电指标中的BVP、SC、δ%与β%作为模型的输入，分别记为x1、x2、x3与x4，将情绪状态y作为模型的输出，故基于BRB的愤怒情绪识别模型的前提属性有4个，且每个前提属性分为4个参考等级即{小，较小，正常，大}，而输出可定义为中性(y=0)或愤怒情绪(y=1)，即对应的评价结果分别为D1=0与D2=1.

3.3.1 模型学习

表2为来自被试的300组原始数据，由于篇幅限制仅列举部分，依生理与脑电指标的分布特点设置4个前提属性参考值，如表3所示(前提属性从低到高分为4个等级）.在训练过程中须将输入值转化为对应前提属性参考值的隶属度，转化过程如式(5)与式(6).

表2 驾驶人生理与脑电指标及相应情绪状态Table 2The physiological and EEG characteristics and their relevant emotion states

式中xi为第k条规则中的第i个输入值；,分别为xi对其两个相邻的前提属性参考值的隶属度.如以表2第1组数据为例，4个前提属性输入为(36.20，35.13，24.68，47.10)，则x1隶属于(小，24.01)，(较小，28.06)，(正常，35.26)，(高，36.21)的程度分别为(0，0，0.105 3，0.894 7)，即(36.11–35.26)/(36.21–35.26)=0.894 7，其他输入值的隶属度同理可得.

表3 前提属性参考值设置Table 3The referential value setting of attributes

采用Matlab优化工具箱中的fmincon函数对BRB学习模型(式(3)与式(4))进行求解，当目标函数取得极小值时可得训练后的置信规则库，如表4所示.由于有4个前提属性，每个前提属性有4个等级，故有4×4×4×4=256条规则,从表4可知每条规则权重(仅列举部分)，以及当4个输入指标处于不同参考等级时输出结果的置信度.

表4 训练后的情绪识别置信规则库Table 4The trained BRB for emotion recognition

3.3.2 模型测试

本文BRB系统输出的估计值是评价结果参考值与其置信度的加权之和，即ym=D1β1+D2β2，因此该估计值为0至1之间的连续量.为了便于比较BRB模型推理的情绪状态与实际的情绪状态，须将该估计值转化为可供判别的离散量，过程如下

选取某被试的100组非训练数据进行测试，将训练后的BRB模型推理输出的愤怒状态与实际输出的愤怒状态进行对比，对比结果如图9所示.从图9可知，若对BRB的推理输出进行离散化后可较好地拟合真实值，其对该被试愤怒状态的识别率可达85.41%，因此该BRB可较好地识别驾驶人的愤怒情绪.

图9 某测试样本的实际输出与BRB的推理输出Fig.9 The real output and the inferred output based on BRB from test samples of one subject

为了进一步验证该BRB模型的适应性与有效性，采用此模型测试15名被试的情绪，并与BPNN、SVM的识别率进行对比，结果如表5所示.从表5可看出BRB模型的平均识别率为82.24%，比BPNN与SVM的识别率分别高7.15%、5.02%.因此，BRB模型具有更好的识别性能.从表5还可看出模型对年龄较小驾驶人的愤怒情绪识别率高，可能原因是年轻驾驶人更易愤怒，且愤怒后的生理指标波动更大.

表5 基于BRB,BPNN与SVM的愤怒情绪识别率对比Table 5The comparisons of recognition rate of driving anger among BRB,BPNN and SVM

4 研究结论

本文针对驾驶人在模拟环境下情绪诱导效果不理想的缺陷，采用基于实际道路事件刺激的愤怒情绪诱导方法，即在出行高峰期的繁忙路线上进行限时驾驶任务的实验方法可有效诱导多种强度愤怒情绪出现.此外，驾驶人在愤怒与中性情绪下的生理与脑电指标BVP、SC、δ%与β%存在显著性差异，在此基础上建立基于BRB的愤怒情绪识别模型，模型识别效果较BPNN与SVM好，可为开发基于生理指标的驾驶情绪识别设备（如可穿戴设备）提供理论支持.本研究仅利用生理与脑电指标识别愤怒情绪，具有一定的不确定性.今后还可增加驾驶行为、车辆运动等间接指标以提高检测精度，从而对愤怒情绪进行有效干预.其次本文的被试尚未包含女性被试，为了增强模型的适用性，未来可增加女性被试的数量.

[1]雷虎.愤怒情绪下的汽车驾驶行为特征及其对交通安全的影响研究[D].武汉：武汉理工大学,2011.[LEI H. The characteristics of angry driving behaviors and its effects on traffic safety[D].Wuhan:Wuhan University of Technology,2011.]

[2]Deffenbacher J L,Lynch R S,Filetti L B,et al.Anger, aggression,risky behavior,and crash-related outcomes in three groups of drivers[J].Behavior Research and Therapy,2003,41(3):333-49.

[3]Nhtsa．Traffic safety facts 2010:A compilation of motor vehicle crash data from the fatality analysis reporting systemandthegeneralestimatessystem[R]．WashingtonDC:NationalHighwayTrafficSafety Administration,2010.

[4]Cai H,Lin Y Z.Modeling of operators'emotion and task performanceinavirtualdrivingenvironment[J]. InternationalJournalofHuman-ComputerStudies, 2011,69(6):571-586.

[5]Kessous L,Castellano G,Caridakis G.Multimodal emotion recognition in speech-based interaction using facial expression,body gesture and acoustic analysis[J]. Journal on Multimodal User Interfaces,2010,3(1):33-48.

[6]Schaaff K,Schultz T.Towards emotion recognition from electroencephalographicsignals[C]//3rdInternational Conference on Affective Computing and Intelligent Interaction and workshops,Amsterdam,2009:1-6.

[7]牛晓伟,刘光远.基于遗传算法的生理信号情感识别[J].西南大学学报(自然科学版)，2007,29(9):134-138.[NIU X W,LIU G Y.Emotion recognition with philologicalsignalsbasedongeneticalgorithm[J]. JournalofSouthwestUniversity(NaturalScience Edition),2007,29(9):134-138.]

[8]Katsis C D,Katertsidis N,Ganiatsas G,et al.Toward emotion recognition in car-racing drivers:A bio signal processing approach[J].IEEE Transactions on Systems, Man and Cybernetics Part A-systems and Humans, 2008,38(3):502-512.

[9]汪磊，左忠义，傅军豪.基于SVM的出行方式特征分析和识别研究[J].交通运输系统工程与信息，2014,14 (3):70-75.[WANG L,ZUO Z Y,FU J H.Travel mode character analysis and recognition based on SVM[J]. Journal of Transportation Systems Engineering and Information Technology,2014,14(3):70-75.]

[10]David Herrero-Fernández.Psychometric adaptation of the driving anger expression inventory in a Spanish sample:differences by age and gender[J].Transportation Research Part F,2011,(14):324-329.

[11]严新平，张晖，吴超仲，等.道路交通驾驶行为研究进展及其展望[J].交通信息与安全，2013,31(1):45-51. [YAN X P,ZHANG H,WU C Z,et al.Research progress and prospect of road traffic driving behavior[J]. Journal of Transport Information and Safety,2013,31(1): 45-51.]

[12]Yang J B,Liu J,Wang J,et al.Belief-rule-base inference methodology using the evidential reasoning approach-RIMER[J].IEEETransactiononSystem, Man,and Cybernetics-Part A:Systems and Humans, 2006,36(2):266-285.

[13]张伟，石菖蒲，等.基于置信规则库专家系统的发动机故障诊断[J].系统仿真技术，2011,7(1):11-15. [ZHANG W,SHI C P,et al.Fault diagnosis of engine based on RIMER expert system[J].System Simulation Technology,2011,7(1):11-15.]

A Recognition Model of Driving Anger Based on Belief Rule Base

WAN Ping1,2,WU Chao-zhong1,2,LIN Ying-zi3,MAXiao-feng1,2,HUANG Zhen4
（1.Intelligent Transportation System Research Center,Wuhan University of Technology,Wuhan 430063,China; 2.Engineering Research Center for Transportation Safety,Ministry of Education,Wuhan 430063,China; 3.Intelligent Human-Machine Systems Laboratory,Northeastern University,Boston 02115,USA; 4.School ofAutomation,Wuhan University of Technology,Wuhan 430070,China）

As“road rage”easily induces aggressive driving behavior that has negative impact on traffic safety,a recognition model of anger emotion based on driver’s physiological and electroencephalogram (EEG)characteristics is proposed in this paper.Fifteen participants were recruited to take part in on-road and timed experiments in Wuhan.Driving anger could be easily induced by specific road events such as jaywalking and weaving vehicles in busy traffic section,which was selected as experiment route.During experiments driver’s anger level was recorded by driving anger scale while physiological and EEG signals were recorded by Biography Infiniti System and Neural Scan System respectively.Then a recognition model of driving anger based on belief rule base(BRB)is proposed with four input variables,which included blood volume purse(BVP),skin conductance(SC),percentages ofδwave(δ%)andβwave(β%)in frequency domain.The model’s validation results show that its accuracy is 82.24%,increasing 7.15%and 5.02%when compared with BPNN and SVM respectively.The results can provide theoretical support for designing driving emotion recognition equipment based on physiology and EEG.

intelligent transportation;emotion recognition;belief rule base;driving anger;on-road experiment

1009-6744（2015）05-0096-07

U491

A

2015-05-21

2015-06-25录用日期：2015-07-06

国家自然科学基金(51178364)；国家科技支撑计划课题(2014BAG01B03)；美国国家科学基金（1333524）；国家留学基金管理委员会(201406950045).

万平(1984-)，男，湖北黄冈人，博士生. ＊

h-zhen@whut.edu.cn