姚容,吕勇,项方康,周正驰,巫溢滨
(嘉兴学院机电工程学院,浙江 嘉兴 314001)
情绪是我们智力的基础,也是人类道德与尊严的基础。随着认知神经科学与情感神经科学的发展,越来越多的证据表明,情绪是推理和判断过程中必不可少的一部分,并对各个成长时期的学习和记忆过程产生重要的影响。其中儿童时期的情绪变化尤为重要,在成长过程中若没有得到正确的心理指引和情绪上的关注,可能导致其在青少年时期的自闭、自卑和逆反心理。因此,我们提倡情绪监督要从儿童时期做起。虽然情绪是一种主观意识,但情绪状态的变化总会伴随一定的生理变化,因而,我们可以从生理参数的角度,以儿童作为检测对象,用一套客观的评价标准来研究情绪状态。为了让测试儿童处于相对自然的状态,使情绪识别结果的可信度更高,本研究提出了穿戴式生理参数采集系统的概念。
由于自主神经系统的活动,当有机体处于某种情绪状态时,其内部会发生一系列的生理变化,测量这些变化的指标就是生理指标(physiologicalindex)。大量的研究表明,除了少数情况外,生理指标的测量并未为特定的情绪提供明确的模式。陈继华等[1]指出,最为常用的生理指标有:皮肤电反应,体温,循环系统的指标(心电信号)。
由于各类生理指标信号是非平稳信号,其个体差异很大。不同人之间,心电、体温、皮肤电阻值都不同,其中心电信号的个体差异最为显著。因此,为实现情绪状态的识别,我们必须从所采集的心电信号、皮肤电反应、体温3个生理信号中提取出最有效的特征来用于分类。
本系统利用情绪神经心理学方面专家的知识挑选出那些对分类最有影响的特征。
依据文献[2]中资料显示,伍德和霍根森(Wood&Hokanson,1965)曾用心率作为紧张的指标,研究操作和激动水平的关系。实验用握力计来诱发紧张,即被试者的紧张程度随握力计压力的增加而加强。随着心率的不断增加,操作水平亦随之提高;但到一定程度之后,心率的增加反使操作水平下降。韦克斯勒(Wechsler,1925)和塞兹(Syz,1926)所做有关皮肤电反应与情绪的研究表明,有情绪色彩的词能引起皮肤电反应,而重复刺激则能降低这种反应,结果见表1。戴星格(Dysin-ger,1931)曾用能引起愉快感受的词(如:亲爱的、休假)、引起不愉快感受的词(如:呕吐、自杀)和无关的词(如:筐子、作用)作为情绪刺激进行实验。与无关刺激相比,愉快和不愉快刺激均能引起皮肤电反应提高;而不愉快刺激引起的皮肤电反应更为明显。周建中[3]的研究表明,心电波形中的R波幅度及其宽度会随着情绪状态的变化而发生明显变化。此外,根据文献[3]所述,北大心理学系在1973年的研究表明,在情绪状态改变时,呼吸系统在速度和深度上会有所变化,继而引发血管容积发生变化。无论血管是处在收缩状态还是处在舒张状态,它都将引起人体温度的变化。李豪等[4]指出,当人呼吸变得急促,交感神经系统促使皮肤竖毛肌收缩,汗腺的汗液分泌量增大,皮肤电阻值下降,通过测量电路可以比较容易地检测出这种变化。由此,本系统选择心率作为第一个特征,心电波形中的R波幅度及其宽度作为第二和第三特征,体温为第四个特征,皮肤电阻值列为第五特征。
儿童情绪生理参数检测系统主要由数据采集模块、信号处理模块和数据收发模块构成,见图1。
表1 韦克斯勒和塞兹的研究结果
数据采集模块主要由温度传感器、皮肤电阻、心电信号检测传感器、滤波放大模块、A/D转换模块等子模块构成,其目的是利用传感器将被测量的模拟量进行放大、滤波、反馈补偿、模数转换等处理。
本系统选用的情绪活动的生理指标有:皮肤电反应、心电、体温。
原始的心电信号非常微弱,幅度只有0~4 mv,频带为0.05~100 Hz,并且混杂有大量的干扰噪声,其中50 Hz工频干扰最为厉害。除此以外,还有电极接触噪声,肌电噪声,放大器直流温漂,呼吸引起的基线漂移等干扰。
皮肤电阻的个体差异较大(2~I MΩ),并且随着测量方式的不同,得到的值也不同。由于皮肤电阻的个体差异达到二、三十倍以上,对特定个体的定量计算不具备普遍性与代表性,只能进行定性分析。所以,本系统中GSR不作为情绪判别依据,而作为情绪生理唤醒的标志。
体温是个变化十分缓慢的生理信号,在频谱上可以把它看成一个直流信号,所以,用于体温采集电路的放大器,其本质是一个直流放大器。
处理器模块是系统的计算核心,由微控制器(CC2530片上系统8051)作为中心,是数据采集模块与无线通讯模块相连接的桥梁。
无线通信模块通过TI公司的CC2530射频芯片完成信号的发射与接收,以 Microchip ZigBee协议栈实现数据无线传输。
图2为ZigBeeCC2530单芯片模块的基本框图。CC2530自带的8051微控制器处理ADC模块采集的各类传感器信息,通过SPI总线实现RF收发器与另一块RF收发器之间的数据传输。
图2 CC2530单芯片模块的基本框图
软件设计是整个系统的关键,包括采集子系统和传输子系统。
采集子系统由A /D 采集程序、定时器中断程序、数据处理程序组成。由A /D 采集程序通过CC2530集成的ADC模块进行数据采集工作,并使用定时器中断程序控制采集次数和时间间隔。各个参数通过滤波、除噪电路已滤去大部分干扰,但仍需在软件上进行更细致的除杂处理。数据处理程序便是将采集得到的传感器参数通过程序上的均值滤波和尖峰滤波,进一步得到优化。数据处理程序还包括将数据存储到外围存储设备的子程序。
根据文献[5]所述,传输子系统由通信管理程序组成,由TI公司提供的协议栈作为通信管理协议栈,完成传输模块的初始化和节点信息处理。
本系统采集的生理信号有皮肤电反应,心电信号,皮肤温度。
GSR信号检测电路图见图3,BODY为被测部位皮肤电阻值。由于GSR的个人差异性,本系统将GSR数据对时间微分后,取其变化幅度作为对相应靶情绪分析的起始信号。
图4为SKT信号检测电路图,SKT的数值精度要求高,所以采用温敏电阻检测皮肤温度。对SKT去除粗大误差后,将一分钟内的数据取其平均值,最大值,最小值和变化幅度(微分值)。
图3 心电信号检测电路
图4 皮肤电反应检测电路
图5为心电信号检测电路图,此电路参考自文献[6],并稍作改进。本系统要求从心电图信号中提取出识别情绪所需的三个特征:心率、R波幅度及其宽度。王恒迪等[7]指出,心率的计算公式为 60/(R-R间期)。因此,可以通过检测心电信号中的R波分布来计算R波幅度、R波宽度以及R-R间期。图5是基线漂移心电图,本研究采用一种综合利用了前后幅值差法、半波宽法以及R-R间期法的算法检测R 波。即进行 R 波检测时, 先利用前后幅值差法进行判断,找出备选的R波, 再分别利用半波宽法和R-R间期法去除各种伪信号。
图5 基线漂移心电图
进行情绪判别前要先设计分类器,即给所要研究的几种情绪做生理特征上的区分。方案如下:将3~5岁幼儿园儿童每人分别在愉悦、愤怒、恐惧和轻松四种情绪状态下采样100组的数据后,取均值,得到相应情绪的样本。采集基础样本过程中,应确保穿戴该设备的儿童身体状况正常,并且给予相应的情绪上的刺激,即播放对应情绪的音乐和图像信息,研究人员需隔离在另一个房间监控并根据表情、肢体动作等外部表现挑选三至五位对外界刺激的反应较为清晰的儿童,将他们的数据作为基础样本,将基础样本做除杂和均值处理后,用来设计分类器。其余作为测试样本,测试样本用来检测分类器的性能。
分类系统制作完成后,投入幼儿园儿童的日常活动中,在幼儿园中找到一位相对较为内向,不善表达的儿童,跟踪记录其一天的行为活动并实时采集其生理参数变化情况。最后根据数据分析其一天的情绪状况,另一方面根据录像中的行为表情分析出情绪状况,以后者的数据为标准来检验前者并调整分类器系统标准。经过反复修改调整,系统愈趋完善后,再次对测试样本进行测试,其对愉悦的判别准确率为91.8%,恐惧的为87.1%,轻松的为80.2%,对愤怒的为84.7%。
儿童时期的情绪变化对其成长时期的学习和记忆产生重大的影响,我们设计的儿童生理参数采集与情绪检测系统对于及早发现儿童情绪波动有着重要的实用价值。但基于生理信号的情绪与情感识别是一个综合生理学、心理学、认知科学以及信息处理的多学科交叉课题,在将来的研究中要进行多传感器数据的融合,把语音、面部表情和生理参数融合处理,结合多种分类器,得到更为精确、更为可信的结论。