微表情识别技术分析

杜杏菁 徐 玲

(华北科技学院计算机学院 廊坊 065201)

微表情识别技术分析

杜杏菁 徐 玲

(华北科技学院计算机学院 廊坊 065201)

分析了微表情国内外研究现状,研究了基于3D梯度投影微表情捕获方法,微表情自动识别方法:3D梯度直方图识别、区域分割与光流法微表情识别,放大微表情识别法。从微表情编码系统和心理分析两个方面对微表情研究进行展望,分析了微表情人脸数据库从目的性诱导到自然诱导的转变,指出了微表情需要解决的问题:建立逼真有效的微表情样本数据库,缩短微表情捕获的时间,建立自动识别系统,建立微表情心理模型,拓宽拓宽微表情的应用领域,即从侦查、审讯等国家安全领域扩展到医学、政治心理学、销售、人才招聘等领域。

微表情; 捕获; 自动识别; 自然诱导; 样本数据库

Class Number TP391

1 引言

人们通过一些表情把内心感受表达给对方看,在不同表情之间或某个表情里,脸部就会“泄露”出其它的一些信息,即微表情信息。一个下意识的微表情可能只持续一瞬间,当面部在做某个表情时,持续时间极短的微表情会突然一闪而过,有时却表达相反的情绪。微表情是人们试图压抑或隐藏真实感情时泄露出的非常短暂的、不可自主控制的面部表情[1]。当人受到某种外界刺激时脸部做出的细微表情就是微表情,它由情绪引起或习惯性动作产生,可以说微表情是由情绪引发的无意识地面部微动作。其特点是不能自主控制、不易察觉、转瞬即逝。微表情能够反映出一个人的内在心理状态,目前,人们常常将微表情与谎言联系到一起,将微表情研究应用到侦查、审讯、职场应聘等领域。

2 国内外发展研究现状

自1966年Haggard和Isaacs发现此面部表情[2]和1969年Ekman等人也发现并称其为微表情[3]以来,微表情研究受到了越来越多的关注,成为警察审讯过程中识破谎言的途径,被应用在侦查、审讯过程中。临床也是微表情研究的重要领域,医生根据微表情可更好地了解病人的需求和心理。国内外的一些单位或团队对微表情正在进行研究,如美国的Ekman团队、Matsumoto团队、Shreve团队,加拿大的Porter团队,日本的Polikovsky团队和中国的傅小兰团队等[4]。最初的微表情研究注重个体微表情识别能力的训练和提高,先后出现了各种训练和测试识别能力的程序和实验,包括BART(Brief Affect Recognition Test)[5]、JACBART(Japanese and Caucasian Brief Affect Recognition Test)[6]、METT(Micro Expression Training Tool)[7]。表1列出了目前国内外进行的自动微表情研究机构。

表1 国内外微表情研究团队

3 微表情识别

微表情的研究最初与测谎紧密联系,成为警察审讯过程中识破谎言的途径。临床也是微表情研究的重要领域,2006年,Russell、Elvina、Mary研究了METT训练程序对精神分裂症患者在情绪识别和微表情识别的影响,结果显示经过训练,精神分裂症患者可以通过训练恢复部分识别能力,可以有效缓解其社会功能的损伤。微表情应用在政治心理学领域,在公开演讲时,微表情能够传递一种特殊信号,影响听众的情绪。微表情应用在销售领域,可以通过顾客的微表情判断顾客对产品的满意度。

在美国,针对微表情的研究已经应用到国家安全、司法系统、医学临床和政治选举等领域。在国家安全领域,有些训练有素的恐怖分子等危险人物可能轻易就通过测谎仪的检测,但是通过微表情,一般就可以发现他们虚假表面下的真实表情,并且因为微表情的这种特点,它在司法系统和医学临床上也有着较好的应用。

3.1 各种微表情

厌恶:厌恶的表情包括嗤鼻,上嘴唇上抬,眉毛下垂,眯眼。愤怒:这时眉毛下垂,前额紧皱,眼睑和嘴唇紧张。轻蔑:轻蔑的显著特征就是嘴角一侧抬起,作讥笑或得意笑状。伤心:面部特征包括眯眼,眉毛收紧,嘴角下拉,下巴抬起或收紧。害怕:害怕时,嘴巴和眼睛张开,眉毛上扬,鼻孔张大。高兴:人高兴时面部动作包括:嘴角翘起,面颊上抬起皱,眼睑收缩,眼睛尾部会形成“鱼尾纹”。惊讶:惊讶时,下颚下垂,嘴唇和嘴巴放松,眼睛张大,眼睑和眉毛微抬。各种表情如图1所示(图片来自常见微表情识别方法-百度经验)。

图1 各种微表情图

3.2 微表情捕获

在所有的微表情中,说谎的微表情更容易捕获、被辨别出来。微表情的捕获大部分是通过有经验的人在视频中搜寻,或者通过现场观察、交谈的过程中察觉而获得。普通人对微表情的识别能力并不高,专门的微表情识别训练可以提高识别率,而且识别微表情特别费时,因此,自动微表情捕获与识别系统的研究成为了研究的热点。刘欣等提出了基于3D梯度投影的微表情捕获方法[8],实现方法如下。

1) 多尺度矩形梯度描述子特征提取

将图像分割成密集统一的网格点,以每个网格点为中心,向周边扩展形成扫描单元及扫描区域,每个区域包括m×m个单元,每个单元包括n×n个像素点,在文献[8]中m为2,n为8。以每个单元的中心点形成局部方向梯度直方图,最后叠加到一起形成构成整个扫描窗口的直方图序列。

2) 脸部图像区域划分

在第一帧人脸图像手工标注13个特征点,以每个特征点为中心,按眼睛区域尺寸为大小,将人脸划分成为9个特征区域,标记每个特征区域的大小、位置、名称,每个区域尽可能只包含不超过2个特征点。针对每个特征区域引入时间轴,那么视频流就会被面部特征区域划分成多个特征立方体。

3) 脸部微表情捕获

3D梯度投影法把空间梯度向量分别投影到笛卡尔坐标系的xot和yot平面上,将一个空间向量转换成两个平面梯度向量。将面部特征立方体进行横截和纵截,形成多个横截面和纵截面,这些截面反映了一段时间t内图像中像素运动的状态,用L(x,t)和L(y,t)表示。对每点计算梯度,可以得到投影2D梯度向量的量级和方向分别如式(1):

θxt=arctan(Lt(x,t)/Lx(x,t))

θyt=arctan(Lt(y,t)/Ly(y,t))

(1)

根据上式分别计算每个区域内各像素点在时刻t的梯度方向,建立二维梯度方向统计直方图,对12个角度单元中的像素点数目进行叠加统计,通过各时刻直方图的峰值可得到特征点在t时刻的运动趋势及微表情发生的时刻。

3.3 自动微表情识别

微表情持续时间短,出现频率低,未经训练的个体识别能力低。研究人员不仅着手个体识别的能力和精确度,而且已经开始研究识别过程和认知神经机制,在微表情数据库方面已经开始建立自然诱发和精确标注的数据库。微表情识别的准确度、微表情的特点、自动微表情识别系统等对数据库的依赖性很强,建立数量足够多、具有代表性的微表情数据库迫切需要。

目前正在开展的自动微表情研究有日本筑波大学的基于Polikovsky数据库的3D梯度直方图识别法;美国南佛罗里达大学基于USF-HD数据库的光流法[9];芬兰奥卢大学基于SMIC数据库的时间差值模型法[10];中国傅小兰团队的Gabor特征法。微表情识别方法有梯度直方图识别法、区域分割与光流法[11]、放大微表情识别法。

1) 3D梯度直方图识别法

采用Gabor滤波器提取经3D投影描述法分析的9个微表情特征区域的多方向、多尺度图像特征,方向个数为8,尺度个数为5,应用基于多区域的局部Gabor二值模式算法[12],构建梯度量级加权的最临近表情分类器,然后经过降维的LGBP特征分类。假设Di和Dj是经过降维后的两个向量,这两个向量的距离可定义为式(2):

(2)

(3)

2) 区域分割与光流法识别

区域分割与光流法识别微表情的步骤如下:

第一步:定位人眼,确定眼睛中心点,将两眼中心点连线,将所有帧图像记录到起始帧;

第二步:将脸部图像进行区域的划分;计算光流应变及阈值,并剔除宏表情部分。

该方法识别微表情要满足如下条件:应变大小必须明显比周围区域大;应变时间持续必须大于0.2s。关于每个区域的平均应变值可利用式(4)求得:

(4)

其中,n为总帧数,r是特征区域,S是第i帧的区域r的应变值。应变值高于阈值被看作是宏表情,小于阈值被认为是微表情。

3) 放大微表情识别法

芬兰奥卢大学的研究小组开发出能够识别微表情的人工智能技术,可以从拍摄人物表情的影像中,检测出微表情的发生。研究小组对影像每一帧之间的微妙转变进行监测,构建出能够扩大识别表情瞬间动作的系统。将识别到的瞬间微表情画面进行夸张化处理后,就能轻松确认这个人物的真实情感了,如图2所示。

图2 原图像、8倍图、24倍图

3.4 微表情编码系统

在1969年Ekman在研究重度抑郁症患者玛丽愉快地请求放她回家的一段视频时,发现了极度痛苦的、只持续了1/15s的一个微表情。Ekman等研究人员对微表情进行研究,发现了微表情与谎言有关,因此微表情研究被应用到了安全、司法、临床领域,同时微表情得到了社会和科学界的广泛关注。

人类测谎专家、微表情研究专家Ekman于2006～2009年发现微表情可以包含普通表情全部或部分肌肉动作[13],收集汇总出了“面部动作编码系统(FACS)”,该编码系统中,人脸面部肌肉43块,可以组合出3000多种与情感有关的表情,由44个动作单元组成,每个单元单独或组合呈现出不同的微表情,其中8种脸部表情的表示单元和编码如表2所示。

表2 微表情与FACS编号

微表情持续时间短,一般人根本察觉不到,当事人自己也没有感觉。微表情与人的脑波一样,虽然存在,很难察觉,是一种未经思索、不受意识控制的表情,因此,微表情是了解一个人内心真实反映的有效线索,需要在情感计算上进行提升,也就是微表情心理建模研究。研究人员研究微表情的影响因素及心理变化,微表情出现时的认知、情绪、动机、人格及神经机制等。与微表情识别研究相比,微表情心理和神经机制研究较少,是需要解决的重要科学问题。

4 各种微表情心理分析

每一个人的内心都是一座城,因为城门的紧闭而让别人总是拥有浓厚的兴趣去打开它。微表情是内心的流露与掩饰,如果错误的理解“微表情”会对交流对象形成错误的判断。理解“微表情”,能够从一闪而过的表情信号里发现有价值的信息。微表情是心理应激微反应的一部分,它从人类本能出发,不受思想的控制,无法掩饰,也不能伪装。再能“装”的人,遇到有效刺激之后的第一瞬间也会出现微表情,他的“装”只能出现在微表情之后。因此,以微表情为代表的微反应是个人内心想法的忠实呈现,是了解一个人内心真实想法的最准确线索。

4.1 撒谎的微表情心理学分析

当向对方询问某事时,对方一侧肩抖动说明对方对自己的话不自信,身体和语言不一致,表示他在撒谎,惊奇、害怕的表情在脸上超过一秒,表示是假装的,对方对你的质问表示不屑,通常你的质问会是真的。对方对你撒谎时,会有更多的眼神交流,来判断你是否相信他的谎言;对你的问题生硬的重复是典型的撒谎方式。说话或思考时把手放在鼻子上是想要掩饰什么的举动,说话时一直把手放在裤兜里或抵着大腿,是紧张的表现,描述一连串发生的事情,如果事情是编造的,他可以按虚构好的顺序说,但是却无法倒叙重复。人撒谎时会摸脖子,这是经典的机械反应。

4.2 紧张、愤怒、兴奋的微表情心理学分析

紧张,愤怒,性兴奋三种情绪会使人的瞳孔放大,手臂紧贴腿部,手指竖起,是心里不安的表现。

微笑的时候眨眼睛说明真的想到令人幸福的事。假笑眼角是没有皱纹的,人在害怕时会出现生理逃跑反应:血液从四肢回流回腿部,做好逃跑准备,手部会先变冰凉微。

羞愧的表情是低着头、手抚摸额头、擦汗状。不屑的表情是上嘴唇上扬说话很急,使用手臂或者物体将自己与对方之间形成障碍。瘪嘴角是经典的犯错表情,对自己的话没信心,声音的震颤可能是反感或厌恶。抚摸自己的手是一种自我安慰的手势,在自己不完全相信自己所说的话时,用来尽量打消自己的疑虑。如果是真的生气,大吼大叫和手用力拍桌子应该是同时发生的,如果一先一后,就有可能是在伪装。研究表明,越受欢迎的人,越会撒谎,他们善于隐藏自己的情感因此容易受欢迎。

5 微表情研究展望

微表情持续时间短、出现频率低,不同个体识别准确率差异大,要实现微表情的广泛应用,就要快速、精确地捕获微表情,那么就需要建立一个真实、实用的微表情数据库,寻找合适的自学习算法,将微表情研究、计算机视觉、模式识别技术结合,充分利用色彩信息,实现对现实生活环境中微表情的自动识别。

当前,人们对微表情的研究仅仅局限在测谎方面,实际上在各种场合都有可能出现微表情,不同场合的微表情反应不同的心理,通过微表情可以判断观察者可信度、痛苦度、舒适度等,研究不同微表情反应的不同心理、不同微表情表现出来的不同神经机制和肌肉运动、在微表情和心理反应间建立相应的模型有助于判断人的心理反应,进而推断人的将来行为。

研究微表情的应用领域,拓宽应用范围,将微表情从国家安全领域扩展到医学、政治心理学、销售、人才招聘等领域有广泛的应用价值。

5.1 微表情研究尚存问题

人们对微表情识别进行很多研究,但也存在较多差异,如微表情的持续时间、运动特点、自我意识性、说谎性、心理特征等,进一步研究这些问题有助于人们深入了解微表情本质,进而更科学的实现微表情心理判断,为应用在不同领域提供科学依据。

寻找自主学习型分类算法,将微表情样本中共同的显著特征信息进行提取,进行分类识别。在自然环境下采集微表情样本,建立真实有效的微表情数据库。

研究心理动机、心理能量和微表情的关系,各种心理反应的外动力和内驱力,心理能量作用引起情绪变化,情绪表现出来的微表情。

5.2 微表情未来的研究

设计自主学习型分类器提取微表情特征。现有微表情识别多是人工识别阶段,不同的人识别差异很大,受过培训的人要比普通人识别率高,在前人设计基础上设计准确的计算机自动识别算法。使用自然环境诱导微表情捕获方法建立微表情样本数据库,因为已有国外微表情数据库对国内人群不适用,而且数据库样本是在自主控制下获得不真实。

建立微表情和心理反应的能量理论。现有微表情研究无不与国家安全的测谎领域相连,为了拓宽微表情的应用领域,必须建立微表情与心理反应的能量关系,对微表情进一步研究。

6 结语

分析了微表情国内外研究现状，研究了基于3D梯度投影微表情捕获方法和微表情人脸数据库从目的性诱导到自然诱导的转变。讨论了微表情研究需要解决的问题：建立逼真有效的微表情样本数据库，缩短微表情捕获的时间，建立自动识别系统，建立微表情心理模型，拓宽拓宽微表情的应用领域，即从侦查、审讯等国家安全领域扩展到医学、政治心理学、销售、人才招聘等领域等。

[1] Ekman P. Telling lies: Clues to Deceit in the Marketplace[J]. Politics and Marriage,2001,2(2):209-214.

[2] Haggard E A, Isaacs K S. Micromomentary facial expressions as indicators of ego mechanisms in psychotherapy[J]. Methods of Research in Psychotherapy,1966,6:154-165.

[3] Ekman P, Friesen W V. Nonverbal leakage and clues to deception[J]. Psychiatry,1969,32:88-97.

[4] Liang Jing, Yan Wenjing, Wu Qi. Progress and Prospects Microexpressions study[J]. Science Foundation of China,2013,6(2):75-82.

[5] Ekman P, Friesen W. Nonverbal behavior and psychology. In:Friedman R, Ed[J]. The Psychology of Depression: Contemporary Theory and Research,1974,12(4):203-224.

[6] Matsumoto D, Le Roux J, Wilson-Cohn, et al. A new test to measure emotion recognition ability: Matsumoto and Ekman’s Japanese and Caucasian Brief Affect Recognition Test[J]. Journal of Nonverbal Behavior,2000,24(3):179-186.

[7] Polikovsky S, Kameda Y, Ohta Y. Facial micro expressions recognition using high speed camera and 3D-gradient descriptor[C]//3rd International Conference on Crime Detection and Prevention,2009,10:231-235.

[8] 刘欣,解仑,王志良.基于3D梯度投影描述的微表情捕捉与识别[J].华中科技大学学报(自然科学版),2014,42(12):122-127. LI Xin, XIE Lun, WANG Zhiliang. Microexpression capture and recognition based on 3D gradient projection description[J]. Journal of Huazhong University of Science and Technology(Natural Science Edition),2014,26(19):1385-1395.

[9] Shreve M, Godavarthy S, Manohar V, et al. Towards macro and micro-expression spotting in video using strain patterns[J]. Workshop on Applications of Computer Vision,2009,6(3):1-6.

[10] Pfister T, Li X, Zhao G, et al. Recognizing spontaneous facial micro-expressions[C]//Proceedings of IEEE International Conference on Computer Vision, Barcelona, Spain: IEEE Press,2011:1449-1456.

[11] 贲晛烨.微表情自动识别综述[J].计算机辅助设计与图形学学报,2014,26(19):1385-1395. BEN Xianye. Automatic recognition of microexpressions[J]. Journal of Computer Aided Design and Computer Graphics,2014,26(19):1385-1395.

[12] 张文山,山世光,张洪明.基于局部Gabor变换直方图序列的人脸描述与识别[J].软件学报,2006,17(12):2508-2517. ZHANG Wenshan, SHAN Shiguang, ZHANG Hongming. Face description and recognition based on local Gabor transform histogram sequence of[J]. Software Journal,2006,17(12):2508-2517.

[13] Wu Qi, Shen Xunbing, Fu Xiaolan. Microexpressions research and its application[J]. Advances in Psychological Science,2010,18(9):1359-1366.

Analysis of Micro-expression Recognition Technology

DU Xingjing XU Ling

(Computer Department, North China Institute of Science and Technology, Langfang 065201)

The present research situation of micro-expression at home and abroad is analyzed, and the micro-expression acquisition method based on 3D gradient projection is studied. Micro-expression automatic recognition method includes: 3D gradient histogram recognition, regional segmentation and optical flow identification, amplification micro-expression recognition method. The micro-expression research is discussed from micro-expression coding system and psychoanalysis. The transformation of the micro-expression face database from the purpose-induced to the natural-induced is analyzed, the problems that micro-expression needs to be solved are pointed out: the establishment of realistic and effective micro-expression database; shorten the micro-expression capture time; the establishment of automatic identification system; the establishment of micro-emotional model, Widen the application of micro-expression, that is, from the investigation, interrogation and other national security field extended to the medical, political psychology, sales, recruitment and other fields.

micro-expressions, capture, automatic recognition, natural induction, sample database

2016年8月17日,

2016年9月30日

河北省科技计划项目(编号:15210708);中央高校基本科教研业务费资助(编号:3142014092)资助。

杜杏菁,女,博士,副教授,研究方向:图像处理,生物识别。徐玲,女,硕士研究生,研究方向:图像处理,计算机应用。

TP391

10.3969/j.issn.1672-9722.2017.02.030