基于LabVIEW 的面部表情识别系统的设计

王 桔，丁 锐，洪 梅

(长春大学电子信息工程学院，长春130011)

基于LabVIEW 的面部表情识别系统的设计

王 桔，丁 锐，洪 梅

(长春大学电子信息工程学院，长春130011)

针对传统界面表现不清晰，编程语句繁琐的问题，基于LabVIEW软件设计了系统的面部表情识别界面。对面部表情识别系统设计中的关键问题进行探讨，利用Matlab，应用离散小波理论算法进行表情图像特征提取，并采用弹性模版匹配算法进行情绪识别。实验结果表明，基于LabVIEW的面部表情识别系统，应用LabVIEW软件简单的语句设计了清晰互动的界面，其识别率可达到85%以上。

面部表情;情绪识别;小波算法;弹性模版匹配;界面设计

0 引 言

随着信息技术不断发展，心理学领域中的计算机技术应用亦取得了长足进步。其中根据表情识别判断人们的情绪，实施心理分析，是计算机模式识别技术中一个最重要突破［1，2］。情绪是人类心理活动的综合反映，在影响和控制个人的行为中具有举足轻重的作用，人类的一切言行在很大程度上受情绪左右［3］。心理学家Mehrabian认为，情绪表达=7%语言+38%语调+55%面部表情，可见人脸表情与情绪表达具有十分密切的关系［4］。应用计算机技术将人脸面部表情量化处理，提取能反映情绪的量化因子，进行情绪识别，以研究人类行为的规律与导向，这正是表情识别研究的意义所在［5，6］。

目前表情识别技术成为心理学，应用计算机技术领域的研究热点，表情识别系统的关键特征算法多种多样，层出不穷，而且界面全都是基于传统编程语言编辑进行设计的，既繁琐累赘，系统界面也不鲜明，不够人性化［7，8］。笔者对面部表情识别系统设计中的关键问题展开探讨，应用离散小波变换提取表情特征，可更好地将面部细微表情纹理提取，保留更多的细结。界面设计并应用目前最为流行的LabVIEW软件设计此表情识别系统界面，使该系统界面更加形象、生动。

1 表情识别系统设计

表情识别技术的流程如图1所示。图像的获取采用日本JAFFE(Japanese Female Facial Expression Database)表情数据库的图像做为依据，为解决因光线强弱不同造成的图像清晰度问题，首先要进行预处理;获得较清晰的表情图像效果，在Matlab下用离散小波算法提取图像中含有表情信息的特征因子;最后通过分类识别，输出图像表情结果。

图1 表情识别系统流程图Fig.1 Facial expression recognition chart

1.1 图像的预处理

由于光照或其他噪声干扰等问题而引起图像质量不高，所以，在进行表情识别前要对表情图像进行预处理。此识别系统分别加入了表情图片的灰度提取，对灰度进行二值化转换，并通过直方图均衡化能自适应地有效改善图像对比度不足问题。笔者主要在Matlab软件下应用直方图的均衡化进行表情图像预处理［9］。以愤怒表情为例，处理前后的直方图如图2所示。通过比较可以看到，归一化的直方图不再均匀，直方图均衡化后的图像增强，排列变得不再均匀，使图像的细节更加清晰。

图2 未处理的直方图和处理后的直方图Fig.2 Unprocessed and procassed histogram

1.2 图像表情的特征提取

图像表情的特征提取是表情识别系统中最关键步骤。笔者应用小波变换对表情图像进行特征提取。利用离散小波变换对数字图像进行多分辨率观察和处理时，除了可有效、高度直观地描述框架以及分辨率图像存储外，还有利于深入了解图像的空间域和频域特性［10］。

当系统输入一个大小为M×N的图像时，其离散变换T(u，v，…)，可表示为

其中x，y是空间变量，u，v，…是变换域变量。若给定T(u，v，…)，则f(x，y)可用一般的离散反变换

得到。其中gu，v和hu，v分别称为正变换核和反变换核。它们决定了变换对的性质、计算复杂度和主要用途。变换系数T(u，v，…)可看做f关于{hu，v，…}的一系列展开系数。反变换核对于f的序列展开定义一组展开函数。因此，任意函数的离散小波变换为

对愤怒、高兴、悲伤、惊讶、厌恶和恐惧6种基本表情进行离散小波变换处理后得到的特征图像如图3所示。处理后的特征表情为后期的表情分类工作提供了更好的表征表情特征的特征向量。

图3 表情特征图像Fig.3 Expression feature image

2 表情识别系统的实现

2．1 弹性图识别

笔者对提取出的表情特征图像进行分类识别应用的算法为弹性图匹配识别法。弹性图匹配是面部关键特征定位的一种重要算法。其基本思想是:在图像上选取一些特征点建立具有一定拓扑结构的弹性模板，提取每个节点的特征矢量，定义相似度函数计算特征矢量以及拓扑结构的相似程度，通过追求相似度的最大化完成弹性图匹配［11］。弹性图特征点如图4所示。

图4 弹性图特征点Fig.4 Elastography feature points

2．2 表情识别界面的设计

笔者应用Matlab和LabVIEW软件进行混合编程实现表情识别系统。将Matlab对表情的处理程序嵌入到LabVIEW中去。目前Matlab和LabVIEW软件是工程运算中最流行的两款软件，LabVIEW是美国NI公司开发的基于图形化编程语言的开发程序，该图形化编程语言清晰简明，通过LabVIEW软件设计，使表情识别系统界面变得更加丰富多彩，也改善了传统应用编程语言编辑界面的繁琐和累赘。笔者应用LabVIEW软件设计了3个可选择的面板，进行图像获取、图像预处理及表情识别3个步聚。图像获取前面板如图5所示。图像预处理前面板如图6所示。表情识别前面板如图7所示。

图5 图像获取前面板Fig.5 The front panel of image acquisition

图6 图像预处理前面板Fig.6 The front panel of image preprocessing

图7 表情识别前面板Fig.7 The front panel of expression acquisition

2.3 LabVIEW调用Matlab程序

笔者借助Matlab强大的图像处理功能，对获取的表情图片进行预处理，再应用其内部的小波分析工具箱中的离散小波分析得到表情图像的特征。在 LabVIEW中调用 Matlab处理程序，调用过程为LabVIEW中的Funcion(函数)模块-数学-角本与公式-脚本节点-Matlab脚本，LabVIEW调用Matlab程序的角本文件部分程序如图8所示。

图8 角本文件部分程序Fig.8 Part of scrip program

3 实验结果分析

笔者应用弹性模版匹配方法而得到的特征表情识别率结果如表1所示。

表1 特征表情识别率Tab.1 Expression recognition rates

从表1可以看出，高兴的识别率最高，厌恶和惊讶的识别率相对低一些，与人们日常面部表情的分别关系不大。

4 结 语

面部表情识别系统是一项有待深入研究的课题，其中表情因子提取与模式识别算法是系统研究中的关键内容。笔者所做的工作是将LabVIEW及Matlab两款工程软件混合编程;在表情特征识别中应用小波分析工具箱对表情图像进行预处理及表情特征提取;应用弹性模版匹配法进行相应表情的识别;最后应用LabVIEW丰富完美的图形化软件给出友好的界面。实验结果表明，该系统的识别率在85%以上。未来的工作将侧重于在系统中融入生理信号，提高面部表情与心理活动的一致性。

［1］韩金霖.一种改进的人脸表情识别方法研究［D］.重庆:西南大学电子与通信工程学院，2012:204-206. HAN Jinlin.An Improved Method for Facial Expression Recognition Research［D］.Chongqing:Institute of Electronic and Communication Engineering，Southwest University，2012:204-206.

［2］姜锐.人脸表情识别系统的研究与实现［D］.杭州:浙江理工大学计算机工程学院，2013:102-105. JIANG Rui.Facial Expression Recognition System Research and Implementation［D］.Hangzhou:Institute of Computer Engineering，Zhejiang University of Technology，2013:102-105.

［3］HARA F，KOBAYASHIH.State of the Art in Component Development for Interactive Communication with Humans［J］. Advanced Robotics，1997，11(6):585-604.

［4］NAGAMACHIM.Kansei Engineering:A New Ergonomic Consumer-Oriented Technology for Product Development［J］. International Journal of Industrial Ergonomics，1995，16(3):502-506.

［5］KORT B，REILLY R，PCARD R.An Affective Modelof Interplay between Emotions and Learning:Reengineering Educational Pedagogy-Building a Learning Companion［C］∥IEEE International Conference on Advanced Learning Technologies.［S.l.］: IEEE，2001:1022-1024.

［6］PINHANEZC S.The Everywhere Displays Projector:A Device to Create Ubiquitous Graphical Interfaces［C］∥Proceedings of the 3rdInternational Conference on Ubiquitous Computing.Beijing，China:China Association for Science and Technology，2001:315-331.

［7］胡阳明，周大可，鹿东.基于形变模型的三维人脸快速重建改进算法［J］.吉林大学学报:信息科学版，2012，30(6):606-609. HU Yangming，ZHOU Dake，LU Dong.Improved 3D Fast Face Reconstruction Algorithm Based on Morphable Model［J］. Journal of Jilin University:Information Science Edition，2012，30(6):606-609.

［8］马光凯.基于多特征融合的人脸识别算法研究［D］.哈尔滨:哈尔滨工业大学计算机技术学院，2012:204-205. MA Guangkai.Face Recognition Algorithm Based on Multiple Features Fusion Research［D］.Harbin:Institute of Computer Technology，Harbin Industrial University，2012:204-205.

［9］牛晓伟.一种能识别情感状态的遗传算法及应用［J］.兰州理工大学学报，2010，36(4):94-97. NIU Xiaowei.One Can Identify the Emotional State of Genetic Algorithm and Its Application［J］.Journal of Lanzhou University of Technology，2010，36(4):94-97.

［10］崔景霞.小波变换在人脸表情识别研究中的应用［J］.长春理工大学学报:自然科学版，2011，28(3):230-214. CUI Jingxia.The Application of Wavelet Transform in Facial Expression Recognition Research［J］.Journal of Changchun University of Science and Technology:Natural Science Edition，2011，28(3):230-214.

［11］梁路宏，艾海舟，何克忠.基于多模板匹配的单人脸检测［J］.中国图像图形学报，1999，4(10):825-829. LIANG Luhong，AIHaizhou，HE Kezhong.Single Face Detection Based on Template Matching［J］.Chinese Journal of Image and Graphics，1999，4(10):825-829.

(责任编辑:张洁)

Design of Facial Expression Recognition System Based on LabVIEW

WANG Ju，DING Rui，HONG Mei

(College of Electronic and Information Engineering，Changchun University，Changchun 130011，China)

The traditional interface performance is not clear，and the programming statements are tedious.We design the interface of facial expression recognition system based on the NI company LabVIEW software，and discuss the key problems in the design of facial expression recognition system，then use efficient Matlab processing software engineering，to extract expression image feature，using the theory of discrete wavelet algorithm and the of flexible templatematching algorithm is used to identify the emotion.The experimental results show that the design based on LabVIEW facial expression recognition system uses the LabVIEW software simple statement to design a clear interactive interface，and the recognition rate can reach more than 85%.

facial expression; emotion recognition; wavelet algorithms; flexible template matching; interface design

TP391

A

1671-5896(2015)06-0714-05

2015-02-06

吉林省自然科学基金资助项目(201215110)

王桔(1980— )，女，长春人，长春大学讲师，博士，主要从事电子与通信工程、表情情绪识别研究，(Tel)86-18704481358(E-mail)youyou8221@aliyun.com。