弱光照环境下人脸表情图像识别方法研究

(四川城市职业学院，四川 达县 635000)

弱光照环境下人脸表情图像识别方法研究

谢亮

(四川城市职业学院，四川达县635000)

对弱光照环境下人脸表情图像进行识别，可以更好地对人类的情感进行分类，有利于人类在现实社会中的沟通；当前方法利用提取人脸表情图像的一维特征完成对弱光照环境下人脸表情图像的识别，该方法无法对人脸表情图像进行详细地描述，导致人脸表情图像在识别时经常出现识别精度低、速度慢的问题；为此，提出一种基于BP神经网络的弱光照环境下人脸表情图像识别方法；该方法首先利用自相似性对带有噪声的图像进行图像区域划分，并依据统计学习获得线性空间，通过对空间的投影获得不含噪声的人脸表情图像区域向量，将人脸表情图像进行重组，得到去噪后的图像，然后利用Cabor变换对人脸表情图像特征进行提取，采用AdaBoost对弱分类器以及人脸表情图像样本进行训练，并通过多次弱分类器的迭代，得到最终的人脸表情图像强分类器，完成对弱光照环境下人脸表情图像的识别；实验结果证明，所提方法可以提高人脸表情图像的识别准确率，加快识别速度，为该领域的研究发展提供强有力依据。

弱光照；人脸表情；图像识别

0 引言

如今，人脸表情是人类交流的主要途径之一[1]，它包含着异常丰富的个人感情。随着人工智能以及模式识别的不断发展，人脸表情的识别受到了社会各个领域的关注，在人机交互中有着重要的地位[2]。从而使弱光照环境下人脸表情图像的识别成为该领域的研究热点和难点[3]。多数弱光照环境下人脸表情图像识别方法无法对人脸表情图像进行准确、快速地识别，导致人脸表情在识别时，存在识别误差大、抗干扰能力弱，对人脸表情图像的局部和总体特征描述不够充分的问题[4]。在这种情况下，如何准确地对弱光照环境下人脸表情图像进行识别，成为当前迫切需要解决的问题[5]。而基于BP神经网络的弱光照环境下人脸表情图像识别方法，可以对弱光照环境下人脸表情图像进行低误差、快速稳定地识别，是解决上述问题的可靠途径[6]。由于人脸表情图像识别已经渐渐深入人们的生活，自然成为了当前专家学者在图像识别领域的必研课题，同时也研究出很多好方法[7]。

文献[8]提出一种基于SVM的弱光照环境下人脸表情图像识别方法。该方法首先通过积分投影来确定人眼中心位置，并依据人眼中心位置的坐标，对人脸表情图像进行预处理，利用直方图均衡化对人脸表情图像补光，减少图像间的灰度差异。结合主分量分析与Fisher线性判别方法，进一步减少特征维数以及训练特征空间，这样获得的特征不仅可以提高人脸表情识别的速度，更易于对人脸表情图像的分类。最后将全部表情图像投影至特征空间。该方法虽然简单，但是对人脸表情图像的识别精度低。文献[9]提出一种基于流形学习的弱光照环境下人脸表情图像识别方法。该方法首先在国内外海量文献以及书籍的基础上，对人脸表情图像识别的背景、应用领域和研究价值与国内外的研究现状进行阐述。对人脸表情识别系统所涉及到的各步骤，和如今依据的主流识别方法进行全面综述。为人脸表情图像识别技术分析与探讨打下基础。然后，对每一幅将要进行识别的人脸表情图像进行预处理，依据人脸颜色在YCbCr空间概率的分布特征以及对应肤色的高斯模型特性，利用一种肤色高斯模型对人脸表情图像进行检测。最后与弹性模板结合，计算出待测表情图像和表情图像数据库中，表情相似度，通过该相似度，利用K近邻人脸表情图像分类策略实现人脸表情图像的识别。该方法对人脸表情图像识别的误差低，但是通用性不强。文献[10]提出了一种基于关键块空间分布的弱光照环境下人脸表情图像识别方法。该方法首先在传统的人脸表情图像识别基础上，增加图像关键块的空间分布信息，从而提高识别准确率，提取出表情图像的滤波特征，然后利用人脸表情图像的训练样本根据向量量化法，训练规定长度的码书，采用码书把训练的样本图像进行编码，使编码成索引矩阵，获得人脸表情图像索引分布，最后，将表情图像编码获取的索引矩阵和滤波特征一起作为人脸表情图像特征，应用于人脸表情图像的识别。该方法人脸表情图像识别率高，但是运行过程繁琐。

针对上述产生的问题，提出一种基于BP神经网络的弱光照环境下人脸表情图像识别方法。仿真实验证明，所提方法可以准确地对弱光照环境下人脸表情图像进行识别。

1 基于图像差分法的人脸表情图像识别方法

在弱光环境下人脸表情图像识别过程中，首先对静态人脸表情图像特征提取的方法进行了讨论，其次利用差值图获取人脸表情图像的特征点，最后通过图像的特征点拟合找出图像特征区域的变化。以下是对弱光环境下人脸表情图像识别的详细步骤。

将采集得到的人脸表情图像进行处理，提取出可以反映出表情特征变化的区域，例如嘴巴，眼眉等。对要进行识别的表情图像进行去噪，完成尺度与几何归一化等操作。对人脸表情图像区域特征进行手动提取，并进行几何归一化为256*256个像素大小。对获取的图像进行差分操作，获得二值化图像，在二值化图像中搜索眼眉区域。

利用积分投影的方式对二值化图像上半部分投影，假设图像中各个点的像素为B(j,l)，图像的大小为Q×O，那么垂直投影的积分函数为：

(1)

水平投影的积分函数为：

(2)

通过垂直与水平积分投影图像，去除部分噪声对图像的影响，通过投影图像能够找到眉眼区域。

因为人脸表情主要和眉毛有关，因此着重比较中性人脸表情中眉毛的特征与笑脸表情中的眉毛特征。至此只需分析人脸的眉毛变化规律就可以确定人脸表情。

2 基于BP神经网络的人脸表情图像识别方法

2.1 人脸表情图像增强

要提高弱光照环境下人脸表情图像的识别准确率，必须先对人脸表情图像进行去噪处理。本文利用自相似性完成对人脸表情图像的去噪，具体过程如下。假设将人脸表情图像设定为数字图像，则数字图像可以表示为信号与噪声的叠加：

u0(x,y)=uf(x,y)+un(x,y)

(3)

其中，u0(x,y)代表有噪声的人脸表情图像，uf(x,y)代表没有噪声的人脸表情图像，un(x,y)代表加性噪声，此处假设un(x,y)是高斯白噪。

因为人脸表情图像主要是由物体的反射光构成，所以将不含噪声的人脸表情图像分解成光照强度与物体表面反射频率之间的乘积：

uf(x,y)=s(x,y)r(x,y)

(4)

其中，s(x,y)代表光照的分布，r(x,y)代表物体表面的反射率。通常情况下，光照强度为一个低频信号，在某一个局部可将其视为常数。r(x,y)是由物体表面的纹理决定的，因为同一个物体不同的局部拥有相同的纹理，在人脸表情图像中也经常会有很多个比较相似的物体，因此r(x,y)有重复性，即在人脸表情图像不同的局部，会出现相同的r(x,y)。

利用P(x,y)代表以(x,y)为中心，且包含m×m个图像像素的局部区域，该局部区域无噪声图像可用m2维的向量If(x,y)来表示。假设人脸表情图像中P(x1,y1)和P(x2,y2)具有相同纹理，即这两个局部对应的r相同，那么根据式(4)可得：

(5)

由上式可知，有相同纹理的人脸表情图像区域对应的向量位于一个子空间。

利用式(5)，一个包含噪声的人脸表情图像向量可表示为：

I0(x,y)=If(x,y)+In(x,y)

(6)

其中，I0(x,y)代表有噪声的人脸表情图像向量，In(x,y)代表噪声向量，因为un(x,y)是高斯白噪，因此In(x,y)为m2维的高斯噪声，而且各维独立分布。在获得图像的观测样本I0(x,y)之后，就能够利用统计学习法来估计各子空间Si以及其所属的样本，假设图像中某一个位置的向量If(x1,y1)∈Si，因为In(x1,y1)各维具有无关性，所以I0(x1,y1)∉Si。将I0(x1,y1)投影至Si中，可获得If(x1,y1)的估计值Id(x1,y1)，利用Id(x1,y1)组建新表情图像，就可以达到理想的去噪效果，从而增强弱光照环境下人脸表情图像的亮度。

2.2 人脸表情图像特征提取

以2.1中各项数据为基础，利用Cabor变换对人脸表情图像特征进行提取。Cabor变换具有良好的空间局部性与方向选择性，可以抓住人脸表情图像局部区域中数个方向的空间频率与局部结构特征。由此Cabor分解可看成一个对图像特征提取尺度具有方向性的显微镜。

(7)

将核函数定义成一个用高斯包络函数所约束的平面波：

(8)

k=(kvcosφu,kvsinφu)

(9)

2.3 人脸表情图像分类

依据上述的图像去噪以及图像的特征提取结果，利用AdaBoost对人脸表情图像进行分类。AdaBoost主要是在同一训练集中训练出不同弱分类器，是为了提高人脸表情图像的识别准确度。具体过程如下。

(1)假设，有N个人脸表情图像样本：(p1,q1)，(p2,q2)，......，(pN,qN)，其中，pi∈R代表人脸表情图像样本，qi∈T={-1,+1}代表图像类别的标记，当qi=-1时，代表非人脸表情样本，qi=1时，代表为人脸表情样本，i代表分量；

(2)N个概率分布的初始化权重为DI(i)=1/N；

(3)取循环t=1,…,A；

(4)依据概率分布D，训练弱学习器；

(5)利用下式计算弱分类器ht:R→{-1,+1}的分类误差：

εt=Pri～Dt[ht(pi)≠qi]

(10)

依据下式更新概率分布：

(11)

其中，zt代表归一化系数，Dt+1(i)代表概率分布；

(6)利用下式获得最强人脸表情图像分类器：

(12)

对于上述分类中AdaBoost算法的步骤，选取一组弱分类器与N个人脸表情图像训练样本，经过训练后从中抽出A个弱分类器组建一个强分类器。取权值相当的N个样本完成AdaBoost算法的初始化，在训练的过程中，随着迭代的进行对权值做出相应的调整，通过多次弱分类器的迭代，可以输出最终的人脸表情图像强分类器。

3 仿真实验结果与分析

为证明基于BP神经网络的弱光照环境下人脸表情图像识别方法的可行性，需要进行一次仿真实验。在WindowsXP环境下搭建弱光照环境下人脸表情图像识别实验仿真平台。实验数据取自于JAFFE女性人脸表情图像数据库，测试样本为150幅人脸表情图像，利用本文所提方法对实验数据进行识别，观察本文所提方法的整体有效性。表1是不同方法人脸各种表情图像识别率(%)的对比。下面给出了识别率(%)计算公式。

(13)

表1 不同方法人脸各种表情图像识别率的对比

厌恶80.382.694.5由表1可知，文献[8]所提方法对于这6种人脸表情图像的识别总体情况良好，但是对惊讶表情的识别与文献[9]所提方法以及本文方法相比较低，文献[8]所提方法通过积分投影来确定人眼中心位置，并依据人眼中心位置的坐标，对人脸表情图像进行预处理的过程中没有设置具体指标来控制人眼中心位置的变化，导致个别表情的识别率较低。本文所提方法利用对图像的去噪，特征提取以及分类完成人脸表情图像的准确识别，提高了识别精度。上述对比证明了本文所提方法具有较高的可行性与通用性。表2是不同方法人脸表情图像识别所用时间(s)对比。

表2 不同方法人脸表情图像识别所用时间对比

由表2可知，本文所提方法人脸表情图像识别时间明显少于文献所提方法。文献[9]所提方法依据人脸颜色在YCbCr空间概率的分布特征以及对应肤色的高斯模型特性，并利用一种肤色高斯模型对人脸表情图像进行检测这一步骤延缓了图像的识别时间，导致图像识别时间较长。文献[10]所提方法利用人脸表情图像的训练样本根据向量量化法，训练规定长度的码书，采用码书把训练样本图像进行编码，使编码成索引矩阵，获得人脸表情图像索引分布的过程所用时间较长，使文献[10]所提方法图像识别所用时间较长。本文所提方法利用AdaBoost对人脸表情图像进行分类，加快了图像识别速度，减少了图像识别时间。图1是不同方法图像去噪效果对比。

分析图1得知，文献[8]所提方法与文献[10]所提方法图像去噪的效果，要比本文所提方法的图像去噪效果差。主要是因为本文方法采用的是自相似性对人脸表情图像进行去噪，该方法增强了弱光照环境下人脸表情图像的亮度，使图像

图1 不同方法图像去噪效果对比

的去噪效果更明显。说明了本文所提方法具有良好的可实践性。图2是不同方法人脸表情图像分类时间(s)对比。

图2 不同方法人脸表情图像分类时间对比

分析图2，文献所提方法人脸表情图像分类时间普遍较长。本文所提方法利用AdaBoost对弱分类器和人脸表情图像样本进行训练。在训练过程中，随着迭代计算的进行对权值做出相应的调整，通过多次弱分类器迭代，输出最终人脸表情图像强分类器，减少图像分类时间，提高图像识别效率，进一步证明本文所提方法的实用性。

4 结束语

采用当前方法对弱光照环境下人脸表情图像进行识别时，存在识别精度低、速度慢的问题。提出一种基于BP神经网络的弱光照环境下人脸表情图像识别方法。并通过仿真实验证明，所提方法可以准确地对弱光照环境下人脸表情图像进行识别，具有良好的借鉴价值，成为该领域研究发展的风向标。

[1] 聂 玲.一种用于人脸识别的仿射包集识别模型仿真[J].计算机仿真,2016,33(10):395-398.

[2]马 琦,马蔚鹏,刘 彦,等.基于支持向量机的图像飞机目标自动识别算法研究[J].计算机测量与控制,2014,22(9):2851-2852.

[3]郭 超,刘 烨.多色彩空间下的岩石图像识别研究[J].科学技术与工程,2014,14(18):247-251.

[4]贾延明,潘 亚.河南地区秸秆焚烧空气污染区域的图像识别算法研究[J].科技通报,2017,33(2):109-112.

[5]夏海英,徐鲁辉.基于主动形状模型差分纹理和局部方向模式特征融合的人脸表情识别[J].计算机应用,2015,35(3):783-786.

[6]刘 洋,韩广良,史春蕾.基于SIFT算法的多表情人脸识别[J].液晶与显示,2016,31(12):1156-1160.

[7]柳露艳,王直杰.光照不均人脸图像的子空间人脸识别方法研究[J].电视技术,2014,38(15):217-221.

[8]胡昭华,赵孝磊,徐玉伟,等.一种新的低秩分块稀疏表示的人脸识别算法[J].数据采集与处理,2015,30(5):1109-1120.

[9]廖延娜,马 超.基于稀疏表示的人脸识别系统设计与实现[J].电子设计工程,2016,24(17):153-155.

[10]袁 姮,王志宏,姜文涛.刚性区域特征点的3维人脸识别[J].中国图象图形学报,2017,22(1):49-57.

ImageRecognitionMethodofFacialExpressioninWeakLightEnvironment

Xie Liang

(Sichuan Urban Vocational College,Daxian 635000,China)

The recognition of facial expressions in weak light environment can be used to classify the emotions of human beings, which is conducive to the communication of human beings in the real world. Current method used to extract the facial expression features complete facial expression under the weak light environment image recognition, the method can't describe in detail the facial expression image, lead to facial expression image often appear in identifying low identification precision, the problem of slow speed. This paper presents an image recognition method based on the weak light environment of BP neural network. This method firstly using the self-similarity of image region partition of the image with noise and linear space and on the basis of statistical learning, gain without noise of space projection facial expression vector of image region, the facial expression image restructuring, after denoising image, then use Cabor transform to extract facial expression image characteristics, finally uses the AdaBoost to weak classifier and facial expression image training samples, and through times of weak classifier iteration, get the final facial expression image classifier, complete the facial expression of the image recognition in weak light environment. The experimental results show that the proposed method can improve the recognition of facial expression image accuracy, speed up the recognition, the research in the field development provides a strong basis.

weak light;facial expressions; image recognition

2017-05-06；

2017-05-23。

谢 亮(1980-)，男，四川达县人，硕士研究生，讲师，主要从事计算机应用方向的研究。

1671-4598(2017)09-0234-03

10.16526/j.cnki.11-4762/tp.2017.09.060

TP391

A