基于局部幅度三值模式的人脸识别

邓文骏，邱卫根，谭台哲

(1.广东工业大学 计算机学院，广东 广州 510006；2.河源广工大协同创新研究院，广东 河源 517000)

基于局部幅度三值模式的人脸识别

邓文骏1，邱卫根1，谭台哲2

(1.广东工业大学 计算机学院，广东 广州 510006；2.河源广工大协同创新研究院，广东 河源 517000)

针对局部三值模式(Local Ternary Pattern，LTP)对纹理特征描述不足的问题，提出一种基于局部幅度三值模式(Local Magnitude Ternary Pattern，LMTP)的人脸识别算法。首先将人脸图像进行分块处理。然后用LTP算子提取直方图以描述局部纹理的结构和LMTP算子提取直方图以描述局部纹理中像素值间的偏离幅度。最后将不同的直方图串联成LTP/LMTP直方图，将其作为人脸特征用于人脸匹配。实验分析表明，算法对纹理有更好的描述能力和在人脸识别中有更高的识别率，并对噪声有较好的鲁棒性。

局部幅度三值模式；LTP；人脸识别

作为机器视觉、模式识别等邻域中最热门的研究课题之一，人脸识别不仅在学术上具有重要价值，而且在实际生活中有着重要的应用前景[1]。人脸特征提取可分为全局特征提取和局部特征提取。其中全局特征提取的方法有主成分分析(PCA)[2]、线性判别分析(LDA)[3]和独立成分分析(ICA)[4]等。局部特征提取的方法有局部二值模式(LBP)[5-8]、Gabor小波[9-11]、局部量化模式(LQP)[12]等。相较于全局特征提取，局部特征提取对光照和姿势等变化具有较好的鲁棒性，因此更多人利用局部特征提取实现人脸识别。

LBP是一种有效的纹理描述算子，Ahonen等人将其引入人脸识别中。LTP[13]是在LBP基础上增加阈值的设定，这对纹理结构有更加细腻的描述，同时也对噪声有较好的鲁棒性。但是LBP或LTP算子都只是对纹理的结构进行描述，却没有对纹理中像素点之间的不同进行有效的表达。为了对纹理中像素点之间的差异进行更多的描述，进而利用其来提高人脸识别率，本文提出局部幅度三值模式，首先对邻域像素值与中心像素值的偏离幅度进行编码，描述局部纹理中像素点的差异，同时提取LTP特征描述纹理结构，然后把得到的LMTP的直方图与LTP直方图进行串联，得到人脸特征。实验结果表明，该算法能有效提高人脸识别率。

1 局部三值模式的回顾

1.1 局部二值模式(LBP)

LBP是对图像中局部纹理特征进行描述的算子。LBP算子对图像中每个像素点的(P，R)邻域进行采样，其中P表示采样个数，R表示邻域的半径。对中心像素点的灰度值gc与其邻域第i个像素灰度值gi进行比较，gi大于gc则为1，否则为0。这样得到P位的二进制编码。通过十进制转换得到LBP值，计算如下

(1)

(2)

同时Ojala提出采用“均匀模式”对LBP算子的二进制编码进行降维。使得LBP模式值由2P种减少至P(P-1)+3种。“均匀模式”使得统计直方图时，在不损失过多有用信息的情况下，减少统计的类别。

1.2 局部三值模式(LTP)

LTP算子是对LBP算子的扩展，其对光照变化和噪声具有更好鲁棒性，并更加细腻地描述局部纹理。LTP增加自定义t，gi大于区间[gc-t，gc+t]时为1，属于此区间时为0，小于此区间时为-1，得到三值编码值，计算如下

(3)

(4)

式中：P、R、i和LBP算子一样。由于LTP的模式值有3P种，为简化计算，令LTP特征分解为正、负LBP的编码方式。即把编码值不为1的均修改为0，得到正LBP人脸纹理特征。把编码值为-1的修改为1，其余均变为0，从而得到负LBP人脸纹理特征。过程如图1所示。

图1 LTP算子过程

2 LMTP算子的提取和人脸特征的表示

2.1 局部幅度三值模式(LMTP)

尽管LTP算子对LBP做出了改进，使得该算子对光照变化和噪声更具鲁棒性，并且对局部纹理有更好的描述。但本质上与LBP算子对纹理的描述是一致的。LBP和LTP都仅仅通过比较像素值的大小来确定编码值，忽略了像素值之间偏离幅度的描述。当邻域像素值与中心像素值或区间之间保持大小关系不变的前提下发生较大变化时，编码值结果保持不变。所以LTP算子无法描述此类非线性变化前后的差异，而这种差异也是纹理的重要特征之一，然而这部分重要的纹理信息没有被有效地利用到人脸匹配中。

针对LTP对局部纹理描述的不足，本文提出LMTP算子。定义mi=gi-gc为gi与gc之间像素值的差，其中gc为中心像素值，gi(i=0,1，…，P-1)为中心像素的邻域中第i个像素值。mi表示邻域像素值与中心像素值的偏离幅度，LMTP算子则有如下定义，公式如下

(5)

(6)

式中：P，R，t和LTP算子一样，u是阈值，对人脸图像分块处理后，把u设置为所属分块中所有mi的绝对值的均值。例如图2a是一个中心像素值为25的3×3的局部邻域。图2b是偏离幅度向量[-17，6，7，3，17，-15,13，-5]，假设该向量所处块中所有mi的绝对值的均值为8，以此值设定阈值u，通过式(5)和式(6)得到三值编码(-1)0001(-1)10。从得到的编码中可以看到，邻域的像素点分为三类，像素值比中心像素值小且偏离幅度较大时得到的编码值为-1，比中心像素值大且偏离幅度较大时编码值为1，与中心像素值偏离幅度不大时编码值为0。

图2 LMTP算子

LMTP中阈值t的设定目的也是为了增加对噪声的鲁棒性。阈值u则是对邻域像素值与中心像素值的偏离幅度进行编码值的划分。当邻域像素值都比中心像素值大时，LMTP通过比较幅度值来表达邻域像素点间的差异，LTP则只是简单的比较。尽管LMTP的形式与LTP相似，但其更多是描述邻域像素值之间的不同，从而补充LTP算子对局部纹理描述的不足，为人脸识别提供更丰富的纹理特征。最后利用得到的人脸纹理特征进行人脸识别，提高识别的准确率。

2.2 LMTP和LTP人脸的特征提取和表示

本文提出结合LMTP和LTP的人脸纹理特征提取算法。图3是人脸特征提取的流程。

图3 LMTP和LTP人脸特征提取

以一张人脸图像为例，将图像划分为m×n块，其中LMTP和LTP特征提取步骤如下：

1)从人脸图像的某一分块中的一个像素点A的像素值记为gc，邻域像素值记为gi。

2)通过式(3)、(4)计算A点的LTP值，并分解为正负均匀模式的LBP。

3)通过式(5)、(6)计算A点的LMTP值，并分解为正负均匀模式的LBP。

4)重复步骤2)、3)计算该块中每个像素值的编码值，然后统计LTP直方图和LMTP直方图。

5)对人脸图像的每一块重复以上步骤，得到m×n个LTP直方图并串联成为一个直方图。同理，将m×n个LMTP直方图串联成一个直方图。

6)进一步将LTP直方图与LMTP直方图串联得到整幅人脸的LTP/LMTP直方图，将此作为人脸特征。

3 实验结果与分析

为了检测该人脸识别算法的性能。本研究采用ORL、AR和FERET人脸数据库进行仿真实验。实验中阈值t设置为4，人脸图像分成3×3块，P和R取值分别为8和1，用LTP8,1和LMTP8,1计算人脸特征。然后统计直方图，本文采用Chi平方统计对直方图的相似性进行度量，然后用根据最近邻准则进行分类。

3.1 在ORL人脸数据库上的实验

ORL人脸数据库由剑桥大学AT&A实验室创立。一共有400张人脸图像，40个人，每人10张图片。自愿者的图像包括了姿势、表情和面部饰品的改变。每张图片大小为 112×92。 人脸库中某一人的10幅图像如图4所示。

图4 ORL人脸数据库示例

在真实场景下，采集人脸样本时不可避免地受到噪声的影响。LTP本身对噪声有较好的鲁棒性，为了测试LMTP对噪声是否同样具有鲁棒性，对ORL增加噪声等级λ，模拟真实场景下的噪声。在此实验中随机选取5张图像作为训练样本，剩余的图像作为测试样本，识别率的对比结果如表1所示。

表1 不同方法在ORL上的识别率%

方法原图像不同噪声导级下的识别率λ=003λ=008λ=013LBP910863792431LTP937916830525LMTP883861814417LTP/LMTP976955858592

通过表1的对比实验可以看到，当噪声等级λ增大时，LBP的识别率快速下降，而LTP、LMTP和LTP/LMTP的识别率的下降幅度较小，证明对噪声具有较好鲁棒性。同时可以看到LMTP在原图中识别率达到88%，表明其作为纹理的特征之一，能被利用到人脸识别。LTP/LMTP的识别率在原图上达到了97%，在噪声图像中其识别的性能也优于其他方法，表明了LTP/LMTP对纹理的描述能被利用到人脸匹配中，从而提高人脸识别准确率的方法是可行和正确的。

3.2 在AR和FERET人脸数据库上的实验

AR人脸库包括4 000多张人脸图像，一共有126人，70名男性和56名女性。其中包含了不同表情、光照和遮挡的正面人脸图像。本文只选择70名男性和50名女性，每个人选择没有遮挡的14张人脸图像。对AR人脸库中每个人随机选择k张图像作为训练集，其余的作为测试集。k的取值设置为2，4，7。用不同的方法进行实验，识别率的对比结果如表2所示。

表2 不同方法在AR上的识别率%

方法不同测试集下的识别率k=2k=4k=7PCA319451607LBP558832913LTP570815909LTP/LMTP787886935

FERET人脸库包括1 400张人脸图像，一共有200个人。这些图像包含了不同的表情、光照和姿势，其大小为80×80。对FERET人脸库中每个人随机选择k张图像作为训练集，其余的作为测试集。k的取值设置为1，3，5。用不同的方法进行对比实验，识别率的对比结果如表3所示。

表3 不同方法在FERET上的识别率%

方法不同测试集下的识别率k=1k=3k=5PCA518805867LBP574856931LTP548860942LTP/LMTP825912980

由表2和表3中不同人脸识别方法的对比实验可以看到，LTP/LMTP的人脸识别率在AR和FERET人数据脸库中最高能达到93%和98%，均高于其他的方法，表明其对光照、姿势和表情具有较好的鲁棒性。在训练样本减少的情况下，识别率均比其他方法好，并且识别率的下降幅度较小，表明LTP/LMTP的稳定性更好，进一步证明了本文算法的可行性和正确性。

4 小结

人脸识别问题一直是研究的热点，本文提出基于局部幅度三值模式的人脸识别算法，利用LTP描述纹理的结构，利用LMTP描述纹理中像素间的偏离幅度。通过结合LTP和LMTP对纹理的描述，得到一个更丰富的人脸特征，并利用此人脸特征进行识别。实验结果表明，本文算法比LTP和LBP方法的识别率更高。

参考文献：

[1] ZHAO W, CHELLAPPA R, PHILLIPS P J,et al. Face recognition: a literature survey[J].ACM Computing Surveys, 2003,34(4)：399-485.

[2] TURK M, PENTLAND A. Eigenfaces for recognition[J]. Journal of Cognitive Neuroscience, 1991,3(1)：71-86.

[3] BELHUMEUR P N, HESPANHA J P, KRIEGMAN D J. Eigenfaces versus Fisherfaces： recognition using class specific linear projection[J].IEEE Trans.Pattern Analysis and Machine Intelligence, 1997,19(7)：711-720.

[4] BARLETT M S, MOVELLAN J R,SEJNOWSKI T J. Face recognition by independent component analysis[J].IEEE Trans.Neural Networks, 2002,13(6)：1450-1464.

[5] AHONEN T, HADID A, PIETIKAINEN M. Face description with local binary patterns： application to face recognition[J]. IEEE Trans.Pattern Analysis and Machine Intelligence, 2006,28(12)：2037-2041.

[6] TAN X Y, TRIGGS B. Enhanced local texture feature sets for face recognition under difficult lighting conditions[J].IEEE Trans.Image Processing, 2010,19(6)：1635-1650.

[7] ZHANG B C, GAO Y S, ZHAO S Q, et al. Local derivative pattern versus local binary pattern： face recognition with high-order local pattern descriptor[J]. IEEE Trans.Image Processing, 2010,19(2)：533-544.

[8] 胡钟月.基于局部模式的加权估计纹理分析在人脸识别中的应用[J].电视技术,2014,38(5)：181-185.

[9] OJALA T, PIETIKAINEN M, MAENPAA T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Trans.Pattern Analysis and Machine Intelligence, 2002,24(7)：971-987.

[10] 薛涛，刘潇潇，张海兵.基于Gabor特征融合和LSSVM的人脸识别算法[J].计算机应用与软件，2014，31(7)：191-194.

[11] 李文辉,高璐,林逸峰,等.特征选择模糊加权多通道Gabor人脸识别[J].湖南大学学报：自然科学版,2013,40(4)：87-93.

[12] HUSSAIN S,TRIGGS B. Visual recognition using local quantized patterns[C]//Proc. the 11th European Conference on Computer Vision. Berlin：Springer, 2012：1-15.

[13] TAN X,TRIGGS B. Enhanced local texture feature sets for face recognition under difficult lighting conditions[J].IEEE Trans.Image Processing, 2010,19(6)：1635-1650.

作者简介：

邓文骏(1989— )，硕士生，图像处理，模式识别；

邱卫根(1968— )，研究生导师，主要研究方向为人工智能、粗糙集理论及应用、计算机图形图像学。

责任编辑：任健男

收稿日期：2015-01-29

Face Recognition Based on Local Magnitude Ternary Pattern

DENG Wenjun1, QIU Weigen1, TAN Taizhe2

(1.SchoolofComputer,GuangdongUniversityofTechnology,Guangzhou510006,China；2.SynergyInnovationInstituteofGDUTandHeyuan,GuangdongHeyuan517000,China)

Since the Local Ternary Pattern(LTP) is not enough to describe the texture feature, a face recognition algorithm based on Local Magnitude Ternary Pattern(LMTP) is proposed. Firstly, the face image is divided into small blocks. Then, the histograms are extracted by the LTP operator which describes the structure of local texture and the LMTP operator which describes the magnitude of deviation between the different pixel in the local texture. Finally, the different histograms are linked to get LTP/LMTP histogram which is used as the face features for face matching. The experimental analysis proves that the algorithm has good ability to describe the texture and higher accuracy in the face recognition, the algorithm also has good robustness to noise.

local magnitude ternary pattern; LTP; face recognition

国家自然科学基金项目(61370082)

4 小结

2015-04-22

TN391.4

A

10.16280/j.videoe.2015.19.022

平板电视的顶部(此例在某品牌平板电视机的说明书中有图画的方式警告)；成人可能抬肘压在平板电视顶部作为一种无意间的依靠。现有标准只用一个75 cm，100 N的垂直力试验还不全面。建议增加相应条款，将可能的动作全部覆盖。

综合以上分析，笔者认为GB 8898/IEC60065标准中19.2条规定的垂直力翻倒试验不适用于平板电视机；CTL 1082只是解释了何为最不利位置的问题，该决议图示中用平板电视作为样品并不适宜。对于标准规定的试验应从标准起草本意、安全原理出发，分析并理解标准的意图，才能做出正确的解释，才能保证试验的合理、正确、符合实际。

[1] GB 8898—2011，音频、视频及类似电子设备 安全要求[S].北京：中国标准出版社，2011.

[2] CTL Decision Sheet No.1082 Vertical force test [S]. 2013.

[3] IEC 60065 Edition 7.0+am1+am2：2010 Audio， video and similar electronic apparatus-Safety equirements[S]. 2010.

[4] IEC 60065 Edition 8.0：2014 Audio， video and similar electronic apparatus-Safety equirements[S]. 2014.

[5] GB 4943.1—2011，信息技术设备 安全 第1部分：通用要求[S].北京：中国标准出版社，2011.

[6] GB 4706.1—2005，家用和类似用途电器的安全 第1部分：通用要求[S].北京：中国标准出版社，2005.

张 钢(1972— )，本科，主要从事AV、IT产品安全检测；

杨 猛(1977— )，本科，主要从事AV、IT产品安全检测。

责任编辑：闫雯雯

【本文献信息】邓文骏，邱卫根，谭台哲.基于局部幅度三值模式的人脸识别[J].电视技术,2015，39(19).