基于s-LTP和相似度匹配的人脸识别算法

黄涛 邓燕妮

摘  要：针对传统的LTP算子计算过程复杂、不能反映图像局部与整体的关系的不足，提出了一种带符号局部三值模式（s-LTP）算子，首先利用2，1，0三值编码计算出像素块的LTP特征值，再通过比较该像素块中心点像素值与图像平均像素值的大小对LTP特征值赋正负号，得到s-LTP特征值。然后提出了一种基于皮尔逊相关系数的相似度匹配方法，通过大量实验得到最佳皮尔逊相关系数阈值和相似度阈值，最后通过计算待测样本图像和模板图像的相似度对待测样本图像进行分类识别。在Jaffe、ORL、Yale和一个自建的人脸数据库上进行实验，和其他人脸识别方法相比发现该算法识别率更高、所需识别时间更少。

关键词：人脸识别;s-LTP算子;相似度匹配;皮尔逊相关系数

中图分类号：TP391.41      文献标志码：A         文章编号：2095-2945（2020）25-0017-03

Abstract： In view of the fact that the calculation process of the traditional LTP operator is complex and can not reflect the relationship between the part and the whole of the image， a signed local ternary pattern （s-LTP） operator is proposed. Firstly， the LTP eigenvalue of the pixel block is calculated using 2， 1， 0 ternary coding， and then the LTP eigenvalue is assigned a positive or negative sign to the LTP eigenvalue by comparing the center pixel value of the pixel block with the average pixel value of the image， and the s-LTP eigenvalue is obtained. Then a similarity matching method based on Pearson correlation coefficient is proposed， and the best Pearson correlation coefficient threshold and similarity threshold are obtained through a large number of experiments. Finally， the sample images are classified and identified by calculating the similarity between the sample image and the template image. Experiments are carried out on Jaffe， ORL， Yale and a self-built face database. Compared with other face recognition methods， it is found that this algorithm has a higher recognition rate and less recognition time.

Keywords： face recognition; s-LTP operator; similarity matching; Pearson correlation coefficient

人臉识别技术是鉴别个人身份信息的重要手段，各种各样的人脸识别算法层出不穷，各有优劣。其中，局部二值模式（LBP）因为其优秀的图像纹理分析与描述能力而被广泛应用于各种人脸识别算法中。传统的LBP算子计算过程简单、效果较好，但容易受人脸图像背景环境以及光照等不可控因素的影响而产生较大的误差，从而增加错误识别的概率。

为了减小背景环境和外界光照等因素对人脸图像识别率的影响，提取更丰富的局部特征，有学者在LBP算子的基础上提出了局部三值模式（LTP）。李伟生等[1]提出了一种基于LTP 自适应阈值的人脸识别方法，通过自定义的阈值编码对LBP 算子扩展，采用-1，0，1三值，分别统计正、负模式层特征的直方图，并根据概率分布计算各层信息熵权重，最后使用最近邻分类器识别人脸图像样本。唐红梅等[2]提出了一种中心对称三值模式（CSTP）算法，首先对人脸表情图像进行分块处理，结合每一子块的CSTP特征的直方图统计和对应的信息熵，构造自适应加权系数，最后利用支持向量机（SVM）进行表情分类。上述两种针对LBP算子的改进方法从图像的局部纹理特征入手，使处理结果受像素灰度差异变化的影响变小，抗干扰能力变强。但是忽略了图像局部与整体之间的关系，且大量的数据和复杂的计算方法为后续的数据处理和识别分类增加了难度。

本文中提出了一种基于s-LTP算子和相似度匹配的人脸识别算法。该算法针对以上两种方法的不足之处，利用2，1，0三值和正负号，通过自定义的编码形式将预处理好的人脸图像转换成一个特征值矩阵。同时还以皮尔逊相关系数为基础依据，提出了矩阵相似度的概念。通过计算模板图像和待测样本图像的特征值矩阵的相似度，并以实验得出的最佳皮尔逊相关系数阈值和相似度阈值为依据完成人脸图像的分类识别。该算法兼顾了图像的局部与局部、局部与整体的关系，数据量小，计算方法简单，分类依据可靠。和其他人脸识别方法的对比实验表明该方法在不增加识别时间的前提下能有效提高识别率。

1 相关算子描述

1.1 LTP算子描述

传統的LTP算子采用-1，0，1三值编码[3]，在由编码转换成特征值的过程中需要对正负值编码分开处理，过程繁琐，数据量大，程序的时间复杂度和空间复杂度都较高。本文中的LTP算子为避免产生负值编码而采用了2，1，0三值编码，可大大简化计算过程。LTP算子特征值计算过程如下：

1.2 s-LTP算子描述

上述LTP算子具有抗干扰能力强、计算过程简单等优势，但是仍然局限于图像局部之间的关系，未能顾及到图像局部与整体的关系。如图1所示，两个像素值差别很大的像素块经过LTP编码后得到了相同的编码值，这显然会增加错误识别的概率。为解决这一问题，本文在LTP算子的基础上提出了一种带符号LTP算子（s-LTP），首先计算出一幅图像的平均像素值x，对于每一个像素块，如果其中心点像素值xc大于图像的平均像素值x，则该像素块的s-LTP算子特征值即为该像素块的LTP算子特征值，否则为该像素块的LTP算子特征值的相反数，公式如式（5）所示。

2 相似度匹配方法

2.1 皮尔逊相关系数

皮尔逊相关系数是用来度量两个等维向量X和Y的相关程度的方法，其值介于-1到1之间，1表示完全正相关，0表示完全不相关，-1表示完全负相关。当两个向量的皮尔逊相关系数大于0.8时说明两个向量相关性极强，否则说明两个向量的相关性较弱。两个n维向量X和Y的皮尔逊相关系数XY计算公式如式（6）所示。

式中Xi和Xi表示n维向量X和Y的第i个元素值，X和Y表示n维向量X和Y的n个元素的平均值。

2.2 矩阵的相似度定义

对于两个m×n的矩阵A和B， 它们的相似度定义过程如下：

（1）求出矩阵A和B对应的列向量的皮尔逊相关系数i（i=1，2，...，n），组成一个相关系数组（=1，2，...，n）。

（2）设置一个皮尔逊相关系数阈值（0.8<1），通过筛选法得到皮尔逊相关系数组中元素值大于或等于阈值的元素个数NAB，然后将NAB与相关系数组中元素总个数N的比值定义为两个矩阵A和B在阈值下的相似度PAB（）。计算公式如式（7）所示。

理论分析表明，若阈值设定过低，则可能会把不属于同一张人脸的两张图像识别为属于同一张人脸，即错误识别为正确;同理，若阈值设定过高，则可能会把属于同一张人脸的两张图像识别为不属于同一张人脸，即正确识别为错误，因此需要通过大量的实验找到最佳的皮尔逊相关系数阈值和该阈值约束下的最佳相似度阈值p使得识别率最大化。

由于相似度值PAB（）是随着皮尔逊相关系数阈值动态变化的，因此实验时需要设定合理的阈值梯度（皮尔逊相关系数阈值范围为0.8-1，梯度为0.005，相似度值范围为0.8-1，梯度为0.01），并根据同一皮尔逊相关系数阈值约束下不同的相似度阈值所对应的识别率变化曲线来确定最佳的皮尔逊相关系数阈值和相似度阈值p。

3 实验与结果分析

为验证该相似度匹配方法的性能，找到最佳的皮尔逊相关系数阈值和相似度阈值使得识别率最大化，本文选取了目前常用的ORL、Jaffe、Yale三个人脸数据库和一个自己创建的人脸数据库进行实验，每个数据库的60%作为训练集，40%作为测试集。四个人脸数据库具体信息如表1所示：

本次实验的操作系统是windows10（x64），实验软件为MATLAB 2016a。实验分为两个部分，一是针对训练集样本进行实验，找到最佳的皮尔逊相关系数阈值和在该阈值约束下的最佳相似度阈值，使得识别率最大化，并在测试集上进行验证。二是不同的人脸识别方法的识别率和识别时间的对比实验。

3.1 最佳阈值的确定

本实验中，皮尔逊相关系数阈值范围为0.8-1，梯度为0.005，在每一个皮尔逊相关系数阈值约束下，绘制不同的相似度阈值及其所对应的识别率变化曲线。实验结果如图2所示，该图详细描绘了在同一皮尔逊相关系数阈值约束下的相似度阈值p和识别率的变化曲线。由图2可以得出以下结论：

（1）皮尔逊相关系数阈值过高或过低都会导致最大识别率降低。

（2）在同一皮尔逊相关系数阈值约束下，相似度阈值过高或过低都会降低识别率。

（3）当皮尔逊相关系数阈值设定为0.88，相似度阈值设定为0.885时，识别率可达到最大值96.8%。

当皮尔逊相关系数阈值设定为0.88时，再将相似度阈值的范围定为0.85-0.90，梯度为0.005，针对ORL、Jaffe、Yale和自建库四个人脸数据库40%的测试集数据进行实验，绘制出四个数据库中相似度阈值与识别率的变化曲线，该实验旨在验证最佳相似度阈值设定为0.885的合理性。实验结果如图3所示。由图3可以看出当皮尔逊相关系数阈值设定为0.88时，相似度阈值设定为0.885时，可以使得识别率最大化。

3.2 不同方法的对比实验

为验证本文中提出的人脸识别方法的有效性，该实验环节对四个人脸数据库还采用了2DPCA， Gabor+PCA， LBP，传统LTP这四种方法进行实验，得出识别率与识别时间的数据，并与本文中提出s-LTP方法作比较，实验结果如表2所示。该实验结果表明，本文中提出的基于s-LTP和相似度匹配的人脸识别算法相较于其他算法，在不增加识别时间的条件下能有效提高识别率。

4 结束语

本文中提出的s-LTP算子能兼顾图像局部与局部、局部与整体的关系，更加清晰地反映图像的纹理特征，大大降低了实验程序的时间和空间复杂度。文中创造性的提出了相似度的概念，通过实验确定最佳的皮尔逊相关系数阈值和相似度阈值。对比实验的结果表明，本文中提出的人脸识别算法在不增加识别时间的前提下，能够极大地提高图像的识别率。

同时，本文中也存在一些有待改进的地方，例如，在确定两个最佳阈值的实验中，首先通过实验结果缩小最佳阈值的区间，然后在该区间内减小阈值梯度值，进一步压缩区间。这样才能得出更加精准的阈值，进一步提高识别率。

参考文献：

[1]李伟生，王立逗，周丽芳.一种基于LTP自适应阈值的人脸识别方法[J].小型微型计算机系统，2014，35（09）：2099-2103.

[2]唐红梅，乔帆帆，郭迎春，等.基于改进的LTP人脸表情识别算法[J].电视技术，2016，40（02）：127-131.

[3]石京力.基于局部三值模式与极限学习机的微表情识别[D].河北工业大学，2015.

[4]邓燕妮，褚四勇，涂林丽，等.基于均匀k均值和高维局部二值模式的人脸识别算法[J].控制与决策，2017，32（06）：1128-1132.

[5]闫河，王朴，刘婕，等.自适应加权多尺度LTP的人脸识别[J].计算机工程与设计，2016，37（04）：1027-1031.

[6]孙新领，张皓，赵丽.结合LTP纹理特征和改进Mean-Shift的视频目标跟踪方法[J].重庆理工大学学报（自然科学），2019，33（12）：176-183.

[7]张雨.改进LBP/LTP算法研究及应用[D].西南交通大学，2019.

[8]王睿，马丹，刘鹏，等.改进单演中心对称LTP的表情识别算法[J].计算机仿真，2019，36（09）：304-308.

[9]张广世，葛广英，朱荣华，等.结合LBP特征和深度学习的人脸表情识别[J].计算机测量与控制，2020，28（02）：174-178.