复合不变矩和GLCM特征加权融合的人脸识别研究

， ，

(山东科技大学 电子通信与物理学院，山东 青岛 266590)

在图像识别和计算机视觉领域里，人脸识别作为一种生物特征识别技术，具有非接触性、直接性和唯一性等优点，广泛应用于信息安全、刑事侦破、出入口控制、档案管理、可视通信等领域[1-2]。

在过去的几十年里，学者们提出了许多经典的人脸识别方法，主要包括神经网络方法、隐马尔科夫模型、支持向量机(support vector machine，SVM)、主成分析法(principal component analysis，PCA)等[3]。其中PCA方法得到广泛应用并不断被改进，如基于双向的PCA方法[4]、加权变形的2DPCA方法[5]等，这些改进的方法进一步提高了人脸识别系统的性能。刘君等[6]将核主成分分析(KPCA)方法和鉴别投影算法进行融合，使得人脸识别系统的性能得到了极大改善。王仕民等[7]把人脸图像的多尺度张量投影到低维度子空间,用最近邻算法将提取到的特征进行分类识别，提高了在光照条件下的人脸识别率。人脸的原始特征可以分为几何形状特征和纹理特征两大类[8]。人脸样本的纹理特征和几何特征有很多，如 Gabor 特征[9-10]、LBP 特征[11-14]、尺度不变特征转换(SIFT)[15]等。但是，在实际应用中人脸几何特征的提取对光照、视角和表情等变化非常敏感，很难做到精确提取。因此，无论是哪种特征提取方法，对系统性能的改进都是有限的，为此本文将纹理特征和几何特征进行融合，提出一种新的CHu-GLCM方法。

CHu-GLCM方法的实现过程如下：首先采用图像分割的方法把人脸图像分割成许多大小相等的子块，作为后续特征提取的前期处理；接着提取所有子块的不变矩特征，并按照一定的权重系数组合起来，形成列向量作为一幅人脸图像的复合不变矩特征；然后再提取人脸图像的灰度共生矩阵，在决策层采用系数加权融合的方法把两种不同的特征进行加权融合，并分别在ORL和YALE人脸库中进行实验仿真。

1 人脸特征提取方法

1.1 不变矩特征

不变矩最初是由Hu[16-17]于1962年提出，因其可以有效地描述灰度图像的几何特征，并且对图像的平移、旋转、缩放等变换均具有不变性，被广泛应用到目标识别领域。后来又有许多研究者[17-18]对不变矩进行改进，从而使它的特征描述能力得到提高。

(1)

其中，f(x,y)为图像的灰度(密度),(x，y)表示图像的坐标,M和N分别表示图像的宽度和高度。

(p+q)阶中心矩对图像的平移具有不变性，其公式如下：

(2)

(3)

1.2 灰度共生矩阵

灰度共生矩阵(GLCM)反映了图像中各个像素之间的距离间隔和角度关系。设f(x，y)为一幅数字图像的函数表达式，图像的大小为M×N，其灰度级别为N，则反映该图像像素之间空间关系的灰度共生矩阵可以用下式表示:

P(i,j)=g{(x1,y1),(x2,y2)∈M×N|f(x1,y1)=i,f(x2,y2)=j}。

(4)

P为N×N的矩阵，集合中的元素个数可以用g(x)来表示。在计算得到灰度共生矩阵的特征向量之后，往往不是直接用它描述图像的纹理特征，而是用它的一些重要的统计特征参数来表示图像的纹理信息。灰度共生矩阵的统计特征参数有很多种，其中在文献[18]里介绍了14种不同的特征参数，下面仅列举4种实验效果比较好的统计特征：

1) 角二阶矩

(5)

ASM是灰度共生矩阵元素值的平方和，反映了图像灰度分布均匀程度和纹理粗细度。

2) 熵

(6)

熵是图像所具有的信息量的度量，是一个随机性的度量，当共生矩阵中所有元素有最大的随机性、空间共生矩阵中所有值几乎相等时，熵较大。熵表示了图像中纹理的非均匀程度或复杂程度。

3) 相关

(7)

“相关”度量的是空间灰度共生矩阵元素在行或列方向上的相似程度，相关值大小反映了图像中局部灰度相关性。

4) 对比度

(8)

对比度直接反映了某个像素值及其领域像素值的亮度的对比情况。

1.3 主成分分析(PCA)法

主成分分析(PCA)[19]是90年代初由Pearcon提出的理论，其核心思想在于对样本数据降低维度，从而使它能够投影到低维空间以清理掉数据信息中相交重叠的部分，同时还要使变换后的数据能够最大限度的保持原始数据的特征，以防止投影后的数据出现过度失真的情况。

本文采用PCA特征降维方法，把特征向量元素的数目降到较低的水平，因此可以直接把水平、垂直以及正负45度四个方向的灰度共生矩阵组合起来，方便后续的分类识别。

2 特征融合的人脸识别

2.1 复合不变矩特征

本文提出了一种融合不变矩特征和灰度共生矩阵的人脸特征提取方法，图像的不变矩特征总共只有7个，如果直接利用由Hu矩组成的特征量对图片进行识别，优点是速度比较快，缺点是识别率往往比较低，这是由于图像的不变矩特征数目较少，不能很好地描述图像细节特征，故对于纹理比较丰富的图像，其识别性能就会下降很多。若直接利用人脸图像的不变矩特征进行分类识别的话，难以取得理想的效果，鉴于此，本文采取图像分区的思想来提取人脸图像的复合不变矩特征。

假设人脸样本训练集中总共包含V幅人脸图像，每张图片的大小为M×N,将训练集中每幅人脸图像分割成大小相等的子块，总共有K=mn个子块，每个子块的大小为MN/K,所以一张人脸图片可以表示为：

在实际的气象预警工作中，对于气象预警的时效性和准确性要求很高，否则，将会使有关的检测部门对气象灾害的检测错过最佳时机，从而延误了抵御气象灾害的最佳时机，给农业生产造成极大的危害。在实际的工作当中，政府部门中的气象、水利、农业等部门要加强联系和沟通，建立农业灾害预警平台，针对农业生产布局和不同农作物的生产周期，及时发布各类的生产信息，做好防灾减灾处理工作。

(9)

(10)

因此第i幅人脸图像的复合不变矩特征值可以表示为：

Hi=[hi1,hi2,hi3,…,hiK](i=1,2,3，……，V)。

(11)

2.2 人脸子块不变矩特征权值计算方法

一幅图像的信息量可以用信息熵来表述，图像的纹理信息越多，结构越复杂，其对应的信息熵越大，反之越少。假设一幅灰度图像I的大小为M×N，灰度级为s，第i个灰度级出现的概率为pi，那么这幅图像的信息熵可以表示为：

(12)

如果直接用人脸子块图像的信息熵来作为分块权重的话会忽略近邻像素间的细节差异，为了避免这种情况，本文用LBP算子处理人脸图像得到人脸纹理图，通过计算纹理图像的信息熵来决定权重的分配。

LBP算子可以用来描述图像的纹理特征，基本思想是以某一像素点与其邻域的像素点相比较而得到的相对灰度作为响应，基本的LBP算子是以3×3大小的正方形作为一个计算单元,同时也可以被进一步的推广为使用不同大小和形状的邻域。LBP算子的编码方法表示为：

(13)

2.3 本文CHu-GLCM方法描述

通过对人脸图像处理得到其水平、垂直以及正负45度四个方向的灰度共生矩阵，但是灰度共生矩阵向量特征维数比较多，而仅用灰度共生矩阵的几个统计特征参数作为分类依据的话特征维数又太少，很难满足实时性要求。为此本文通过PCA技术对灰度共生矩阵向量进行降维处理。

本文CHu-GLCM方法的具体实现步骤如下：

1) 将每幅人脸图像I(大小为M×N)分割为mn个大小为MN/K的子块；

2) 分别提取每个子块的不变矩特征，各子块的不变矩特征首尾联接起来可得到一幅人脸图像的复合不变矩特征Hi=[hi1,hi2,hi3,…,hiK]；

3) 对每幅人脸图像通过LBP算子进行处理得到其纹理图像ILBP；

2.4 分块大小的确定

在提取图像的复合不变矩特征时，图像分块数目的多少是影响该方法性能的重要参数之一，如果分块数量太少，则无法有效提取图像的局部特征(极端情况是只有一块，分块的大小就是原始图像的大小)，如果分块数量太多，提取的特征会对噪声比较敏感。为了寻找最优的分块数目，本文首先在ORL人脸库上进行实验。实验过程中，在每类人脸样本中选择5幅图像作为训练集，剩下的作为测试集，对每个样本提取其复合不变矩特征，然后利用PCA技术对其进行降维处理，把降维后得到的主成分作为每个样本的最终特征向量，最后用SVM做分类器。图1给出了 2 × 2、4 × 4、6 × 6和8 × 8分块情况下的复合不变矩特征的识别率随主成分数目的多少而变化的关系。

从图1可以看出分块数目与识别性能的关系，随着分块数目的增多，分类器的识别能力先增强后减弱。当主成分个数大于15之后， 在 4 × 4 分块的情况下，识别性能最好，此时的复合不变矩特征能够提供更有利于分类识别的信息；在8 × 8 分块的情况下，识别性能最差，这是因为分块数目过大，会使得图像配准变得更加敏感，同时分块数目过多，也会使特征向量的维数增多，计算量变大，从而导致识别时间延长。因此，综合考虑识别性能和计算复杂度，本文选取4 × 4的分块提取人脸样本的复合不变矩特征。

图1 不同分块方式下主成分个数与识别率的关系(ORL库)

图2 ORL人脸数据库部分人脸图例

图3 YALE人脸数据库部分人脸图例

3 实验仿真和分析

3.1 人脸数据集

为了检验CHu-GLCM算法的功效，分别在 ORL、YALE 两个人脸库上实验。 ORL 库的人脸图像有400幅，包括40个人，每人分别有不同表情和姿态的10幅人脸图像。其部分人脸图像如图2所示。YALE 人脸库拥有165 幅人脸图像，总共15人，每人有 11 幅不同的图像，其大小均为 100 ×100 的灰度图。其部分人脸图像如图3所示。

3.2 实验环境

实验是在 Intel(R) Core(TM) i7-6700 CPU 3.40 GHz，内存为8 GB，Windows 7(64位)的机器上采用Matlab2014a编程实现。

3.3 实验结果与分析

在确定好分块数目后，实验过程如下：在ORL库和YALE库上分别选取每个人的1, 2, 3, 4, 5, 6幅图像作为训练样本，剩下的图像作为测试样本。复合不变矩特征和灰度共生矩阵融合之前，先将其与几种典型的人脸特征提取方法，如Eigenface方法、LBP方法、Gabor方法以及稀疏表示SRC方法进行对比。其中Eigenface方法是把一幅人脸图像的所有像素值作为特征向量进行后续的分类识别。因为对于每种方法提取的人脸特征向量都要进行降维处理，所以在训练样本数保持一致的情况下，要综合考虑不同主成分个数下的人脸识别率。

本文人脸识别率的计算方法如下：首先计算出不同主成分数目下的多个人脸识别率，然后将其中差别不大且效果较佳的几个人脸识别率取平均，得到最终的人脸识别率。

在 ORL人脸库上，人脸特征提取方法的识别率随训练样本个数的多少而变化的关系如表1所示。

表1 ORL人脸库不同算法的人脸识别率

在YALE人脸数据库上，人脸特征提取方法的识别率随训练样本个数的多少而变化的关系如表2所示。

表2 YALE人脸库不同算法的人脸识别率

为在YALE人脸库上探究不同表情的人脸样本对识别率的影响，分别选取每类图像中表情差别不大的4幅图像作为训练集，剩下的图像中选择1幅进行测试，每次测试选取1个不同表情的人脸样本，分为5种情形：a情形，与训练样本表情一致；b情形，嘴巴微笑；c情形，眼睛闭上；d情形，眼睛和嘴巴的形状同时发生改变；e情形，嘴巴张开。各种特征在不同表情下的人脸识别率变化关系如表3。

表3 YALE人脸库不同表情的人脸识别率

从表1和表2的人脸识别率变化关系中可以看出，与传统的Eigenface方法和其他几种特征提取方法相比，基于图像分区和系数加权的复合不变矩特征能够有效地提高人脸识别率。随着训练样本个数的增加，几种方法的人脸识别率都在不断提高，在训练样本个数为5时，复合不变矩特征的人脸识别率在ORL库上为91.5%，在YALE库上为92.5%，而Eigenface方法在ORL人脸库的识别率为86.5%,在YALE人脸库的最高识别率为87.0%。把人脸图像的Gabor特征用于后续的分类识别时，其识别性能和Eigenface方法相差不大，识别率不是很高。SRC算法是把待测试的人脸样本用不同类的人脸样本线性表示，其所得到的识别率比Eigenface方法稍高一点。而LBP方法的人脸识别率比SRC方法以及Gabor方法都要高一些，在ORL人脸库上为87.8%，在YALE人脸库上为88.6%。可以看出，复合不变矩特征的识别性能比其他几种特征提取方法都要好一些。

从表3可以看出复合不变矩对表情变化具有鲁棒性，当面部表情发生变化时，每种特征的识别率都开始出现波动，都有下降的趋势，但是复合不变矩特征的识别率波动最小，在1%～2%之间，而其他特征提取方法识别率波动范围都超过10%。

图4 CHu-GLCM算法在不同权重下的人脸识别率

在将复合不变矩特征和灰度共生矩阵进行融合时，选取ORL库和YALE库上的5幅人脸图像作为训练集，剩下的作为测试集，本文的CHu-GLCM方法在ORL人脸库和YALE人脸库上的人脸识别率随权重α的变化情况如图4所示。当α=0时，识别率相当于复合不变矩特征，当α=1时，识别率相当于灰度共生矩阵特征。随着权重α的增加，识别性能不断提高，但是增加到一定程度之后，识别性能又开始下降。可见复合不变矩特征所占的权重越大，其识别性能提高的就越大。尤其α=0.3时，两种特征融合后的识别性能最佳，此时在ORL人脸库上的人脸识别率为95.5%，在YALE人脸库上为97.5%，因此CHu-GLCM算法可以使人脸识别率进一步提高。

4 结论

提出了一种基于复合不变矩特征和灰度共生矩阵的特征提取方法，该方法首先采用图像分区的思想对不变矩进行改进，用改进后的算法提取每个人脸样本的复合不变矩特征，然后再提取人脸样本的灰度共生矩阵，最后利用支持向量机在决策层采用系数加权融合的方法把两种不同的特征进行加权融合。与其他典型的特征提取方法相比，在训练样本数为5时，CHu-GLCM方法可使人脸识别率至少提高4个百分点。

[1]CHAKRABORTI T,CHATTERJEE A.A novel binary adaptive weight GSA based feature selection for face recognition using local gradient patterns,modified census transform,and local binary patterns[J].Engineering Applications of Artificial Intelligence,2014,33:80-90．

[2]HUANG Z H,LI W J,WANG J,et al.Face recognition based on pixel-level and feature-level fusion of the top-level’s wavelet subbands[J].Information Fusion,2015,22:95-104．

[3]李云彤,黄山,徐海明.基于改进 PCA 的人脸识别算法[J].微型机与应用,2015,34(17):43-45.

LI Yuntong,HUANG Shan,XU Haiming.Face recognition algorithm based on improved PCA[J].Microcomputer and Application,2015,34(17):43-45.

[4]ZUO W,ZHANG D.Bidirectional PCA with assembled matrix distance metric for image recognition[J].IEEE Transaction on Machine Intelligence,2006,36(4):863-872.

[5]曾岳,冯大政.一种基于加权变形的 2DPCA 的人脸特征提取方法[J].电子与信息学报,2011,33(4):769-774.

ZENG Yue,FENG Dazheng.A face feature extraction method based on weighted deformation of 2DPCA[J].Journal of Electronics and Information Technology,2011,33(4):769-774．

[6]刘君,黄燕琪,熊邦书.融合核主成分分析和最小距离鉴别投影的人脸识别算法[J].计算机工程,2016,42(4):221-225.

LIU Jun,HUANG Yanqi，XIONG Bangshu.Face recognition algorithm fused kernel principal component analysis and minimum distance discriminant projection[J].Computer Engineering,2016,42(4):221-225.

[7]王仕民,叶继华,程柏良等.基于多尺度张量类标子空间的人脸识别算法[J].山东科技大学学报(自然科学版),2015,34(4):55-61.

WANG Shimin,YE Jihua,CHENG Bailiang et al.Face recognition algorithm based on multi-scale tensor class-label subspace[J].Journal of Shandong University of Science & Technology (Natural Science),2015,34(4):55-61.

[8]方天红,陈庆虎,廖海斌.融合纹理与形状的人脸加权新特征[J].武汉大学学报(信息科学版),2015,40(3):321-326.

FANG Tianhong,CHEN Qinghu,LIAO Haibin.Face feature weighed/by fusing texture and shape[J].Geomatics and Information Science of Wuhan University,2015,40(3):321-326.

[9]PEREZ C A,CAMENT L A,CASTILLO L E.Methodological improvement on local Gabor face recognition based on feature selection and enhanced Borda Count[J].Pattern Recognition,2011,44(4):951-963．

[10]MONTAZER G A,SAREMI H Q,KHATIBI V.A neurofuzzy inference engine for Farsi numeral character recognition[J].Expert Systems with Applications,2010,37(9):6327-6337．

[11]AHONEN T,HADID A,PIETIKAINEN M.Face recognition with local binary patterns[M].Berlin:Springer,2004:469-481.

[12]高志升,袁红照,杨军．融合 CDI 和 LBP 的人脸特征提取与识别算法[J].光电子 · 激光,2010,21(1):112-115.

GAO Zhisheng,YUAN Hongzhao,YANG Jun.Face recognition using fusion of cartesian differential invariant and LBP[J].Journal of Optoelectronics · Laser,2010,21(1):112-115．

[13]YANG B,CHEN S.A comparative study on local binary pattern (LBP) based face recognition:LBP histogram versus LBP image[J].Neurocomputing,2013,120(23):365-379．

[14]OJALA T,PIETIKAINEN M,MAENPAA T.Multiresolution grayscale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987．

[15]KRIZAJ J,STRUC V,PAVESIC N.Adaptation of SIFT features for robust face recognition[C]//Proceedings of the 7th International Conference on Image Analysis and Recognition,Berlin:Springer,2010:394-404．

[16]HU M K.Visual pattern recognition by moment invariant[J].IRE Transactions on Information Theory,1962,8(2):179-187.

[17]LI Y J.Reforming the theory of invariant moments for pattern recognition[J].Pattern Recognition,1992,25(7):723-730.

[18]HARALICK R M,SHANMUGAM K,DINATEIN I.Textures features for image classification[J].IEEE Transactions on System Man Cybernet,1973,3(6):610-621.

[19]ZHU G,KWONG S.Gbest-guided artificial bee colony algorithm for numerical function optimization[J].Applied Mathematics and Computation,2010,217(7):3166 -3173.