基于Bagging的LDA集成算法及其在人脸识别中的应用

周中侠，王正群，徐春林，李 峰，薛 巍

（1.扬州大学信息工程学院，江苏 扬州225127；2.北方激光科技集团有限公司激光应用技术部，江苏 扬州225009；3.国网沾化县供电公司，山东 滨州256800）

基于Bagging的LDA集成算法及其在人脸识别中的应用

周中侠1，3，王正群1*，徐春林2，李 峰1，薛 巍1

（1.扬州大学信息工程学院，江苏 扬州225127；2.北方激光科技集团有限公司激光应用技术部，江苏 扬州225009；3.国网沾化县供电公司，山东 滨州256800）

针对线性判别分析（linear discriminant analysis，LDA）在处理人脸图像时对局部变化识别不稳定性的问题，提出一种基于Bagging的LDA人脸识别方法Bagging LDA.首先将人脸图像集划分成若干子图像集，然后将Bagging应用于每个子图像集并融合初始图像集构建多个LDA分类器，选择其中一个分类性能最好的分类器作为集成基分类器，最后使用权重投票的方法将各个基分类器的分类结果进行组合.仿真结果表明，Bagging LDA算法识别性能好，精度较高，在图像遮挡、表情变化等条件下仍具有较强的稳定性.

人脸识别；集成学习；线性判别分析；Bagging算法

人脸识别是基于人脸整体图像的一种全局性模式识别，在人脸特征抽取方法中，子空间方法的应用最为广泛.主元分析［1］（principle component analysis，PCA）作为经典的线性子空间方法，在数据描述和重建方面颇具优势，但由于忽略了样本的类别信息而导致分类性能较差.线性判别分析［2］（linear discriminant analysis，LDA）则在提取特征过程中融入了类别信息，故其分类性能优于PCA，但LDA要求各类数据满足正态分布，且提取特征的最大维数受到限制，存在小样本问题［3-5］；因此，Direct LDA［6］、Fisherfac［7］等LDA改进方法相继被提出.然而，上述方法均因局部遮挡、光照条件及表情等局部变化而缺乏良好的稳定性［8］.基于模态或子模式的人脸识别方法［9-10］则通过对人脸图像进行分块获取子图像，并对子图像进行特征提取获取局部特征信息，有效地提高了识别精度及稳定性，但该方法仅是线性结合了局部信息，而未充分利用各局部信息间的互补性.Bagging集成学习算法［11-13］可以通过重复取样来改变样本的分布，训练并集成多个基学习器，当用于处理模式识别问题时其性能优于单个分类器.本文通过对人脸图像进行子图像划分，考虑样本的局部信息获取差异性的训练样本集，提出一种基于Bagging的LDA集成人脸识别算法Bagging LDA.

1　线性判别分析（LDA）

对于LDA目标函数J（W），为了使不同类模式投影均值间距离尽可能大，同类模式投影最大限度地密集，现定义类内散度矩阵SW和类间散度矩阵SB，通过最大化类间散度矩阵和最小化类内散度矩阵的优化准则来获得最优投影变换矩阵W.

式中C表示模式类别的个数，Ni表示第i类训练样本的个数，Xij表示第i类中第j个训练样本，mi表示第i类训练样本的均值，m表示全部训练样本的均值.

求解广义特征方程得到使式（1）取得最优的投影矩阵W：

若SW为非奇异矩阵，那么的前C-1个最大特征值所对应的特征向量所组成的矩阵即W；当存在小样本问题时SW将奇异，此时应用SW的伪逆矩阵进行求解W.

2　基于Bagging的LDA人脸识别算法

2.1图像划分

设有N个大小为x×y的训练样本，将其中各图像划分成L个互不重叠的大小相等的子块，每个子块的大小为k1×k2，则L=（x×y）/（k1×k2）.将每个图像相同位置的子图像重新组合，得到L 个相互独立的子模式集合，即训练样本集Ti，Ti∈Rk1k2×N，i=1，2，…，L.

2.2基分类器的生成

将每个子模式集Ti（i=1，2，…，L）视为独立的样本集，按如下步骤设计并选取基分类器.

1）利用Bagging采样法在Ti上随机产生一个新的训练样本集，融合初始训练集Ti形成一个新的训练集

3）重复执行步骤1）～2）d次，在每个子模式集合Ti上产生d 个最近邻分类器.

4）计算每个子模式集合产生的d个最近邻分类器的分类精度，选取识别率最高的分类器fi作为集成分类器的基分类器.

2.3基分类器输出结果的集成

将训练集视为测试集测试基分类器fi（i=1，2，…，L）的分类精度，并以此作为集成权重wi.通过权重投票产生最终目标决策，根据各基分类器的分类精度赋予其不同的权重，增强了分类性能较好的基分类器在集成学习中的作用，从而获得更好的分类性能.

对于未知样本X，首先对其进行图像划分，得到L个子图像Xi，i=1，2，…，L.基分类器fi对Xi的分类结果可以表示为yi=（0，0，…，1，…，0），如果fi将X决策为第j类，则第j个分量为1，其余分量为0.计算第j个类别的集成分类输出权重，设计集成分类器分类方法：如果j0=maxj｛Hj｝，则将X 判定为第j0类.

本文分类器集成方法充分利用了基分类器fi在不同类上的分类差异性，通过赋予基分类器不同的权重，增强了基分类器处理样本的稳定性，提高了泛化能力.

3　仿真实验

为了验证本文算法的有效性及稳定性，在标准人脸数据集ORL和YALE人脸图像库中选取图像，利用MATALAB 2011b进行仿真，并与PCA、LDA算法进行性能比较.

3.1实验数据

ORL人脸数据集中400幅人脸图像，共40个人，每人10幅图像.图像是在不同时间且光线略有变化的条件下摄制，因此存在姿态、表情和光照等差异性.原始图像分辨率为112×92，灰度级为256，各源图像被划分成16个子图像，子图像大小为28×23.每个模式集产生的分类器个数d=5.

YALE人脸库中165幅人脸图像，共15个人，每人11幅图像.同样图像之间存在着姿态、表情和光照等因素的差异.原始图像分辨率为80×100，灰度级为256，各源图像被分成16个子图像，子图像大小为20×25.每个模式集产生的分类器个数d=5.

3.2结果与分析

在ORL库中，对每个人的10幅图像按5∶5划分成训练集和测试集，分别进行3次实验，不同特征维数下的识别精度如图1所示.在YALE库中，对每个人的11幅图像按5∶6划分成训练集和测试集，分别进行3次实验，不同特征维数下的识别精度如图2所示.

图1　不同特征维数下3种算法在ORL人脸库中的性能比较Fig.1 The performance comparison of each algorithm under different characteristic dimension of the ORL

图2　不同特征维数下3种算法在YALE人脸库中的性能比较Fig.2 The performance comparison of each algorithm under different characteristic dimension of the YALE

由图1～2可知，在ORL和YALE库中，Bagging LDA算法在最近邻分类器下的识别性能优于LDA、PCA算法，且由于Bagging LDA方法融合了样本的局部特征信息，并利用Bagging随机采样去除了受局部遮挡、光照等影响的样本，故稳定性更强.

4　结论

本文基于Bagging算法并结合线性判别分析方法提出了一种新的人脸识别算法Bagging LDA.与传统的线性子空间特征提取方法相比，该方法因更多地考虑了图像局部信息在人脸识别中的作用而提高了图像识别的稳定性，且能有效避免LDA方法中小样本问题的发生.通过Bagging算法获取差异性样本集，并利用集成学习的优势，增强了算法的泛化能力.通过仿真实例表明，Bagging LDA算法的分类识别性能明显优于PCA、LDA方法，且稳定性更好.

［1］GRUDIN M A.On internal representations in face recognition systems［J］.Pattern Recognit，2000，33（8）：1161-1177.

［2］赵武峰，沈海斌，严晓浪.直接LDA在人脸识别中的鉴别力分析［J］.浙江大学学报：工学版，2010，44（8）：1479-1483.

［3］YE Jieping，LI Qi.A two-stage linear discriminant analysis via QR-decomposition［J］.IEEE Trans Pattern Anal Mach Intell，2005，27（6）：929-941.

［4］TAN Keren，CHEN Songcan.Adaptively weighted sub-pattern PCA for face recognition［J］.Neurocomputing，2005，64（8）：505-511.

［5］ZHANG Xiaoxun，JIA Yunde.A linear discriminant analysis framework based on random subspace for face recognition［J］.Pattern Recognit，2007，40（9）：2585-2591.

［6］WU Xiaoiun，JOSEF K，YANG Jingyu，et al.A new direct LDA algorithm for feature extraction in face recognition［J］.Pattern Recognit，2004，4（2）：545-548.

［7］LU Guifu，ZOU Jian，WANG Yong.Incremental complete LDA for face recognition［J］.Pattern Recognit，2012，45：2510-2521.

［8］陈小丹，杜宇人，高秀斌.一种基于SURF的图像特征点快速匹配算法［J］.扬州大学学报：自然科学版，2012，15（4）：64-67.

［9］CHEN Songcan，ZHU Yulian.Subpattern-based principal component analysis［J］.Pattern Recognit，2004，37（1）：1081-1083.

［10］王蘊红，范伟，谭铁牛.融合全局与局部特征的子空间人脸识别算法［J］.计算机学报，2005，28（10）：1657-1663.

［11］SUN Dan，ZHANG Daoqiang.Bagging Constraint Score for feature selection with pairwise constraints［J］. Pattern Recognit，2010，43：2106-2118.

［12］ZHANG Li，ZHOU Weida.Sparse ensembles using weighted combination methods based on linear programming［J］.Pattern Recognit，2011，44：97-106.

［13］NICOLAS G P.Supervised proiection approach for boosting classifiers［J］.Pattern Recognit，2009，42（2）：1742-1760.

Face image recognition based on Bagging LDA ensemble method

ZHOU Zhongxia1，3，WANG Zhengqun1*，XU Chunlin2，LI Feng1，XUE Wei1
（1.Sch of Inf&Engin，Yangzhou Univ，Yangzhou 225127，China；2.Dept of Laser Appl Technol，North Laser Technol Group Co Ltd，Yangzhou 225009，China；3.State Grid Zhanhua Power Supp Co，Binzhou 256800，China）

When LDA deals with the high dimensional face image，recognition instability of the local change is a challenging problem.In order to solve it，a new method named Bagging LDA is proposed based on LDA and ensemble learning method in this paper.More specifically，a face image is divided into several sub-image set，and then a series of training set of LDA based on Bagging resample sub-image set and initial sub-image set are constructed.In the stage of classifiers ensemble，a component classifier with best performance is selected from a set classifiers.Weighting combination of all component classifiers gives ensemble classifier output.Experiments on ORL and YALE face database show that the proposed Bagging LDA method is effect in recognition performance.

face recognition；ensemble learning；linear discriminant analysis；Bagging algorithm

TP 391.4

A

1007-824X（2015）01-0041-04

（责任编辑 林 子）

2013-11-05.*联系人，E-mail：yzwzq@126.com.

国家自然科学基金资助项目（61402395）；江苏省高校自然科学基金资助项目（10KJB510027）.

周中侠，王正群，徐春林，等.基于Bagging的LDA集成算法及其在人脸识别中的应用［J］.扬州大学学报：自然科学版，2015，18（1）：41-44.