基于流形学习的极端学习机及其在人脸识别中的应用

张海英，闫德勤，杨 伊，楚永贺

(辽宁师范大学 计算机与信息技术学院,辽宁 大连 116081)

基于流形学习的极端学习机及其在人脸识别中的应用

张海英，闫德勤，杨 伊，楚永贺

(辽宁师范大学 计算机与信息技术学院,辽宁 大连 116081)

极端学习机以其快速高效和良好的泛化能力在模式识别领域得到了广泛应用，然而现有的ELM及其改进算法并没有充分考虑到数据维数对ELM分类性能和泛化能力的影响，当数据维数过高时包含的冗余属性及噪音点势必降低ELM的泛化能力，针对这一问题提出一种基于流形学习的极端学习机，该算法结合维数约减技术有效消除数据冗余属性及噪声对ELM分类性能的影响，为验证所提方法的有效性，实验使用普遍应用的图像数据，实验结果表明文章所提算法能够显著提高ELM的泛化性能。

极端学习机；流形学习；维数约减

0 引言

近来,Huang等人[1-2]在单隐层前馈神经网络(single-hidden layer feedforward networks, SLFNs)的基础上提出了极端学习机(extreme learning machine, ELM)，ELM随机产生隐层节点的输入权值和偏置值，分析确定输出权值，与传统基于梯度思想的神经网络算法相比具有更快的求解速度并且避免了陷入局部最优解的可能，ELM因其简单高效在分类和回归问题中得到了广泛应用，例如将ELM应用于不平衡数据学习[3]，在线连续数据学习[4]，噪音及缺失数据学习[5]，近来ELM被应用于特征提取[6]和人脸识别[7]中，极大地扩展了ELM的应用领域。

尽管ELM在模式识别领域得到了广泛的应用，然而目前的ELM及其改进算法并没有充分考虑到数据维数对ELM分类性能和泛化能力的影响，文献[8]通过分析指出人脸图像数据包含的冗余属性及噪声降低了ELM的泛化能力。为了解决人脸图像数据包含的冗余属性及噪声对ELM的泛化能力的影响，本文提出基于流形学习的极端学习机(MELM)。该算法能够有效消除数据冗余属性及噪声，从而提高ELM分类性能。本文的创新可分为两点：1)将流形学习的理论与ELM结合起来，提高人脸识别的识别率和识别速度；2)将数据的判别信息引入到局部保持投影(locality preserving projections, LPP)[9]算法中提出一种局部保持判别投影算法(locality preserving discriminant projections, LPDP)。通过在普遍应用的图像数据进行实验，实验结果表明本文所提出的算法能够显著提高ELM的分类准确率。

1 基于流形学习的极端学习机

1.1 ELM算法

对于N个不同的样本(xj,tj)可表示为X=(x1,x2,…,xN)T∈RD×N,其中tj=(tj1,tj2,…,tjm)T∈Rm，具有L个隐层节点激活函数为g(x)的ELM模型如下形式:

(1)

其中:j=1,2,…,N，ai=(ai1,ai2,…,ain)为连接第i个隐层节点与输入节点的输入权值向量，βi=(βi1,βi2,…,βim)为连接第i个隐层节点与输出节点的输出权值向量，bi为第i个隐层节点的偏置值，ai·xj表示ai和xj的内积，tj=(tj1,tj2,…,tjm)T∈Rm为对应于样本xj的期望输出向量，对所有数据样本进行整合，式(1)可以改写为如下形式：

Hβ=T

(2)

其中:H是网络隐层节点输出矩阵，β为输出权值矩阵，T为期望输出矩阵：

(3)

(4)

当隐层节点个数和训练样本个数相同时(即L=N)我们可以通过(7)式直接求矩阵H的逆矩阵得到最优的输出权值矩阵β，但大多情况下隐层节点的个数远小于训练样本的个数(即L<

(5)

其中:H+为矩阵H的广义逆。

为了提高传统ELM的稳定性和泛化能力，Huang提出了等式优化约束的ELM[10]，等式优化约束的ELM的优化式子不仅最小化训练误差ξ同时最小化输出权值β，因此等式优化约束的ELM目标式子可写为：

(6)

式(6)中,ξi=(ξi1,…,ξ1m)T为对应于样本xi的训练误差向量，C为惩罚参数。式(11)的求解可通过可通过拉格朗日方法转化为无条件最优化问题进行求解。因此ELM算法求解过程可总结步骤如下：

1)初始化训练样本集；

2)随机指定网络输入权值ai和偏置值bi；

3)通过激活函数计算隐层节点输出矩阵H；

4)计算输出权值β。

1.2 维数约减技术

为了解决人脸图像数据包含的冗余属性及噪声对ELM的泛化能力的影响，为此我们将数据的判别信息引入到LPP算法中提出一种局部保持判别投影算法(LPDP)。

(7)

将y=uTx代入式(7)最小化目标式子，可写为如下形式：

(8)

式(8)的分子可做如下推导：

uTXLXTu

(9)

(10)

利用拉格朗日乘子法对(10)式进行求解可得:

XLXTu=λSu

(11)

对式(11)进行特征值分解，得到特征向量矩阵为U=[u1,…,uN]。从特征向量矩阵中选取的第2到第d+1个最小特征值对应的特征向量，即：[u2,…,ud+1]T，则由y=uTx得到LPDP算法。

综上所述，基于流形学习的极端学习机(MELM)的算法步骤可总结如下:

1)初始化训练样本集，利用式(11)对数据集进行降维，得到数据集的低维表示Y；

2)随机指定网络输入权值ai和偏置值bi；

3)通过激活函数计算隐层节点输出矩阵H；

4)计算输出权值β。

2 实验结果及分析

为证明所提出基于流形学习局部保持判别投影算法(LPDP)极端学习机(MELM)的有效性，为此ELM采用Sigmoid函数作为激活函数应用于4个不同图像数据库，在Yale，ORL实验中我们随机在每类样本中选取训练集个数为L={3，4，5，6}剩余部分为测试集，在Yale B，COIL20实验中我们随机在每类样本中选取训练集个数为L={5，10，15，20}剩余部分为测试集， ELM运用LPDP算法与LPP[9]，LPANMM[12]，RAF-GE[13]算法在不同维数下的识别率曲线及识别率如图2～5所示及表2～5所示，不同图像库数据参数设置如表1所示，Yale，ORL，Yale B，ORL图像如图1所示。

表1 数据集参数描述

图1 不同图像数据

图2 ELM运用不同降维算法在Yale人脸库识别率曲线

图3 ELM运用不同降维算法在ORL人脸库识别率曲线

图4 ELM运用不同降维算法在Yale B人脸库识别率曲线

图5 ELM运用不同降维算法在COIL20图像库识别率曲线

图2～5分别给出了ELM运用不同降维算法在Yale，ORL，Yale B，COIL20图像数据上的识别率曲线，由图2～5可以看出本文所提算法LPDP的识别率曲线明显高于LPANMM，LPP，RAF-GE的识别率曲线，这是由于LPDP在保持邻域信息的基础上考虑到了数据的判别信息，从而获得更好的降维效果。由图2和图4可知LPDP算法的识别率曲线远远高于其他算法的识别率曲线，并且具有很好的稳定性，由图3可以看出在每类训练样本为3时LPDP的识别率曲线不具有明显的优势，随着样本个数的增加LPDP的识别率曲线高于其他识别率曲线。图5给出了不同的降维算法在COIL20图像数据上的识别率曲线，由图5可以看出本文所提算法LPDP出现较大的波动，但是识别率曲线仍然优于其他3种算法。表2～5给出了ELM运用不同降维算法在图像数据上的具体识别率，从表2～5可以看出，本文所提算法的识别率优于其他算法。

3 结论

为了解决人脸图像数据包含的冗余属性及噪声对ELM的泛化能力的影响，本文提出一种基于流形学习的极端学习机，所提算法在保持邻域信息的基础上考虑到了数据的判别信息，有效避免数据包含的冗余属性及噪声对ELM的泛化能力的影响，通过与LPP，RAF-GE，LPANMM算法的对比实验表明，本文所提出的方法显著提高了ELM的识别率并且优于其他算法。

[1] Feng G, Huang G B, Lin Q. Error minimized extreme learning machine with growth of hidden nodes and incremental learning[J].IEEE Transactions on Neural Networks,2009, 20(8): 1352-1357.

[2] Tang J, Deng C, Huang G B. Extreme learning machine for multilayer perceptron[J]. IEEE Transactions on Neural Networks and Learning Systems, 2015, (99): 1-13.

[3] Zong W W, Huang G B, Chen Y. Weighted extreme learning machine for imbalance learning[L]. Neurocomputing, 2013, 101: 229-242.

[4] Zhao J W, Wang Z H, Park D S. Online sequential extreme learning machine with forgetting mechanism[J]. Neurocomputing, 2012, 87: 79-89.

[5] Man Z H, Wang D H, Cao Z W, et al. Robust single-hidden layer feedforward network-based pattern classifier[J]. IEEE Transactions on Neural Networks and Learning Systems, 2012, 23(12): 1974-1986.

[6] Benoit F, Heeswijk M V, Miche Y, et al. Feature selection for nonlinear models with extreme learning machines[J]. Neurocomputing, 2013, 102: 111-124.

[7] Peng Y, Lu B L. Discriminative graph regularized extreme learning machine and its application to face recognition[J]. Neurocomputing, 2015, 149: 340-353.

[8] Zong W W, Huang G B. Face recognition based on extreme learning machine[J]. Neurocomputing, 2011, 74: 2541-2551.

[9] He X F, Niyogi P. Locality preserving projections[J]. Advances in neural information processing systems,2004:153-160.

[10] Huang G B. An Insight into Extreme learning machines: random neurons, random features and kernels[J]. Cogn. Comput.,2014: 376-390.

[11] Zhang T H, Tao D H, Li X L, et al. Patch alignment for dimensionality reduction[J]. IEEE Transactions on Knowledge and Data Engineering, 2009,21(9):1299-1313.

[12] Chen X M, Liu W Q, Lai J H. Face recognition via local preserving average neighborhood margin maximization and extreme learning machine[J]. Soft Comput., 2012, 16: 1515-1523.

[13] 冯 林，刘胜蓝，张 晶，等.高维数据中鲁棒激活函数的极端学习机及线性降维[J].计算机研究与发展，2014，51(6)：1331-1340.

Using Manifold Learning Extreme Learning Machine for Face Recognition

Zhang Haiying, Yan Deqin, Yang Yi，Chu Yonghe

(College of Computer and Information Technology, Liaoning Normal University, Dalian 116081, China)

Extreme learning machine has been widely used for its fast, efficient and good generalization ability in pattern recognition. But existing ELM and its improved algorithms do not adequately consider the impact of data dimension for classification performance and generalization ability of ELM, the redundant attributes and noise will reduce the generalization ability of ELM which contains when data dimension is too high. Aiming at this problem, this paper proposed a kind of extreme learning machine based on manifold learning. The algorithm combines dimensionality reduction technology, effectively eliminate the impact of data redundancy attribute and noise for classification performance of ELM. In order to verify the effectiveness of the proposed method, experimental use of widely used image data, experimental results show that the proposed algorithm can significantly improve the generalization performance of ELM.

extreme learning machine; manifold learning; dimensionality reduction

2016-06-21；

2016-07-20。

国家自然基金(61105085, 61373127)。

张海英 (1991-)，女，吉林九台人，硕士研究生，主要从事模式识别、机器学习方向的研究。

1671-4598(2016)12-0158-04

10.16526/j.cnki.11-4762/tp.2016.12.045

TP18

A

闫德勤 (1962-)，男，博士，教授，主要从事模式识别、机器学习方向的研究。