一种稀疏流形低秩表示的子空间聚类方法

罗申星 于腾腾 刘新为 温博

摘要 针对基于非负低秩稀疏表示的子空间聚类方法不能准确描述数据集结构的问题，提出了一种稀疏流形低秩表示的子空间聚类方法。该方法使用双曲正切函数代替核范数来估计秩函数，并利用加权稀疏正则项使表示系数矩阵稀疏，同时引入稀疏流形正则项来刻画数据集的内在流形结构信息。首先通过带有自适应惩罚的线性交替方向法求解子空间表示模型。然后利用获得的表示系数矩阵构造相似度矩阵，结合使用谱聚类方法得到数据集的聚类结果，最后采用基于局部和全局一致性的半监督分类方法获得数据集的分类结果。在Extended Yale B 数据库、CMU PIE 数据库、ORL 数据库、COIL 20 数据库和MNIST 数据库上的实验结果表明，本方法可以提高子空间聚类和半监督学习的准确率。

关 键 词 子空间聚类；低秩表示；稀疏约束; 稀疏流形

中图分类号 TP301.6     文献标志码 A

A subspace clustering method based on sparse manifold and low-rank representation

LUO Shenxing1， YU Tengteng2， LIU Xinwei1， WEN Bo1

（1. Institute of Mathematics， School of Sciences， Hebei University of Technology， Tianjin 300401， China; 2. School of Artificial Intelligence and Data Science， Hebei University of Technology， Tianjin 300401， China）

Abstract It is known that the subspace clustering method using the non-negative low rank and sparse representation can not describe the structures of data sets exactly. We propose a new subspace clustering method， based on sparse manifold and low-rank representation. The method uses the hyperbolic tangent function instead of the nuclear norm to estimate the rank function， and incorporates a weighted sparse regularizer to approximate the sparse coefficient matrix representation. The sparse manifold regularizer is introduced to describe the inherent manifold structure information of data sets. The subspace representation model is solved by the linearized alternating method with adaptive penalty. We use the obtained representation coefficient matrix to build the affinity matrix， and employ the spectral clustering method to derive the clustering results of the data sets. Finally， a semi-supervised classification method based on local and global consistency is used to achieve the classification results of the data sets. Experimental results on the Extended Yale B database， CMU PIE database， ORL database， COIL 20 database and MNIST database demonstrate that the presented model has potential of improving the accuracy on both the subspace clustering and semi-supervised learning.

Key words subspace clustering; low-rank representation; sparse constraint; sparse manifold

0 引言

在大数据和人工智能时代，高维数据的聚类方法研究是数学与系统科学领域研究的热点问题，也是数据挖掘领域的重要研究方向之一。然而，高维数据通常位于低维的线性子空间中。子空间聚类方法是一种将来自不同子空间的高维数据用其本质所属的低维子空间进行线性表示的聚类方法[1-2]。现有的子空间聚类方法主要分为以下4类：代数方法[3]、统计方法[4]、迭代方法[5] 和基于谱聚类的方法[6-8]。基于谱聚类的方法可以有效地捕捉数据集中的结构信息并在实际应用中取得良好表现，是目前最流行的子空间聚类方法。

基于谱聚类的方法通常包括2个步骤：第1步是从子空间表示模型求得表示系数矩阵，并构造相似度矩阵；第2步是应用谱聚类方法完成聚类任务。众所周知，相似度矩阵很大程度上决定了谱聚类的性能，同时其也是半监督学习是否有效的关键因素。如何构建合适的相似度矩阵是子空间聚类方法的难点。2010 年Liu 等[7] 通过利用核范数来捕获整个数据集的全局结构信息，提出了低秩表示（LRR）模型。LRR 在捕获底层低维数据结构方面的有效性引起了学者对子空间分割[9]、人脸识别[10] 和多任务识别[11] 的极大兴趣。由于LRR 获得的表示系数矩阵并不稀疏，2012 年Zhuang 等[12] 将低秩表示和稀疏约束相结合，对表示系数矩阵加入非负约束，提出了非负低秩稀疏表示 （NNLRSR） 模型。之后基于非负低秩稀疏表示的扩展子空间聚类模型[12-16] 大量涌现。2014 年Tang 等[13] 在 NNLRSR 模型的基礎上对稀疏正则项加入结构化权重约束，提出了结构化约束的低秩表示 （SCLRR） 模型，更有效地保护数据集的局部线性结构。2016 年 You 等[17] 通过将稀疏流形正则项加入到 SCLRR 模型中，提出了流形局部约束低秩表示（MLCLRR）模型，其目的是保留数据集的内在流形结构。

在以上列举的基于非负低秩稀疏表示的子空间聚类方法中，一般使用核范数代替秩函数，而核范数对秩函数逼近的好坏取决于表示系数矩阵的奇异值。当奇异值特别大时，核范数不能准确地估计矩阵的秩。为了解决这一问题，2018 年张桂玲和杜艳梦[18] 通过将 LRR 模型中的核范数用双曲正切函数代替并利用拉普拉斯正则项描述数据集的流形结构，提出了拉普拉斯正则化双曲正切函数低秩子空间聚类 （LRHT-LRSC） 模型。

本文受文献 [17-18] 的启发，提出了一种稀疏流形低秩表示（SMLRR）的子空间聚类方法。该方法主要以 NNLRSR 模型为基础，对其正则项进行改进：通过使用双曲正切函数替代核范数，可以在许多实际问题中有效地估计矩阵的秩，并且能够更准确地捕获数据集的全局结构信息；利用结构化权重约束构造加权稀疏正则项，可以更好地保护数据集的局部线性结构；将稀疏流形正则项引入到目标函数中作为正则项，可以保留数据集的内在流形结构信息。模型应用带有自适应惩罚的线性交替方向法（LADMAP）[19] 进行求解。实验结果显示，本文提出的子空间聚类方法确实提高了子空间聚类性能和半监督学习的分类性能，故获得更好的聚类效果和分类效果。

本文结构如下：第2节介绍了相关的子空间聚类方法；第3节提出SMLRR 模型并给出求解模型的方法；第4节进行了數值实验并分析了实验结果；第5节总结了全文。

为了方便描述，表 1 对文中出现的一些符号进行说明。

1 相关的子空间聚类方法

本节介绍了NNLRSR 模型和表示系数矩阵的2种不同度量。

1.1 非负低秩稀疏表示（NNLRSR）

给定由n个d维样本组成的数据矩阵[X=[x1，x2，…，xn]∈?d×n]，[Z=[z1，z2，…，zn]]为表示系数矩阵，其中每一列 [zi] 为对应样本 [xi] 的表示系数，则非负低秩稀疏表示的子空间表示模型如下：

式中：[λ>0] 和 [α>0] 为正则化参数；D为字典；E为噪声；[Z*]表示低秩正则项；[Z1]表示稀疏正则项；[E2，1]表示数据项。

1.2 正则项的设计

1.2.1 加权稀疏正则项

文献 [13-14] 通过对等式 （1） 的稀疏正则项加入不同的权重矩阵 M，提出了加权稀疏正则项，表示形式如下：

式中：[⊙]为Hadamard 积；[M∈?n×n]。

1.2.2 稀疏流形正则项

稀疏流形嵌入 （SMCE）[20] 方法是从局部方向的基础矩阵[Ui]中选出稀疏基来重建[xi]，模型如下：

式中：[Ui=xi1-xixi1-xi，xi2-xixi2-xi，…，xiNi-xixiNi-xi]；[Ni]为[xi]周围的邻居个数，[xi]邻居对应的标签为 [i1，i2，…，iNi]；[ci=c1i，c2i，…，cNiiT]为[xi] 的表示系数，则权重 W 的定义如下：

[Wij，i=cjixij-xij′∈Nicj′ixij′-xi。]

文献 [17，21] 通过将SMCE获得的数据矩阵 X 的权重矩阵W直接作为 Z 的权重矩阵，让Z保留几何约束，其关系定义如下：

将式 （4） 改写成

式中，[G=（I-W）（I-W）T]，[I]为单位矩阵。

2 稀疏流形低秩表示的子空间聚类方法

本节提出了一种改进NNLRSR的子空间聚类方法。该方法通过利用双曲正切函数逼近秩函数，将结构化权重约束添加到稀疏正则项，并引用稀疏流形正则项，可以更准确地捕获数据集的结构信息。

2.1 构建目标函数

模型LRHT-LRSC在子空间聚类问题上取得很好的聚类效果，因此将LRHT-LRSC中利用双曲正切函数来估计秩函数的思想应用到 NNLRSR，则式 （1） 重新表示如下：

对于 NNLRSR 的稀疏正则项，2014 年 Tang 等[13] 加入结构化权重矩阵M，以将其改进为加权稀疏正则项。加权稀疏正则项可以将多个不相交的子空间分开，从而可以更有效地捕获数据集的局部线性结构，所以将式 （6） 中的稀疏正则项替换成加权稀疏正则项，则式 （6） 重新表示如下：

式中：D为字典（通常取数据样本X本身）；[⊙]为 Hadamard 积；M 的定义为

式中：[x*i]和 [x*j]分别是[xi]和 [xj]的标准化数据点；m是矩阵B （B定义为[Bij=1-x*iTx*j]）的平均值。

对子空间聚类模型的构建，获取数据集的局部非线性结构信息是不可缺少的。2016 年，You 等[17] 提到， 数据中的流形结构信息对分类任务是有益的，因此在 SCLRR模型中引入稀疏流形正则项，提出了流形局部约束低秩表示（MLCLRR）并应用在子空间聚类和半监督学习的问题上。因此，将稀疏流形正则项加入到式 （7） 中。

综上所述，本文提出一种稀疏流形低秩表示（SMLRR）的子空间聚类方法，其子空间表示模型如下：

式中：[β]为正则化参数；[G=（I-W）（I-W）T]，[I]为单位矩阵，W为 SMCE[20] 方法求解的权重矩阵。

2.2 模型求解

以下给出应用 LADMAP 求解式 （9） 的具体过程。通过引入3个辅助变量J、H和S可以将式 （9） 重新表示如下：

令 [σi=σi（J）]，则问题 （10） 对应的增广拉格朗日函数如下：

式中：Y1、Y2、Y3 和Y4是拉格朗日乘子；[μ]是惩罚参数。求解上述优化问题的具体步骤如下。

1）固定其他变量更新 Z

得到

其中

2） 固定其他变量更新 J

通过求解式（16）来得到式（15） 的近似解[22]

其中 [f（σ）=i=1ntanh（σi）]，A為 [（Zk+1+Y2，kμk）]。因为式（16）中的第1项是凹的，第2项在[σ]处是凸的，所以可以用DC（difference of convex）[23] 方法进行求解，即对式（16）做线性逼近处理，重写如下：

这里 [wk=λ?f（σk）] 为 [σk] 在 [λf（?）] 处的梯度。式（17） 有如下闭形式的解[22]：

因此，J的更新如下：

3） 固定其他变量更新 E

其中Ek+1可通过 l2，1-范数最小化算子[7] 求得闭形式的解。具体如下：

令矩阵 [Θ=Θ：，1，Θ：，2，…，Θ：，i，…=X-DZk+1+Y1，kμk]，则上述优化问题重写如下：

应用 LADMAP 求解 SMLRR 模型的具体框架见算法 1。

算法1  SMLRR

输入：[X∈Rd×n]，[λ]，[α]，[β]，M，W，[ε1]，[ε2]。

初始化：[Z0=H0=S0=E0=0]，[J0=I∈?n×n]，[ρ0=1.1]，[μ0=0.1]，[μmax=1010]。

重复以下步骤，直到收敛

步骤1：通过式 （13），更新Zk+1。

步骤2：利用公式 （19）、（20）、（22） 和 （24），分别更新[Jk+1]，[Ek+1]，[Hk+1]和[Sk+1]。

步骤3：利用公式 （25），更新[Y1，k+1]，[Y2，k+1]，[Y3，k+1]和[Y4，k+1]。

步骤4：利用公式 （26），更新惩罚参数 [μk+1]。

步骤5：检查收敛条件，如果满足 [X-DZk+1-Ek+1X≤ε1]

[max（μkηZk+1-Zk，μkJk+1-Jk，μkEk+1-Ek，μkHk+1-Hk，μkSk+1-Sk）≤ε2]，则循环停止。

输出：表示系数矩阵[Z*]，噪声矩阵[E*]。

2.3 相似度矩阵的构建

给定数据矩阵 X，将其作为式 （9） 的字典D。通过求解新模型获得的表示系数矩阵[Z*]具有稀疏性和分组效应，适用于聚类和半监督学习。因此，基于[Z*] 构造相似度矩阵[S=Z*+（Z*）T2]。构造 SMLRR 相似度矩阵的步骤如算法2。

算法2  构造SMLRR 相似度矩阵[17]

输入：[X∈Rd×n]，[λ]，[α]，[β]。

步骤1：通过[xi=xixi]标准化每个样本，得到[X=[x1，x2，…，xn]]。

步骤2：通过求解优化问题 （3），获得W。

步骤3：通过式 （8），获得M。

步骤4：通过求解新模型 （9），获得最优解Z*。

步骤5：计算相似度矩阵 [S=Z*+（Z*）T2]。

输出：S。

2.4 收敛性与复杂度分析

算法1直接应用优化算法LADMAP 进行求解，算法2是直接应用优化算法交替方向乘子法 （ADMM） 和 LADMAP 进行求解。优化算法LADMAP 和ADMM的收敛性已在文献 [19，24] 给出详细的证明，这里不再重复。

算法1的时间复杂度主要集中在更新J上，因为J的更新使用了奇异值阈值算法，涉及矩阵的奇异值分解[8]，则算法每步迭代的时间复杂度为[O（rn2）]，所有迭代的时间复杂度为 [O（t1rn2）]，其中r为Z的秩，[t1]为 LADMAP 的迭代次数，n为样本量。算法2的时间复杂度分为2部分：1）对于优化问题 （3） 的求解过程见文献 [21]，其时间复杂度为[O（t2nK2）]，其中K为[Ni]，[t2]为ADMM 的迭代次数，n为样本量；2）对于优化问题 （9） 的求解步骤见算法1，其时间复杂度为[O（t1rn2）]。所以，算法2的时间复杂度为[O（t1rn2+t2nK2）]。

3 实验结果与分析

本节将本文提出的新方法跟基于低秩与稀疏的子空间聚类方法在Extended Yale B（EYaleB） 数据库和 CMU PIE（PIE） 数据库上进行聚类实验对比，并且在 ORL 数据库、COIL 20 数据库和 MNIST 数据库上进行分类实验对比。

3.1 对比方法

将本文提出的子空间聚类方法与 LRR[7]、反正切秩极小化 （ARM）[22]、NNLRSR[12]、SCLRR[13]、MLCLRR[17] 和 LRHT-LRSC[18] 进行比较。LRR 通过利用核范数来寻找数据集的最低秩表示，从而捕获数据集的全局结构信息；ARM 使用反正切函数替换 LRR 模型中的核范数，以更准确地描述数据集的全局结构信息；NNLRSR 通过结合低秩表示和稀疏约束，对表示系数矩阵进行非负约束来捕获数据集的全局和局部结构信息；SCLRR 为了更好地保护数据集的局部结构，对NNLRSR模型的稀疏正则项施加结构化权重约束[Mij=1-exp（-1-x*iTx*jm）]，同式 （8） 一样；MLCLRR 通过在 SCLRR 模型的基础上加入了稀疏流形正则项，提高了子空间聚类性能。LRHT-LRSC 对 LRR 进行改进，使用双曲正切函数估计秩函数，并引入拉普拉斯正则项描述数据集内部的流形结构，从而提高了聚类的准确率。

根据文献 [21] 的实验参数设置，对比方法中用于平衡低秩正则项的参数[λ]、稀疏正则项的参数[α]和稀疏流形正则项的参数[β]通过搜索区间 [{10-3，10-2，…，100}] 来选取最优值。在实验中，SMCE 方法的参数[γ]和Ni分别设置为 20 和 50。

3.2 子空间聚类

本节选择聚类实验中常用的 EYaleB 数据库和 PIE 数据库来进行子空间聚类实验。EYaleB 数据库和 PIE 数据库都是人脸图像。EYaleB 数据库包含 38 个人，每人有 64 张正面图像。将原 EYaleB 数据库的 192[×]168 像素的图像转化为48[×]42 像素。EYaleB 数据库的部分样本见图1。PIE 数据库包含 68 个人。选择 PIE 数据库的子集库（PIE_32[×]32.mat），每人有 170 张人脸图像，每张图像为 32[×]32 像素。PIE 数据库部分样本见图 2。本节参考文献 [8] 中的实验设置，分别从数据库选中选择前 2、3、5、8 和 10 类人脸图像进行实验。

对 EYaleB 数据库和 PIE 数据库进行预处理之后，应用新方法和对比方法进行子空间聚类实验。为了确保实验的准确性，对所选的类别进行 10 次实验，并将这 10 次实验的平均值和标准差作为最终的聚类结果。表 2 和表 3 显示了 LRR、ARM、NNLRSR、SCLRR、MLCLRR、LRHT-LRSC 以及本文方法在 EYaleB 数据库和 PIE 数据库上的聚类准确率。从实验结果可以看出 SMLRR的聚类准确率比其他方法都要高，说明新方法在子空间聚类问题上有更好的聚类效果。

3.3 半监督学习

本节使用 ORL 数据库、COIL 20 数据库和 MNIST 数据库进行半监督学习实验。ORL 数据库包含 40 个人，每人都有 10 张面部表情不同的人脸图像，每张图像为112[×]92 像素。将 ORL 数据库中的所有图像的分辨率转化为32[×]32 像素。ORL 数据库部分样本见图3；COIL 20 数据库包含 20个物体，每个物体都有 72 张图像，每张图像为 128[×]128 像素。将 COIL 20 数据库中的所有图像的分辨率转化为32[×]32像素，并选取数据库中每一物体的前 70 张图像进行实验。COIL 20 数据库的部分样本见图 4；MNIST 数据库包含 10 个手写数字，共有70 000张数字图像，每张图像为28[×]28像素。选择每个手写数字的前100 张图像进行实验。MNIST 数据库部分样本见图 5。

选择基于局部和全局一致性 （LGC）[25] 的半监督分类方法对上述数据库进行分类实验。定义[Y=Y1，Y2，…，YnT∈?n×c]是初始标签矩阵，n是样本量。如果样本[xi]与标签[j（j∈1，2，…，c）]相关联，则[Yij=1]，否则[Yij=0]。LGC 通过学习分类求得[F∈?n×c]，实现标签分类，模型表示如下：

式中：[μ∈0，∞]；[LW=D-1/2LWD-1/2]是规范化的图拉普拉斯矩阵[15]；D是相似度矩阵S。在本文的实验中，[μ]设置为 0.99。

将各方法求得的相似度矩阵应用于 LGC 方法中得到F，然后用F定量估计各方法的分类性能。选取每类数据的前10%～60%的样本作为标记样本去评估各方法的分类性能。为了保证实验的准确性，各方法在每个标记样本上进行 10 次实验，并取这 10 次实验的平均值和标准差作为最终的分类结果。表4～表6 给出了 LRR、ARM、NNLRSR、SCLRR、MLCLRR、LRHT-LRSC 以及本文方法在 ORL 数据库、COIL 20 数据库和 MNIST 数据库上的分类准确率。从上述结果可知，SMLRR 比其他方法的分类准确率更高，故表明新方法具有更好的分类性能。

3.4 实验分析

从子空间聚类实验和半监督学习实验的结果，可以观察到：

1）本文提出的 SMLRR 在子空间聚实验和半监督学习实验中都获得更高的准确率。与其他方法相比，SMLRR 通过使用双曲正切函数估计秩函数，能够更准确地捕获数据集的全局结构信息；为了更有效地保护数据集的局部线性结构，在稀疏正则项上增加结构化权重约束；加入稀疏流形正则项，其目的是让Z可以保留数据集的流形结构信息。

2）相比于 LRR，ARM 通过使用反正切函数代替核范数，在 EYaleB 数据库和 PIE 数据库上的聚类准确率显著提高，表明反正切函数在大多数情况下都能很好地估计秩函数。例如，在 EYaleB 数据库上的前 10 类人脸图像上，ARM 的聚类准确率达到 87.53%，比LRR 高出24.11%。在文献 [18] 中给出双曲正切函数能够在奇异值较小的范围内，比反正切函数更好的近似矩阵的秩，所以本文方法用双曲正切函数代替核范数。

3）NNLRSR 和 SCLRR 在 LRR 模型中加入了稀疏约束，从而提高了聚类和分类的性能，因此表明稀疏约束可以有效地使Z稀疏。SCLRR 模型对稀疏正则项加入了结构化权重约束，从 NNLRSR 和 SCLRR 的实验结果看，SCLRR 不仅使得Z具有稀疏性，而且还可以保护数据集的局部结构信息。

4）MLCLRR、LRHT-LRSC 和本文方法都加入了流形结构信息，但是它们之间识别流形的方式不一样。MLCLRR 和本文方法采用几何稀疏的思想来构造流形结构。LRHT-LRSC 利用拉普拉斯映射来构造流形结构。MLCLRR 在 SCLRR 模型的基础上，通过加入稀疏流形正则项来保留数据集的内在流形结构。从实验结果可知，MLCLRR 在半监督学习实验上，准确率都有所提高。所以在子空间聚类方法中考虑数据的流形结构對数据集的分类是有益的。

5）在半监督学习实验上，当给定较少的标签样本时，各方法的分类难度都会增大。随着标签样本的增加，各方法的分类准确率也随之增加，而本文方法的分类准确率比其他方法更高。

综上所述，为了能更准确地捕获数据集的信息，在构建子空间聚类模型时，考虑双曲正切函数、加权稀疏正则项和稀疏流形正则项是不可缺少的。

3.5 參数选择

在 EYaleB 数据库和 PIE 数据库上选择数据类别为8的情况，在ORL数据库、PIE数据库和MNIST数据库上选择标签样本为60% 的情况进行实验，分析参数[λ]、[α]和[β]对本文方法准确率的影响。本文方法确定模型中的参数值同比较方法一样，通过搜索区间[{10-3，10-2，…，100}]来选取最优值。图6和图7表明参数[λ]、[α]和[β]变化时对聚类准确率的影响。图 8、 图 9 和图 10 表明参数[λ]、[α]和[β]变化时对分类准确率的影响。参数值的选择方法如下：首先固定参数[α]和[β]为10-2，选取具有最佳实验效果的[λ]值；然后在[λ]取最优的情况下，搜索实验准确率最高的[α]值；最后在[λ]和[α]取最优情况下，搜索[β]值。由于数据库的噪声不同，我们选取的各参数值也不同，见表7。

4 结语

本文受流形局部约束低秩表示模型和拉普拉斯正则化双曲正切函数低秩子空间聚类模型的启发，用双曲正切函数、加权稀疏约束和稀疏流形约束作为正则项，提出了一种稀疏流形低秩表示 （SMLRR） 的子空间聚类方法。在EYaleB 数据库、PIE数据库、ORL数据库、COIL 20数据库和MNIST数据库上实验结果表明，相比先前的方法，SMLRR能够更好地描述数据集的结构信息，实现表示系数矩阵的稀疏性和分组效应。但是，在实验中，参考了相应文献手动调节正则化参数，这不仅增加了实验的复杂性，而且选取的参数范围可能不准确。下一步，将针对正则化参数的选取进行更深入的研究。

参考文献：

[1]    王卫卫，李小平，冯象初，等. 稀疏子空间聚类综述[J]. 自动化学报，2015，41（8）：1373-1384.

[2]    VIDAL R. Subspace clustering[J]. IEEE Signal Processing Magazine，2011，28（2）：52-68.

[3]    VIDAL R，MA Y，SASTRY S. Generalized principal component analysis （GPCA）[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（12）：1945-1959.

[4]    GEAR C W. Multibody grouping from motion images[J]. International Journal of Computer Vision，1998，29（2）：133-150.

[5]    ZHANG T，SZLAM A，WANG Y，et al. Hybrid linear modeling via local best-fit flats[J]. International Journal of Computer Vision，2012，100（3）：217-240.

[6]    ELHAMIFAR E，VIDAL R. Sparse subspace clustering[C]// 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami，FL，USA：IEEE，2009：2790-2797.

[7]    LIU G C，LIN Z C，YU Y. Robust subspace segmentation by low-rank representation[C]// Proceedings of the 27th International Conference on International Conference on Machine Learning. New York：ACM，2010：663-670.

[8]    李占芳，李慧云，刘新为. 分类稀疏低秩表示的子空间聚类方法[J]. 系统科学与数学，2018，38（8）：852-865.

[9]    WEI L，ZHANG Y，YIN J，et al. An improved structured low-rank representation for disjoint subspace segmentation[J]. Neural Processing Letters，2019，50（2）：1035-1050.

[10]  HOANGVU，NGUYEN，. Discriminative low-rank dictionary learning for face recognition[J]. Neurocomputing，2016，173：541-551.

[11]  SU C，YANG F，ZHANG S L，et al. Multi-task learning with low rank attribute embedding for multi-camera person re-identification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（5）：1167-1181.

[12]  ZHUANG L S，GAO H Y，LIN Z C，et al. Non-negative low rank and sparse graph for semi-supervised learning[C]// 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence，RI，USA：IEEE，2012：2328-2335.

[13]  TANG K W，LIU R S，SU Z X，et al. Structure-constrained low-rank representation[J]. IEEE Transactions on Neural Networks and Learning Systems，2014，25（12）：2167-2179.

[14]  ZHENG Y G，ZHANG X R，YANG S Y，et al. Low-rank representation with local constraint for graph construction[J]. Neurocomputing，2013，122：398-405.

[15]  張涛，唐振民. 一种基于非负低秩稀疏图的半监督学习改进算法[J]. 电子与信息学报，2017，39（4）：915-921.

[16]  YIN M，GAO J B，LIN Z C. Laplacian regularized low-rank representation and its applications[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2016，38（3）：504-517.

[17]  YOU C Z，WU X J，PALADE V，et al. Manifold locality constrained low-rank representation and its applications[C]// 2016 International Joint Conference on Neural Networks （IJCNN）. Vancouver，BC，Canada：IEEE，2016：3264-3271.

[18]  张桂玲，杜艳梦. 拉普拉斯正则化双曲正切低秩子空间聚类算法[J]. 控制与决策，2018，33（1）：163-168.

[19]  LIN Z C，LIU R S，SU Z X. Linearized alternating direction method with adaptive penalty for low-rank representation[C]// Proceedings of the 24th International Conference on Neural Information Processing Systems. Granada，Spain. New York：ACM，2011：612-620.

[20]  ELHAMIFAR E，VIDAL R. Sparse manifold clustering and embedding[C]// Proceedings of the 24th International Conference on Neural Information Processing Systems. Granada，Spain. New York：ACM，2011：55-63.

[21]  YONG，PENG，. Enhanced low-rank representation via sparse manifold adaption for semi-supervised learning[J]. Neural Networks，2015，65：1-17.

[22]  KANG Z，PENG C，CHENG Q. Robust subspace clustering via tighter rank approximation[C]// Proceedings of the 24th ACM International on Conference on Information and Knowledge Management. Melbourne，Australia. New York：ACM，2015：393-401.

[23]  HORST R，THOAI N V. DC programming：overview[J]. Journal of Optimization Theory and Applications，1999，103（1）：1-43.

[24]  BOYD S，PARIKH N，CHU E，et al. Distributed optimization and statistical learning via the alternating direction method of multipliers[J]. Foundations and Trends? in Machine Learning，2011，3（1）：1-122.

[25]  ZHOU D Y，BOUSQUET O，LAL T N，et al. Learning with local and global consistency[C]// Proceedings of the 16th International Conference on Neural Information Processing Systems. New York：ACM，2003：321-328.