带约束的半非负矩阵分解卷积网络算法及应用

广东工业大学 黄昊楠

卷积神经网络已成功应用于图像分类。然而，训练传统的卷积网络模型需要花费大量的时间和计算内存。半非负矩阵分解(Semi-NMF)是一种学习数据集特征表示的有用算法。本文提出了一种新的用于模式分类的约束半NMF神经网络（GSNnet）。GSNnet放弃了反向传播过程，采用半NMF学习卷积滤波器。这种方法极大地降低了网络复杂性。为了提高分类精度，我们还提出了图正则化约束图半NMF网络。此外，我们在应用中总是没有太多的数据来训练网络，如何能利用已知标签信息显得十分重要。为了处理上述情况，我们提出了一个标签约束的半NMF网络，它能够结合标签信息。通过实验比较了我们的方法与其他先进的图像分类任务模型。在STL-10数据集上的实验结果证明了我们方法的有效性。

如何解决图像分类问题一直是研究热点。传统的图像分类思想是先提取图像特征，然后进行分类。经典的特征提取模型，如尺度不变特征变换、Gabor特征和方向梯度直方图描述子。它们都可以成功地处理不同的分类任务，如人脸分类和对象识别。主成分分析和非负矩阵分解都是从图像中学习低维特征的有效算法。然而，手工特征提取是一项繁重的任务，手工特征不能简单地转移到新的数据集中，导致这些算法的泛化能力较弱。

近年来，深度学习已经成为图像分类中最重要的技术，尤其是卷积神经网络，因为它能有效地发现复杂的数据集结构。与传统模型不同，深度学习模型可以通过大量的训练自动学习数据的特征。因此，深度学习具有很强的适应性和泛化能力，可以部署到图像处理、自然语言处理等多种应用场景中。经典的卷积网络包括LeNet，它是由LeCun等人提出来处理手写数字数据集的。AlexNet获得了2012年大规模视觉识别挑战(ILSVRC)的冠军。值得一提的是，深度学习方法的训练是基于反向传播算法的，这可能导致计算能力和时间消耗不足的挑战。因此，结合传统机器学习算法优化深度学习模型成为新的研究热点。

布鲁纳等人提出了小波散射网络（ScatNet），并推导了一个明确的数学证明。ScatNet使用简单的小波变换来学习卷积滤波器，并且在手写数字数据集上表现良好。受ScatNet的启发，Chan等人提出了一种新的卷积网络——主成分分析网络（PACNet），该网络利用主成分分析提取卷积核。Kai等人提出了fisher PCA网络(FPCANet)，将PCA和LDA纳入深度学习模型，并与其他深度学习模型竞争。Le等人提出了一种用于图像分类的紧凑无监督网络(CUNet)。CUNet采用K-means算法作为卷积神经网络的学习方法。

1 方法

非负矩阵分解(NMF)是一种成功的特征提取算法，吸引了众多研究者的关注。丁等人提出的半非负矩阵分解可以学习数据的低维表示，并被视为软版本的K均值聚类。本文提出了一种新的深度学习基线——半NMF卷积神经网络（Semi-NMF network,SNnet），它利用半NMF来提取卷积核。该方法避免了传统CNN中提取卷积滤波器需要大量训练的缺点。在输出层，我们采用二值映射和直方图统计的方法来解决卷积运算带来的高维问题。为了提高不同训练尺度下的分类精度，我们提出了带图约束和标签约束的神经网络（GSNnet）。我们工作的贡献可以总结如下：

（1）我们将半NMF结合到卷积结构神经网络中进行图像分类。半NMF可以有效地学习卷积滤波器，显著降低计算量。

（2）我们将图正则化约束与半NMF相结合，提出了基于神经网络的神经网络。为了充分利用标签信息，提出了一种新的模型——约束半NMF(GSN)模型，该模型将标签矩阵作为附加硬约束。实验表明，我们的方法能够在经典的图像分类任务中取得良好的性能。

图1 提出的半非负矩阵分解网络结构

2 实验

在本小节中，我们在STL-10数据集上进行了实验，以测试我们的模型在彩色数据集上的能力。STL-10包含5000个训练图像和8000个测试图像，属于10个不同的类。数字卷积核设置为1=12和2=8，补丁大小设置为1=2=5。为了与其他作品进行公平的比较，我们将STL-10中的每幅图像降采样为32×32×3，跟CUNet的设置一样。我们使用支持向量机作为分类器，表1给出了不同方法在STL-10上的分类精度（%）。很明显，我们的方法可以得到最先进的结果。

表1 STL-10数据集上不同方法的精确度(%)