训练样本数量选择对图像特征提取的影响分析

尹 静，闫 河

(重庆理工大学 计算机科学与工程学院， 重庆 400054)

训练样本数量选择对图像特征提取的影响分析

尹 静，闫 河

(重庆理工大学 计算机科学与工程学院， 重庆 400054)

图像特征提取是图像处理的重要内容之一，特征提取的质量直接影响图像分类、图像识别、图像检索等工作的效果。考虑到影响图像特征提取的因素有多种，以受限玻尔兹曼机为例，探讨训练样本数量选择对图像特征提取的影响。实验结果表明：随着样本数量的增加，具有相同参数的受限玻尔兹曼机提取的图像特征的概括性会增强。因此，当样本数量大时，增加RBM的隐层神经元个数并不总是有价值的。

图像特征提取；受限玻尔兹曼机；CD算法

1 背景

图像特征提取是图像处理过程中非常重要的环节，特征提取的质量直接影响后续工作的开展。图像特征提取方法包括Fourier变换法[1]、小波变换法[2]、最小二乘法[3]、直方图法[4]、信号处理法[5]和模型法[6]等。模型法是用模型参数作为图像特征，典型方法有卷积神经网络[6]、马尔科夫随机场[7]、受限玻尔兹曼机[8]等。其中，受限玻尔兹曼机作为特征提取器被广泛研究应用。

受限玻尔兹曼机(restricted Boltzmann machine，RBM)[9-10]是基于能量函数的无向图模型，它是一个2层随机神经网络模型，第1层由多个神经元组成，接收训练数据，通常称为可见层；第2层同样由多个神经元组成，作为训练数据的表达，通常称为隐层。可见层各神经元与隐层各神经元之间无向连接，而层内神经元之间无连接。RBM已经成功应用于机器学习的许多任务中，包括特征提取[11]、协同过滤[12]、降维[13]、物体识别[14]等。文献[8]使用卷积受限玻尔兹曼机直接从乳腺的X光片中自主学习图像特征，并利用这些特征完成X光片的分类; 文献[11]在RBM的隐层中使用线性判别分析、边界判别分析和热核边界判别分析方法提取数据的判别特征；文献[15]使用判别式受限玻尔兹曼机自动地从乳腺X光图像中学习特征，并使用学到的特征完成图像分类；文献[16]在受限玻尔兹曼机的可见层引入二值转换单元，对隐藏层神经元进行分组，构造了一个二元混合式去噪玻尔兹曼机模型，实现在复杂背景的图像中提取有用特征；文献[17]利用BP神经网络识别图像中的人脸，并实现对图像中人脸朝向的判别。目前，这些文章更多的是应用受限玻尔兹曼机提取的图像特征去解决实际问题。本文主要讨论受限玻尔兹曼机在图像特征提取时，训练样本数量的选择对特征提取的影响。实验在数字手写体和人脸两个数据集上开展，主要从固定隐层神经元个数选择不同数量的训练样本的特征提取和固定数量的训练样本设置不同隐层神经元个数的特征提取两个方向进行。实验结果表明：样本数量越小，模型学到的特征越具体；样本数量越大，模型学到的特征越抽象。

2 受限玻尔兹曼机概述

2.1 模型简介

受限玻尔兹曼机可以看作是一个2层的随机神经网络模型，第1层是由m个神经元组成用以表示输入数据v，通常称为可见层；第2层是由n个神经元组成用以表示数据的表达h，通常称为隐层。其网络结构如图1所示。可见层与隐层之间的全连接权重用W表示，每层各神经元之间没有连接。

图1 RBM模型

为了表述简洁，这里仅考虑当模型采用二值单元的情况，也可以采用高斯单元、多项式单元、可矫正线性单元等[18]。二值RBM能量函数为

(1)

其中：θ是实数型参数bi、cj和wij的集合；vi、hj∈{0,1}，i∈{1,2,…,m}，j∈{1,2,…,n}。wij是神经元vi和hj之间的连接权重，bi是第i个可见单元的偏置，cj是第j个隐单元的偏置。根据该能量函数，RBM的联合概率分布有如下形式：

(2)

(3)

(4)

(5)

式(5)中的第1项较易计算，但第2项计算由于配分函数Z(θ)的存在，该项梯度计算复杂度较高。为了降低计算复杂度，目前有很多算法对梯度进行近似计算，例如：CD算法[19]、PCD算法[20]、PT算法[21]等。这里采用CD算法完成RBM的训练。

2.2 模型训练

RBM采用CD-k算法对模型进行训练，CD-k的执行过程：算法采用训练数据作为马尔科夫链的初始状态，计算式(3)，在该概率分布下采样得到h；根据h的值，计算式(4)，在这个概率分布下采样得到v′；再次计算式(3)，采样得到h′，以此类推，不断计算概率，并在此概率分布下采样，这样交替执行k步。当步数k足够大时，就可以采样得到满足训练数据分布的样本。通常情况下，k=1就可以得到足够好的近似[19]。

因此，采用CD-1算法进行训练，这样关于模型参数的梯度有：

(6)

(7)

(8)

利用梯度对模型参数进行更新，直到梯度不再变化或者达到指定训练次数，结束RBM的训练，获得数据特征。RBM模型的训练步骤见图2。

图2 RBM训练流程

3 RBM图像特征提取

为了分析训练样本数量选择对图像特征提取的影响，在数字手写体和人脸2个数据集上进行验证实验。实验从两方面进行：1) 模型隐层神经元个数固定，分析不同训练样本数量对特征提取的影响；2) 训练样本数量固定，分析不同隐层神经元个数对特征提取的影响。

3.1 数字手写体特征提取

手写体数据集MNIST是手写0～9的数字图片组成黑底白字的标准数据集，共 60 000 条数据。首先固定模型隐层神经元个数，选择MNIST中不同数量的训练数据对RBM进行训练，数量分别设置为100、1 000、5 000、10 000和 60 000条，数量大的训练数据集包含了数量小的数据集。在模型训练时，固定训练次数为100，学习率设置为0.1，模型权重初始化为[-0.1,0.1]的随机数，可见层和隐层偏置初始化为0。图3显示了隐层神经元个数为100的RBM所提取的数字手写体特征。图4显示了隐层神经元个数为1 024的RBM所提取的数字手写体特征。由于参数过多，这里仅截取了部分特征用于显示。图3、4中的(a)是100条训练数据学习后的特征；(b)是1 000条训练数据学习后的特征；(c)是5 000条训练数据学习后的特征；(d)是10 000条训练数据学习后的特征；(e)是60 000条训练数据学习后的特征。然后，固定训练数据的数量，设置不同隐层神经元个数对RBM进行训练，隐层神经元个数分别为100，256，512，1 024和1 600。参数设置与前面实验设置相同。图5显示了10 000条训练数据时，不同隐层神经元个数的设置下RBM所提取的数字手写体部分特征。其中：(a)是隐层神经元个数为100的RBM学到的特征；(b)是隐层神经元个数为256的RBM学到的部分特征；(c)是隐层神经元个数为512的RBM学到的部分特征；(d)是隐层神经元个数为1 024的RBM学到的部分特征；(e)是隐层神经元个数为1 600的RBM学到的部分特征。从图3、4来看，在相同隐层神经元个数的前提下，RBM从100条训练数据中学习到的数据特征比60 000条训练数据时学习到的数据特征更具体。随着训练数据数量的不断增加，RBM学习到了训练数据的全局特征，从而提取到更抽象的特征。当隐层神经元个数较多时，这些特征会集中在部分权重中，图4、5显示的数据特征就说明了这一点。虽然隐层的神经元数量增加可以表达更多的数据，但模型会对学习的数据不断抽象，从而融合训练数据之间的共同特征，得到抽象特征。因此，图4(c)～(e)和图5(b)～(e)中有的权重是没有作用的。

图3 隐层神经元个数为100的RBM在不同数量的训练集中提取的特征

图4 隐层神经元个数为1 024的RBM在不同数量的训练集中提取的部分特征

图5 不同隐层神经元个数的RBM在10 000条训练集中提取的部分特征

3.2人脸特征提取

图6 隐层神经元个数为256的RBM在不同数量的训练集中提取的人脸特征

4 结束语

受限玻尔兹曼机在图像特征提取方面应用效果较好。作为特征提取器，RBM提取图像特征的质量与隐层神经元个数、模型参数的初始化、学习率、训练模型的样本数量等有关。其中，训练样本数量的选择不仅影响RBM隐层神经元个数的设置，同时影响RBM提取的特征。实验结果表明：相同个数的隐层神经元，随着样本数量的增加，模型提取的图像特征将越概括；相同数量的训练样本，随着神经元个数的增加，提取的图像特征不会因为参数数量的增加而有更好的质量，因此增加隐层神经元个数对于特征提取不总是有价值的。下一步研究将继续分析其他因素对RBM提取图像特征的影响，以便更好地设置RBM的参数，提高图像特征的质量。

[1] 徐贵力，毛罕平.利用傅里叶变换提取图像纹理特征新方法[J].光电工程，2004，31(11)：55-58.

[2] 李亚标，王宝光，李温温.基于小波变换的图像纹理特征提取方法及其应用[J].传感技术学报，2009，22(9)：1308-1311.

[3] 赵鑫，宋广军，张宏烈.遥感图像特征提取算法仿真[J].计算机仿真,2013，30(6)：222-225.

[4] 傅明，万励，刘国英.一种新的图像特征提取算法——DCDSH[J].仪器仪表学报,2004,25(z1)：538-539.

[5] 张建勋,李涛,孙权,等.猪眼肌B超图像纹理特征提取与分类[J].重庆理工大学学报(自然科学),2013,27(2):74-78.

[6] 李钦,游雄,李科,等.图像深度层次特征提取算法[J].模式识别与人工智能,2017,30(2)：127-136.

[7] 岑杰,赵杰煜.基于马尔可夫随机场的嘴唇特征提取方法[J].计算机应用研究,2007,24(7)：300-302.

[8] 张娟,蒋芸,胡学伟,等.基于卷积受限玻尔兹曼机的医学图像分类新方法[J].计算机工程与科学,2017,39(2)：323-329.

[9] SMOLENSKY P.Information processing in dynamical systems:foundations of harmony theory[M].Cambridge:MIT Press,1986:194-281.

[10] HINTON G E,OSINDERO S,TEH Y W.A fast learning algorithm for deep belief nets[J].Neural Computation,2006,18(7):1527-1554.

[11] XIE G S,ZHANG X Y,ZHANG Y M,et al.Integrating supervised subspace criteria with restricted Boltzmann Machine for feature extraction[C]//International Joint Conference on Neural Networks.Beijing,China,2014:1622-1629.

[12] SALAKHUTDINOV R,MNIH A,HINTON G.Restricted Boltzmann machines for collaborative filtering[C] //Proceedings of the Twenty-Fourth International Conference on Machine Learning.USA:[s.n.],2007:791-798.

[13] ZHANG K,LIU J,CHAI Y,et al.An optimized dimensionality reduction model for high-dimensional data based on Restricted Boltzmann Machines[C]//Chinese Control & Decision Conference.China:[s.n.],2015:2939-2944.

[14] WU Y,JI Q.Learning the Face Shape Models for Facial Landmark Detection in the Wild[M]//Germany: Springer International Publishing,2015:33-45.

[15] 陈娜,蒋芸,邹丽,等.基于判别式受限玻尔兹曼机的医学图像分类法[J].计算机科学，2015，42(5)：315-319.

[16] 杨杰,孙亚东,张良俊,等.基于弱监督学习的去噪受限玻尔兹曼机特征提取算法[J].电子学报,2014,42(12)：2365-2370.

[17] 张彤,卢雯雯,肖南峰.基于BP网络的人脸朝向识别方法[J].重庆理工大学学报(自然科学),2010(6):61-65.

[18] HINTON G E.A Practical Guide to Training Restricted Boltzmann Machines[J].Momentum,2010,9(1):599-619.

[19] HINTON G E.Training products of experts by minimizing contrastive divergence[J].Neural Computation，2002，14(8):1771-1800.

[20] TIELEMAN T.Training restricted Boltzmann machines using approximations to the likelihood gradient[C]//International Conference on Machine Learning.USA:ACM,2008:1064-1071.

[21] CHO K H，RAIKO T，ILIN A.Parallel tempering is efficient for learning restricted Boltzmann machines[C]//International Joint Conference on Neural Networks.USA:IEEE,2010:1-8.

(责任编辑杨黎丽)

InfluenceoftheNumberofTrainingSampleonImageFeatureExtraction

YIN Jing, YAN He

(College of Computer Science and Technology, Chongqing University of Technology, Chongqing 400054, China)

Image feature extraction is one of the important contents of image processing. The quality of feature extraction directly affects the effect of image classification, image recognition and image retrieval. There are many factors that affect image feature extraction. The restricted Boltzmann machine is took as an example to discuss the influence of the number of training samples on image feature extraction. The experimental results show that the generality of the image features extracted by the restricted Boltzmann machine with the same parameters will be enhanced as the number of samples increases. Therefore, when the number of samples is large, increasing the number of hidden layer neurons in RBM is not always valuable.

image feature extraction; restricted Boltzmann machine; CD algorithm

2017-03-26

国家自然科学基金资助项目(61173184)

尹静(1980—),女,重庆人,讲师, 主要从事机器学习、深度学习、神经网络等方面研究，E-mail:yinjing@cqut.edu.cn；闫河(1972—)，男，陕西勉县人，教授，主要从事多尺度几何分析、目标跟踪、模式识别、人工智能等方面研究，E-mail:cqyanhe@163.com。

尹静，闫河.训练样本数量选择对图像特征提取的影响分析[J].重庆理工大学学报(自然科学)，2017(10):192-197.

formatYIN Jing, YAN He.Influence of the Number of Training Sample on Image Feature Extraction[J].Journal of Chongqing University of Technology(Natural Science)，2017(10):192-197.

10.3969/j.issn.1674-8425(z).2017.10.031

TP181

A

1674-8425(2017)10-0192-06