PNN在手写体数字识别中的应用

幸坚炬，李军，谢赞福

（广东技术师范学院计算机科学学院，广州510665）

PNN在手写体数字识别中的应用

幸坚炬，李军，谢赞福

（广东技术师范学院计算机科学学院，广州510665）

税务、金融等经济领域的手写体数字信息通过计算机进行自动识别处理，可以节省人力、物力和财力，具有较高的实用价值。介绍概率神经网络的基本原理，并将概率神经网络应用于手写体数字识别中，在一定的训练样本和网络扩散速度情况下，实现基于概率神经网络的手写体数字识别。通过MATLAB对MNIST手写体数据库数据进行仿真实验验证，结果表明概率神经网络在手写体数字识别中能够取得较高的识别率，使用的算法可行有效。

概率神经网络；手写体数字识别；贝叶斯决策理论；图像识别

0　引言

光学字符识别技术（Optical Character Recognition，OCR）中的手写体数字识别技术，其主要识别0-9共10个字符，分类的类别比光学字符识别少得多［1］。近年来，伴随着计算机技术和模式识技术的不断发展，手写体数字识别在邮政编码识别、财务金额识别、税表识别、电子商务数字处理、甚至是学生成绩单识别等方面得到了广泛应用［2］。尽管模式识别技术不断发展，各种各样的分类器不断出现，但目前依然没有一种算法能够达到完美的效果。

具有强大的自学能力、自适应性、分类能力、容错能力和快速识别等特点的人工神经网络备受人们的关注，并且在字符识别中得到了广泛应用［3］。本文将概率神经网络（Probabilistic Neural Networks，PNN）［4］应用于手写体数字识别中，并使用MNIST数据库进行了实验验证。实验结果表明，基于概率神经网络的手写体数字识别得到了较好的识别率。

1　概率神经网络（PNN）的基本原理

D.F.Specht博士在1989年提出了一种概率神经网络。这种概率神经网络的结构简单，算法设计比较容易，可以用线性的学习算法实现非线性学习算法的功能，广泛应用于模式分类的问题中［5］。

1.1贝叶斯分类器

概率神经网络以贝叶斯决策理论为基础。贝叶斯分类器的基本原理就是根据某对象的先验概率，在有先验概率的情况下，根据贝叶斯的计算公式可以得到其后验概率，即该对象属于哪一类，最后选择后验概率最大的类作为该对象所属的类［6-7］。

这里我们把问题简化为两个类别（A1和A2）问题，对于A1和A2它们的先验概率分别为h1和h2，并且满足h1+h2=1。在一个向量需要分类时，我们先计算向量的后验概率，进行分类的依据是哪个类别的后验概率大就将向量分到其中。假定x为输入向量，p（A1|x）为x发生情况下A1的后验概率，我们根据贝叶斯公式可以得出A1的后验概率为：

但是在实际应用中会存在损失与风险问题，有可能将应该属于A1的样本错误的分到了A2中，或者是将A2中的样本错误的分到了A1中，因此所造成的损失往往相差很大，因此需要对分类的规则进行调整。

将向量指派到A1的动作我们假设为动作α1，输入向量属于A2时却采取动作α1所造成的损失定义为λ，则执行动作α1我们就把它叫做期望风险，期望风险用R表示。那么这时的判定规则就变成：当类别A1的期望风险大于A2的后验概率时，将向量分类到类别A1中。调整后的规则变成：

1.2概率神经网络的结构

概率神经网络［8-9］四层结构分别为输入层、隐含层、求和层和输出层。第一层接收训练样本的值，神经元个数与向量的长度相等。第二层隐含层接收输入层传过来的数据，神经元的节点个数与训练样本数相同，并且所有的节点都有一个中心点。在第三层求和层对同类别的隐含层的输出做加权平均，一个神经元与一个相应的类别对应。最后一层是输出层，对阈值进行判断，把最大的后验概率的神经元输出为1，其他的输出为0。概率神经网络结构如图1所示。

图1　PNN网络的结构

2　手写体数字识别系统的实现

在实际应用时，手写体数字一般是以图像的形式提供的。原始图像通过输入设备（如光电扫描仪、电子传真机等）获取图像信息，获得图像后不能直接用于识别，需要进行预处理、字符分割、特征提取、选择分类器等过程后，才开始进行手写体数字识别［10］。如图2手写体数字识别的完整过程。

2.1图像预处理

与大多数的图像处理算法类似，数字识别的第一步是对图像进行预处理。由于不同的输入设备扫描得到的数字图像通常情况下质量不同，往往包含了各种各样的噪声，为了防止对后期的识别过程造成干扰，首先需要对图像进行去噪、滤波等处理。此外，在数字识别中使用的是二值图像。所以如果输入的是灰度图像，需要先对图像进行二值化的过程，再做预处理。如果输入的是彩色图像，则需要先进行灰度化。

由于预处理是为了提高后期的识别率，所以在整个手写体数字识别中，对图像进行预处理的重要性是不言而喻的。预处理的效果好，就可以提高手写体数字的识别率和识别速度。反之，在后期的识别中将会出现许多的不良后果，如错误识别、拒绝识别等［11］。

本文没有完成图2中的完整流程，而是直接加载MNIST数据库进行实验。

图2　手写体数字识别流程

2.2特征提取算法

特征提取［12］在手写体数字识别的过程中很重要，提取特征有很多不同的方法，它对分类效果产生很大的影响。提取特征好将可以提高识别率。常用的手写体数字特征有：结构特征和统计特征。结构特征在相似字区分方面具有较高的识别率。虽然结构特征反映了数字的几何结构，体现了数字结构的本质特征，但是容易受到外在因素的干扰。统计特征以二值或者灰度值点阵图为基础，经过傅立叶描述子、小波变换等数学变换对数字图像点阵进行提取特征。

为了取得良好的识别效果，本文特征提取采取了结构特征与统计特征相结合的方式，共抽取了14维特征。其中结构特征8个，统计特征6个。构成一个长度为14的特征向量，用该特征向量代表了每一幅数字图像［13］。

2.3手写体数字识别的实现

不同的分类器有不用的特点。朴素贝叶斯分类器是各分量统计独立时的最佳分类器；支持向量机是性能优异、发展很快的一种分类器；人工神经网络，具有很强的并行性和自适应能力，具有实现任意非线性映射的能力。本实验采用概率神经网络作为分类器，具有分类准确，速度快的优点［14］。图3为实验中构建的概率神经网络结构图。

图3　实验中的概率神经网络图

网络输入层神经元节点数与输出向量维度相同，包含了14个神经元。由于使用的训练样本个数是35000，所以在径向基层中有35000个神经元节点。第三层为隐含层，神经元节点个数为分类的类别数，因此等于10。分类类别决定了输出层只包含一个神经元。使用newpnn函数创建的网络，输出的类别是以向量的形式给出，例如输出类别是第四类，则向量的表示形式为［0，0，0，1，0，0，0，0，0，0］T。

概率神经网络有多少个训练样本就有多少个径向基神经元。每一次输入新的样本的时候都需要求出它在这个神经元所在样本的概率。之后输出到隐含层中。得到所对应样本的概率。最后根据最大的概率判断输出。

3　实验结果及分析

实验中使用包含了60000个训练样本和10000个测试样本的MNIST数据库［15］。从训练库中抽取35000张样本输入到网络进行训练，然后对测试库中的10000张样本进行测试实验。在表1中我们可以发现，在样本数保持不变的情况下，不同网络扩散速度的识别效果也有所不同。

由表1可以看出，当网络扩散速度选择0.15时，识别率是最好的。在另外一组实验中，当网络扩散速度（0.15）确定时，输入的样本数比较少，训练效果不理想，识别率也不高。不断地增加训练样本的数量进行不同的实验，发现样本的增加与识别率成正比，如表2所示。所以，建立强大的样本库在整个识别过程中的地位是不言而喻的。在实际运用中采用更多的训练样本，识别率将会更高。

表1　概率神经网络网络扩散速度不同时的识别结果

表2　概率神经网络训练样本个数不同时的训练结果

4　结语

本文在对概率神经网络进行深入分析的基础上，探索了概率神经网络用于手写体数字识别的可行性和有效性。最后，通过MNIST手写体数字库进行实验，结果表明，基于概率神经网络的手写体数字识别方法基本能够实现对手写体数字的准确、快速识别，并且具有良好的抗干扰能力。进一步改进已有算法，在样本数一定时，可以获得更高的识别率和更快的识别速度。

［1］杨淑莹，等.图像识别与项目实践［M］.北京：电子工业出版社，2015：70-80.

［2］Basu S，Das N，Sarkar R，et al.Recognition of Numeric Postal Codes from Multi-script Postal Address Blocks［C］.InternationalConference on Pattern Recognition and Machine Intelligence.Springer-Verlag，2009：381-386.

［3］Impedovo S，Pirlo G，Modugno R，et al.Zoning Methods for Hand-Written Character Recognition：An Overview［C］.International Conference on Frontiers in Handwriting Recognition.IEEE Computer Society，2010：329-334.

［4］葛哲学，孙志强.神经网络理论与MATLAB R2007实现［M］.北京：电子工业出版社，2007.

［5］黄锋.基于径向基函数神经网络的图像研究识别［D］.山西：太原理工大学，2007：54-59.

［6］孙万录.倾斜车牌定位与识别算法的研究［D］.哈尔滨：哈尔滨理工大学，2013：13-18.

［7］王华青.基于局部几何保持的人脸图像姿态估计［D］.西安：西安电子科技大学，2013：2-20.

［8］U.Guclu，Marcel A J，Van Gerven.Deep Neural Networks Reveal a Gradient in the Complexity of Neural Representations Across the Ventral Stream［J］.Journal of Neuroscience the Official Journal of the Society for Neuroscience，2015，35（27）：10005-10014.

［9］B.Zhou，A.Lapedriza，J.Xiao，A.Torralba，and A.Oliva.Learning Deep Features for Scene Recognition using Places Database.Advances in Neural Information Processing Systems 27（NIPS2014）.

［10］李三平，岳振军.基于概率神经网络的手写体数字识别系统的MATLAB实现［J］.军事通讯技术，2005，26（1）：54-57.

［11］王亚坤，曾德良，李向菊.一种新颖的数字识别算法［J］.电力科学与工程，2009，25（1）：76-78.

［12］N.Das，S.Basu，R.Sarkar，M.Kundu，M.Nasipuri，D.kumar Basu.An Improved Feature Descriptor for Recognition of Handwritten Bangla Alphabet，”Jan，2015.

［13］苏玉彬，潘保昌.基于神经网络的手写体字符识别技术研究［D］.广州：汕头大学，2003.

［14］卜富清，王茂芝，于庆刚.基于BP神经网络的数字识别［J］.长江大学学报（自然科学版），2009，6（2）：293-294.

［15］李琼，陈利，王维虎.基于SVM的手写体数字快速识别方法研究［J］.计算机技术与发展，2014，24（2）：205-208.

Application of PNN in Handwritten Digits Recognition

XING Jian-ju，LI Jun，XIE Zan-fu
（Institute of Computer Sciences，Guangdong Polytechnic Normal University，Guangzhou510665）

Handwritten numeral recognition deals with the information of taxation，finance and other fields through computer or other machines for processing，makes it possible to save manpower and financial resources，with higher practical value.Although the type of identification number is not much，the required accuracy is very strict.Introduces the basic principle of probabilistic neural network，applies probabilistic neural network to handwritten digit recognition to select the best network diffusion speed and the number of training samples，and realizes the digital identification based on probabilistic neural network.MNIST handwritten database through MATLAB simulation experiment，the results show that the algorithm has high recognition rate，which is feasible and effective.

Handwritten Digit Recognition；Probabilistic Neural Networks；Bayesian Decision Theory；Image Recognition

1007-1423（2016）23-0020-04DOI：10.3969/j.issn.1007-1423.2016.23.005

幸坚炬（1989-），男，广东兴宁人，研究生，研究方向为图像识别

李军（1964-），女，浙江临海人，教授，硕士，研究方向为移动互联网、图像识别、人工智能等，Email：janet-li@163.com

谢赞福（1956-），男，海南儋州人，教授，本科，研究方向为图像识别、人工智能

2016-05-10

2016-08-05

广东省科技计划工业高新技术领域攻关项目（No.2013B010401032）