基于集成学习改进的卷积神经网络的手写字符识别

黎育权

摘要 文字是人类表达和交流信息的重要工具之一，如邮政物流信件或快递包裹的分拣和分流、交通系统中车牌号码的识别和卡o收费。本文通过搭建DCNN进行字符识别，能够达到平均98.3%的准确率，而传统的BP神经网络只能达到95%。随后，在DCNN基础上，加入了多种改进算法。使得神经网络对MNIST手写字符集的识别率达到99.1%。最后，又将多个神经网络进行组合，加入集成学习中的Bagging算法，最终使得神经网络对MNIST手写字符集的识别率达到99.4%。

【关键词】深度学习 机器学习 深度卷积神经网络 集成学习 手写字符识别

模式识别是人工智能和计算机视觉领域的重要分支之一，它通过处理和分析表征事物或现象的信息，对文字、声音、图像等进行辨认和分类，在自动化以及信息处理和检索等方面应用极其广泛。文字是人类表达和交流信息的重要工具之一。字符识别能够将字符高效的输入到计算机系统，因而具有重要的研究价值。

1 人工神经网络

BP神经网络是一种采用反向传播算法进行的高效训练的多层前馈神经网络，是目前应用最强大最广泛的神经网络之一。卷积神经网络（CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。一般地，CNN的基本结构至少包括两层，卷积层和池化层。

2 集成学习及Bagging算法

集成学习方法是从机器学习领域中逐渐发展起来，以用于提升弱分类算法以获得高准确率的一种技术，与单个学习器相比，够显著地提高系统的泛化能力。Bagging算法的基本思想是对训练集实施有放回的随机样本重复抽样，形成多个与训练集规模相近但各不相同的训练子集，此基础上形成多个基分类器，最终将多个分类器进行集成。

3 字符识别

3.1 数据集

论文采用MNIST手写数字字符数据集，MNIST拥有60000张不同的28*28像素的训练集图片，10000张测试集图片。数据集由来自250个不同人手写的数字构成，其中50%是高中学生，50%来自人口普查局。

3.2 搭建神经网络

搭建BP神经网络分类器，神经网络的层数为2-5层不等。并搭建卷积神经网络分类器，使用2～3个卷积层和池化层，卷积核数量为32、64、32个，以及2个全连接层，神经元数量为：1024、1个。随后使用多个搭建的神经网络进行组合预测。

3.3 识别结果

通过搭建不同结构的BP-NN和CNN，并使用不同的结构和随机种子进行训练，得到如下9中不同的BP神经网络，以及9中不同的CNN。BP神经网络的平均误差率为2.71%，识别率较高。CNN的平均误差率：0.82%，达到了99%以上，识别率相比BP神经网络更高。在卷积神经网络的基础上，加入集成学习，将9个卷积神经网络组合起来，卷积神经网络在组合之后，平均误差率下降了0.3%，达到0.39%，识别结果异常优秀。

3.4 误差结果对比

最终将BP神经网络、卷积神经网络和组合神经网络进行loss对比：

得到如图1的误差图。

从图1中可以看出，在训练初期，BP神经网络收敛的更快，但随着训练的进行，CNN的强大便体现出来了，在中后期持续高于BP神经网络。最终的集成卷积神经网络误差为0.018，低于BP神经网络和卷积神经网络。

4 结语

对于BP神经网络和卷积神经网络，由研究结果来看，BP神经网络的平均误差率为2.71%，而卷积神经网络平均误差率只有0.82%。从整体来看，加入集成学习后的神经网络能够提升明显。BP神经网络从平均2.71%误差率下降到1.69%（概率均值），卷积神经网络从平均0.82%下降到0.58%。

参考文献

[1]张超群.基于深度学习的字符识剐[D].电子科技大学，2016.

[2]刘余霞.基于机器学习的车牌字符识别算法研究[D].安徽工程大学，2013.

[3]张魁，基于遗传-BP神经网络的手写数字的识别方法[D].西安科技大学，2012.

[4]王俊杰.优化BP神经网络在手写体数字识别中的性能研究[J]，电子设计工程，2017，25 （06）：27-30.

[5]邓介一，刘黎志，谭培祥.基于神经网络的数字字符识别系统设计与实现[J]，软件导刊，2017，16 （05）： 47-50.

[6]商俊蓓，基于双向长短时记忆递归神经网络的联机手写数字公式字符识别[D].华南理工大学，2015.

[7]董峻妃，鄭伯川，杨泽静，基于卷积神经网络的车牌字符识别[J]，计算机应用，2017， 37 （07）： 2014-2018.

[8]杨建华，王鹏，一种基于BP神经网络的车牌字符识别算法[J]，软件工程师，2015，18 （01）：19-20.