改进的BP网络算法在图像识别中的应用

姚慧娟，栾晓明

(哈尔滨工程大学信息与通信工程学院，黑龙江哈尔滨 150001)

传统的 BP神经网络算法是基于梯度下降的原理，在应用中存在收敛速度慢、易陷入局部极小值等缺点。图像识别过程中对图像的各种转换和变换的数据量庞大，这使得在实际应用中，BP算法难以胜任。针对上述问题，采用增加动量法和自适应学习率相结合的改进算法，能够有效地改善网络收敛速度和抑制局部极小值的出现。

1 BP神经网络结构及改进算法

BP神经网络是一种多层前向网络，由输入层、输出层、隐含层构成[1]，一种标准的 3层 BP神经网络模型，如图 1所示。BP网络模型是多层的网络学习模型，当给网络一个输入模式时，神经元的激活值从输入层经各隐含间层向输出层传播，由输出层单元处理后产生一个输出模式，以此作为网络的输入响应。按减少期望输出与实际误差的方向，逐层修正输出层经各隐含间的连接权值，最后回到输入层。通过不断地在误差函数的负梯度方向上计算网络权值和误差变化，从而逐渐逼近期望的模式输出，每一次权值和误差的变化都与网络误差的响应成正比。

图1 标准 3层BP神经网络结构

1.1 增加动量法

标准 BP算法是在修正权值时只按当前时刻负梯度方向进行修正，而没有考虑到前一时刻梯度方向的变化，常使学习过程发生振荡，网络收敛速度缓慢，它只是一种简单的最速下降静态寻优算法[2]。而增加动量项后相当于加了一个低通滤波器，它的作用是略过网络可能陷入的局部极小值病记忆前一时刻的连接权值，可用式(1)表示。

其中，η为学习率；0＜η＜1，α为动量因子；δpj为样本的训练误差；Opj为节点的输出；wji(t)为第 t次学习后的权值，wji(t+1)为第 t+1次学习后的权值。这样加入动量项后，可使学习率的取值足够大，减少了学习过程中产生的振荡现象，从而改善网络的收敛性[3]。

1.2 自适应学习率法

学习率控制着权值空间中权值对应每步沿梯度方向变化的大小。当学习率较大时，学习速度较快，但误差不能总是小于某个特别小的值，这时就产生了振荡。当学习率较小时，学习速度较慢，但比较平稳，这时可以在网络训练的过程中自动调节学习率[4]。调节学习速率的准则是:检查权值的修正值，如果误差函数降低了，说明所选的学习率的值小了，应对其增大一个量，若误差函数没有降低，则产生了过调，应减小学习率的值。文中采用增加动量与自适应学习率相结合的改进算法，如式(2)所示

这样该算法既引入动量项改善了收敛性，又使得学习率在迭代过程中自适应进行调整，这对于不同的连接权系数采用不同的学习率，使得误差代价函数 E在超曲面上的不同方向按照各自较合理的步长向极小点逼近[4]。这种算法结合了增加动量法和自适应学习率法的优点，有效地提高 BP算法的识别精度和训练速度[5]。

2 改进的 BP算法的图像识别步骤

BP神经网络图像识别系统一般由图像预处理，图像特征提取，神经网络分类器 3部分组成。在进行图像特征提取和识别前，需要进行图像预处理，使预处理后的图像更适合后期操作。图像预处理是对图像操作的第一步并且图像预处理的质量对图像特征提取和图象识别过程都有非常重要的影响。图像特征提取是进一步把分割的图像表示为一组特征向量，如图 2所示。

图2 BP神经网络应用流程

(1)为改善图像的模糊程度并保留图像的边缘信息，对图像采用中值滤波，滤除噪声。

(2)用阈值分割算法对图像进行二值化处理，进而分离出带识别的目标。

(3)提取处理后的图像的不变矩特征组成特征向量，作为训练样本。

(4)对特征提取后的向量进行标准化处理后作为BP神经网络的输入，对网络进行训练。

(5)用训练样本和测试样本的标准化特征向量进行 BP网络的训练和识别[6]。

3 图像识别的结果

由于特征提取后的特征向量维数为 7，所以 BP网络的输入层神经元个数为 7，输出层神经元个数为4，隐含层神经元数目的选择是依据经验和猜测而定。在实际训练中，如果训练过程不理想，可以适当增加隐层神经元数目，这里选择隐含层神经元个数为10[6]。训练的目标误差为 0.001，动量因子为 0.8，初始自适应学习率为 0.01，学习率降低的比率为0.9，增加的比率为 1.2。

图3 样本图像

取训练集不变矩标准化的特征矢量对 BP神经网络进行训练。训练结束后，用测试集不变矩标准化的特征矢量作为神经网络的输入，对神经网络进行测试。

由图 3和图 4比较可以看出，在相同迭代次数的时候改进的 BP网络算法的均方误差要比传统的 BP网络算法低一个数量级，如表 1所示。

表1 改进算法与传统算法识别率和识别时间的比较

改进后的BP神经网络进行图像模式识别与传统 BP网络的模式识别方法相比，具有较强的抗干扰能力，且网络训练的速度快。这表明改进的 BP网络算法使其对算法收敛速度慢，容易陷入局部极小值的问题显示出极大的优越性。

4 结束语

实验结果证明改进的 BP网络能够有效地避免局部极小值，提高网络的识别效果。动量法有效地抑制了网络陷于局部极小值，降低了网络的误差，提高了图像识别的精度。自适应学习率在学习训练过程中学习率可以自适应改变，提高了搜索克服局部极小、快速稳定收敛的能力，有效地缩短了训练时间。改进的BP网络算法是比较实用和有效的图像识别方法。

[1]张海波，董槐林，龙飞，等.基于BP神经网络的图像识别研究[J].计算机与现代化，2008，5(3):17-19.

[2]陈强.基于组合矩和神经网络的图像识别技术研究[D].南京:南京理工大学，2007.

[3]范立南，韩晓微，张广渊.图像处理与模式识别[M].北京:科学出版社，2007.

[4]孙红辉，姚良，张清华，等.基于神经网络的图像识别方法研究[J].光学技术，2008，34(增刊):173-174.

[5]David Sanchez V A.Advanced Support Vector Machines and Kernel Methods[J].Neurocomputing， 2003，55(9):5-20.

[6]张科，罗华，王秀琴.基于不变矩和神经网络的目标识别方法[J].火力与指挥控制，2009，34(3):16-18.