张 力, 宋 伟
(昆明理工大学 信息工程与自动化学院,云南 昆明 650500)
基于链式竞争策略的图像识别研究
张 力, 宋 伟
(昆明理工大学信息工程与自动化学院,云南昆明650500)
针对反向传播神经网络(BP-NN)在图像识别运算过程中容易陷入局部极小值的问题,提出了在常规的遗传算法(GA)中引入3个邻域的链式竞争,进行特征选择的图像识别方法。仿真结果表明:将引入链式竞争策略的遗传算法应用到反向传播神经网络中,可以使图像更清晰,提高了图像识别的容错性及效果。
反向传播神经网络; 图像识别; 遗传算法; 链式竞争; 容错性
在图像处理过程中,需要经过部分预处理操作,受到一些不利因素的影响,预处理结果仍然包含一定的噪音[1]。许多国内外学者提出了一些新的特征提取算法以及多种神经网络模型以便于提高识别率。目前,中值滤波、均值滤波和小波变换[2~4]等方法是比较常用的图像处理方法。其中,小波变换对高斯噪声有较强的去噪能力,但对脉冲噪声的去噪能力不佳。近年来,随着反向传播神经网络(back propagation neural network,BP-NN)的使用越来越广泛,通过模仿人脑结构及其功能,使其具有非线性映射、联想记忆、分类、识别等功能[5],能够在图像处理中去除各种类型噪声。针对BP-NN容易陷入局部极小值,本文采用遗传算法优化BP-NN训练初始权值阈值,解决了该问题,提高了图像识别的容错性,同时在遗传算法中引入了3个邻域的链式竞争[6],进行特征选择,使图像处理效果更清晰、边缘更明显。
1.1 BP-NN基本原理
BP-NN是一种按误差逆传播算法训练的多层前馈网络[7]。学习过程中,分为信号的正向传播和误差的反向传播。典型的3层BP-NN拓扑结构如图1所示。
图1 3层BP-NN拓扑结构
1.1.1 正向传播过程
图1中输入层有m个节点,隐含层有h个节点,输出层有n个节点。隐含层节点的输出函数为
ci=f(WX+bj)
(1)
式中ci为隐含层第i个节点的输出值,i=1,2,...,h;f为激励函数;W为输入层到隐含层的权值;X为隐含层节点的输入向量;bj为隐含层第j个节点的阈值,j=1,2,...,h。
输出层节点的输出函数为
yk=f(VC+θz)
(2)
式中yk为输出层第k个节点的输出值,k=1,2,...,n;f为激励函数;V为隐含层到输出层的权值;C为输出层节点的输入向量;θz为输出层第z个节点的阈值,z=1,2,...,n。
1.1.2 BP过程
定义学习误差函数
(3)
式中EP为第p个样本的误差;dpk为第p个样本下的第k个节点目标输出值;ypk为第p个样本下的第k个节点实际输出值。
若正向传播计算的实际输出与目标的输出之间存在误差,则将误差信号反向传播,调整权值和阈值,直到输出满足要求,使误差函数值达到最小。
1.2 BP-NN在图像识别中的应用
BP-NN实现从输入到输出的映射,数学理论已经证明,它具有实现任何复杂的非线性映射功能,不需要建立模型,了解其内部流程,只需输入获得输出。因此,BP-NN比较广泛地应用在图像识别中[8]。
将含有混合噪声的图像Y(x,y)每一个像素点作为BP-NN的每一个输入Yi(x,y),输出值Xi(x,y)为该像素点的去噪结果,重组Xi(x,y)即可得到X(x,y)。若期望输出为D(x,y),则进入BP-NN的BP过程,不断调整网络中的权值和阈值,直到误差减少到可以接受的程度,或者达到设定的学习次数为止。
BP-NN是一种局部寻优的算法,网络训练样本时可能会面临局部极小化的问题,造成网络训练失败,影响网络的收敛速度,容错能力等。
本文采用链式竞争策略的遗传算法[9](genetic algorithm,GA)优化BP-NN的初始权值阈值,然后利用网络的训练算法在该局部解空间内寻找最优权值阈值。
1)初始化BP-NN,确定网络的结构和学习规则以及GA中染色体长度(隐含层和输出层的权值和阈值的个数)。
2)初始化GA中的参数(包括迭代次数、种群规模、交叉和变异概率的选择等)以及种群,选择GA所需要的适应度函数。
3)采用轮盘赌法选择若干满足适应度函数要求的染色体组成新种群作为父本。
4)通过GA中的交叉、变异对父本进行处理,产生新一代种群。
5)计算种群中每个个体的适应值,引入3个邻域的链式竞争,对个体的适应值进行3个邻域比较,进行特征选择,产生新的种群。
6)重复步骤(3)~(5),使染色体不断变化,直到进化代数完成,记录每一代进化中最好的适应度值。
7)找出最佳适应度值对应的个体解码为BP-NN的初始权值阈值。
步骤(5)为本文引入的链式竞争策略,对个体的适应值进行3个邻域比较,特征选择。当扫描到第一个个体时,其前一个个体为最后一个个体,其下一个个体为第二个个体。同理,当扫描最后一个个体时,其前一个个体为倒数第二个个体,其下一个个体为第一个个体。将相邻的3个个体的适应值存放于邻域寄存器中,找出相邻3个个体中的最优的适应值以及对应的个体,如果最优适应值对应的个体为当前扫描的个体,则当前个体不变,否则,将此最优适应值对应的个体与当前扫描的个体比较,相同位不变,不同位则随机生成0~1之间的随机数。
对于算法的编码方案,即网络初始权值阈值和染色体之间的相互映射的关系,文中采用实数编码,并且GA适应度函数的选取是关键。文中主要以GA来优化BP-NN,找出最佳的染色体使BP-NN的误差平方和最小,所以GA的适应度函数可以选取为BP-NN误差平方和,即
(4)
3.1 仿真过程
为了验证本文方法的有效性,分别使用BP-NN和基于链式竞争策略的遗传优化BP-NN对图像进行处理。然后,通过图像处理的结果对比2种方法。
首先将图像进行处理,使用不同的高斯噪声、脉冲噪声和随机噪声等加入原始图像,生成训练样本和测试样本。本文神经网络采用了典型的3层拓扑结构,根据训练样本确定网络的输入层节点数和输出层节点数,隐含层神经元数目为输入层神经元数目的2倍[10],2种方法的BP-NN参数相同,参数设置:种群规模为60,遗传代数为100,交叉概率为0.3,变异概率为0.1。
将训练样本分别送入BP-NN和基于链式竞争策略的遗传优化BP-NN中进行训练,训练结束后,选取一个随机测试样本对2种方法进行测试,各种方法的降噪效果如图2和图3所示。
3.2 仿真结果分析
由图2和图3可以看出:将混合噪声加入原始图像中,原始图像有一定程度的失真,从图2可以看出:将训练好的BP-NN中加入测试样本,失真的图像得到明显的改善,但图像中仍含有一定的噪声。从图3可以看出:将测试的样本送入训练好的由链式竞争策略的遗传优化BP-NN中,混合噪声以及一些未知的噪声已经很好地被去除。
图2 采用BP-NN降噪
图3 采用链式竞争策略的遗传优化BP-NN降噪
通过仿真对比结果可以看出:本文提出的在链式竞争策略的GA优化BP-NN的初始权值阈值可以有效提高图像识别效果,提高了图像识别中的容错性,不需要对噪声进行分类处理,降低图像识别过程的复杂性,同时避免了单纯的
BP-NN容易陷入局部极小值的不足,发挥了GA和BP-NN两者各自的优势,有效地提升了图像识别的性能。下一步的工作重点为缩短文中方法网络训练过程的时间的研究。
[1] 王耀南,李树涛,毛建旭.计算机图像处理与识别技术[M].北京:高等教育出版社,2007.
[2] 颜 兵,王金鹤,赵 静.基于均值滤波和小波变换的图像去噪技术研究[J].计算机技术与发展,2011,21(2):51-53.
[3] 滕 军,朱焰煌,周 峰,等.自适应分解层数的小波域中值滤波振动信号降噪法[J].振动与冲击,2009,28(12):58-62.
[4] 张振宇,黄崇林,谭恒松.基于小波变换的图像识别算法[J].计算机应用,2007(27):97-99.
[5] 郭阳明,冉从宝,姬昕禹.基于组合优化BP神经网络的模拟电路故障诊断[J].西北工业大学学报,2013,31(1):44-48.
[6] 曾孝平,李勇明,王 靖,等.基于竞争策略的链式智能体遗传算法用于特征选择的研究[J].系统仿真学报,2008,20(8):1973-1979.
[7] 林 琳,张志华,张睿欣.基于遗传算法优化神经网络的产品造型设计评价[J].计算机工程与设计,2015,36(3):789-792,813.
[8] 张 华,张 淼,刘 魏,等.基于BP神经网络的图像形状识别[J].计算机科学,2006,33(1):268-271.
[9] McCall J.Genetic algorithms for modelling and optimisation[J].Journal of Computational and Applied Mathematics,2009,184:205-222.
[10] Eric Wong W,Yu Qi.BP neural network-based effective fault localization[J].International Journal of Software Engineering and Knowledge Engineering,2009,19 (4): 573-597.
Studyofimagerecognitionbasedonchaincompetitivestrategy
ZHANG Li, SONG Wei
(SchoolofInformationEngineeringandAutomation,KunmingUniversityofScienceandTechnology,Kunming650500,China)
Aiming at problem that back propagation neural network(BP-NN) is easy to fall into local minima in operation process in image recognition,introduce chain competition of three areas in the conventional genetic algorithm(GA).The improved GA is applied to BP-NN,which can make the image more clearer,and improve fault-tolerance and effect of image recognition.
back propagation neural network(BP-NN);image recognition;genetic algorithm(GA);chain competition;fault-tolerance
10.13873/J.1000—9787(2017)11—0067—03
TP 391
A
1000—9787(2017)11—0067—03
2016—10—24
张 力(1962-),男,副教授,主要从事嵌入式系统、计算机应用研究工作。
宋 伟(1990-),男,通讯作者,硕士,研究方向为嵌入式系统,E—mail:425500547@qq.com。