岳荷荷 张丽 刘彩玲
摘 要:作为一种新型神经网络,单节点的储备池计算由于其结构简单、易于实现、处理速度快且数据容量大,近年来越来越受到学者们的关注。目前基于混沌储备池计算的图像识别研究中,主要是对0~9这10个手写数字进行简单识别。使用Matlab工具对Mackey-Glass混沌电路储备池计算进行了仿真,首次对较复杂的图片即种子图像识别进行了研究。通过探索模型中各参数对系统结果的影响,最终将模型中的参数设置为p=7,?=3,?=20。首先尝试对2种不同类型的种子图片进行识别,取得了准确率为100%的识别效果;随后将种子类别增至5,取得了准确率为90%的识别效果;最后将种子类别增至10及以上,识别准确率降至80%,但仍有较好的识别效果。
关键词:神经网络;混沌储备池计算;种子图像识别;Matlab;识别准确率;无损检测
中图分类号:TP183文献标识码:A文章编号:2095-1302(2019)03-00-04
0 引 言
储备池计算(Reservoir Computing)是对传统递归神经网络训练算法的改进[1],主要包含一个由大规模稀疏连接的模拟神经元构成的随机网络结构,即“储备池”。但是储备池在产生时的随机性也成为了制约储备池实际应用的一个重要因素,因此在实际应用中,欧盟的一个科研项目组提出了一种由单个节点和一段延时线构成的储备池[2]。储备池计算方法一经提出,就在不同领域得到了广泛应用,比如时间序列预测[3-5]、模式分类[6-7]、图像处理[8-9]等。
目前的混沌储备池计算主要有混沌电路储备池计算、光电储备池计算、全光储备池计算和光电波长混沌储备池计算[10]。这几类混沌储备池计算的应用主要集中在时间序列预测[11]、波形识别[12]、光分组头识别[13]和手写数字识别[14]等方面。手写数字识别主要基于0~9这10个比较简单且特征值明显的图片,识别准确率为87%。本文通过对电路混沌储备池计算的模拟仿真,首次对较复杂的图片进行了特征值提取,并实现了对10种不同种子图像的识别。
1 Mackey-Glass混沌储备池计算模型
传统的储备池计算模型如图1所示,包括输入层、储备池和输出层三部分。输入层的数据在进入储备池之前会进行固定的加权处理,中间的储备池部分由随机生成的节点构成,节点之间的连接权重固定。唯有储备池到输出层之间的连接权重是根据训练所得。
对传统的储备池计算进行简化后,由单个非线性节点和一段延时线构成的储备池计算原理模型如图2所示。与传统储备池不同,这种形式的储备池结构简单,易于实现,同样只需在输出层对权值进行训练。其中的非线性节点可以通过电路设备、光电设备等实现。本文主要对基于电路非线性节点的混沌储备池计算进行了仿真,借助非线性节点由Mackey-Glass混沌电路实现。
Mackey-Glass混沌储备池计算中的储备池由电子器件构成非线性节点实现[2],混沌电路储备池计算系统的构成如图3所示。图中的输入数据I(t)在输入层与模板M一起进行预处理,即加模板操作,之后再被转换为串行数据加入增益后输入至电路储备池中。电路储备池对数据进行数模转换后经过作为非线性节点的混沌电路产生系统状态,再利用放大器和滤波器对数据进行放大和滤波后转换为数字信号。数字信号经延时τ后与输入信号结合反馈给混沌电路。从系统的延时线中将系统状态取出后进行训练获得训练权值Wi,再进行滤波和判决等后期处理最终得到输出y(t)。
在混沌电路储备池计算中,利用Mackey-Glass延时反馈振荡器来描述整个系统,其数学模型见式(1)[2]:
2 种子图像识别的实现过程
本文选取了10种不同种子的图片,每张种子图片均从不同的角度拍摄,能够全方位反映该种子的特性。具体图片如图4所示(本文使用的每个种子图片为40张,共400张图片,这里只对部分图片进行展示)。
2.1 特征提取
特征提取是图像识别中的一个重要步骤,通过映射或变换的方法将模式空间的高维特征转换为特征空间的低维特征。通过特征提取可以将系统要处理的数据量降低,从而提高系统的学习效率和识别准确率。与普通的神经网络一样,储备池计算在对数据进行处理前也需要对初始数据进行特征提取。不同的地方在于,储备池计算对数据进行特征提取时,实质上是对数据进行了稀疏化处理,即图3中的预处理。
本文在对种子图像数据进行处理时,只使用了其灰度值。在提取了种子图片的灰度图像数据后,利用一个模板矩阵M对数据进行提取。比如将图像进行灰度化处理后所得到的图像数据为一个大小为110×80的矩阵,模板矩阵(模板矩阵中只包含了三个值,即0,0.51和0.49,并且0所占比例达80%)设置为200×110(模板矩阵中的200与系统中的时延相互对应),将模板矩阵与图像数据矩阵相乘,即特征提取后形成的矩阵大小为200×80。所得矩阵便是特征提取的结果。
2.2 仿真及训练过程
本文通过Matlab对式(3)的模型进行仿真。当不存在外部输入时,优于存在延时反馈,Mackey-Glass延时反馈振荡器仍然能表现出其非线性特征。图5~图8分别给出了当延时反馈系数η不变时,系统波形随着非线性系数p的改变而产生的变化。从图中可以看出,当p=3时,系统产生的波形的非线性特征已基本不存在;当p=5时,非线性特征存在但不太明显;随着p值的增加,系统的非线性特征也表现得更加强烈。本文在使用Mackey-Glass混沌储备池计算时主要利用系统的非线性特征,因此在仿真中选择p的值为7,反馈系数值为3。
对种子图片进行识别时,本文选取了10个种子,每个种子都有40张图片。在对每张种子图片进行预处理后,得到一个200×80的矩阵,该矩阵便是式(3)中的J(t)。将经过Mackey-Glass混沌模型所得的数据进行训练。在对图像进行识别时,本文首先对10个种子进行1~10编号,并给出每张图片识别后相应的期望值。随机抽取其中的380組数据进行训练,用20组数据进行测试。考虑到非线性系统的延迟时间对系统状态的影响,本文选取了200个虚拟节点进行仿真,每个节点之间的时间间隔为归一化系统响应时间T的1/5,即θ=0.2。
3 仿真結果及分析
判断储备池计算实现图像识别的性能指标,归一化均方根误差(Normalized Root of Mean Square Error,NRMSE),表达式见式(4)[2]:
在实现对种子图像识别的过程中,本文首先对两个种子的图片进行了识别,其中使用每个种子的图片40张,训练所用的图片比例为80%,测试所用的图片比例为20%,所得的测试结果中NRMSE=0.082 1,经winnertakesall算法[15]优化计算后,识别正确率为100%,识别结果如图9所示。其中图片中的纵坐标表示2个种子的不同编号(1和2),每个序号所对应的条状图为矩阵图中值的大小,当颜色越接近红色时,说明矩阵中的值越大。图中的上半部分表示期望输出的结果,下半部分则是对应的测试结果。
在对2个种子的图片识别取得很好的识别效果后,本文将种子的类别增加至5个,使用每个种子的图片40张,训练所用的图片比例为80%,测试所用的图片比例为20%,所得的测试结果中NRMSE=0.082 1,经winnertakesall算法优化计算后,识别正确率为90%,识别结果如图10所示。其中图片中的纵坐标表示5个种子的不同编号(1~5),每个序号所对应的条状图为矩阵图中值的大小,当颜色越接近红色时,说明矩阵中的值越大。图中的上半部分表示期望输出的结果,下半部分则是对应的测试结果。
在对5个种子的图片识别取得很好的识别效果后,本文将种子的类别增加至10个,使用每个种子的图片40张,训练所用的图片比例为80%,测试所用的图片比例为20%,所得的测试结果中NRMSE=0.082 1,经winnertakesall算法优化计算后,识别正确率为80%,识别结果如图11所示。其中图片中的纵坐标表示10个种子的不同编号(1~10),每个序号所对应的条状图为矩阵图中值的大小,当颜色越接近红色时,说明矩阵中的值越大。图中的上半部分表示期望输出的结果,下半部分则是对应的测试结果。从图中可以看出,测试结果和期望结果基本相同。当然,在测试结果中使用winnertakesall算法计算后,测试结果可以直接作为结果输出。在使用混沌电路储备池计算对种子图像进行识别时,识别正确率可达80%。
对比以上识别结果可以看出,随着种子类别的增加,识别准确率逐渐下降。主要是由于种子类别有所增加但每个种子的图片数量却并未增加,导致系统中某几类相似种子图片的细节无法体现,从而增加了识别难度。
4 结 语
本文通过Matlab软件对Mackey-Glass混沌电路储备池计算进行了仿真,首次对较复杂的图片即种子图像识别进行了研究。分别研究了识别种子从2类增至5类再增至10类时的情形,取得了识别准确率为100%,90%和80%的结果。主要原因在于本文使用的种子图片数量有限,如果适当加大测试所用的图片数量,便可以提高识别准确率。另外,本文在识别图片时只提取了图片的灰度值,未考虑图片中不同种子的颜色这一参数,如果将种子的颜色也作为识别种子图片的参数,将可以得到更好的识别效果。
参 考 文 献
[1] VERSTRAETEN D,SCHRAUWEN B,HAENE M D,et al. An experimental unification of reservoir computing methods[J]. Neural networks,2007,20(3):391-403.
[2] APPELTANT L,SORIANO M C,SANDE G V,et al. Information processing using a single dynamical node as complex system[J].Nature communications,2011(2):468.
[3] SHI Z,HAN M. Support vector echo-state machine for chaotic time-series prediction[J]. IEEE transactions on neural networks,2007,18(2):359-372.
[4]史志伟,韩敏.ESN岭回归学习算法及混沌时间序列预测[J].控制与决策,2007,22(3):258-261.
[5]韩敏,王亚楠.基于Kalman滤波的储备池多元时间序列在线预报器[J].自动化学报,2010,36(1):169-173.
[6] JAEGER H,LUKO?EVI?IUS M,POPOVICI D,et al. Optimization and applications of echo state networks with leaky-integrator neurons[J]. Neural networks,2007,20(3):335-352.
[7] EMBRECHTS M J,ALEXANDRE L A,LINTON J D. Reservoir computing for static pattern recognition[C]// Esann 2009,European Symposium on Artificial Neural Networks,Bruges,Belgium,April 22-24,2009,Proceedings. DBLP,2009:101-124.
[8] VERSTRAETEN D,SCHRAUWEN B,STROOBANDT D,et al. Isolated word recognition with the liquid state machine: a case study[J]. Information processing letters,2005,95(6):521-528.
[9]裴承丹.回声状态网络及其在图像边缘检测中的应用[J].计算机工程与应用,2008,44(19):172-174.
[10]赵清春,殷洪玺.混沌光子储备池计算研究进展[J].激光与光电子学进展,2013,50(3):23-29.
[11]梁晔.基于储备池计算的混沌时间序列预测方法研究[D].兰州:兰州大学,2012.
[12]包秀荣,岳荷荷,殷洪玺,等.基于Mackey-Glass混沌储备池计算的多波形识别[J].大连理工大学学报,2018,58(2):174-179.
[13]靳雨.光电反馈混沌储备池计算及其识别应用的研究[D].大连:大连理工大学,2016.
[14]秦杰.基于光反馈混沌储备池计算的分组头识别研究[D].大连:大连理工大学,2017.
[15] HELLMAN J S. Winners take all: the politics of partial reform in postcommunist transitions[J].World politics,1998,50(2):203-234.