基于长短时记忆网络的人才培养模型设计

李瑶 周正松

摘要：长短时记忆LSTM神经网络的工作原理虽有记载，但究其物理过程很多资料都未解释清楚，该文以学校人才培养为.例，将LSTM网络类比为通过多年办学的吐故纳新，将成功的经验长期继承下来，而把逐年的新贡献又增加上去，如此循环，就把多级LSTM的级联展现在读者面前。

关键词：长短时记忆LSTM;遗忘门f;输入门i;输出门Q，

中图分类号：TP18

文献标识码：A

文章编号：1009-3044（2020）04-0152-02

收稿日期：2019-12-05

作者简介：李瑶（1989—），女，四川南充人，四川大学锦城学院讲师，硕士，主要研究方向为大数据、人工智能;周正松（1987-），男，重庆人，四川大学锦城学院讲师，硕士，主要研究方向为不确定性信息处理的数学。

1 背景

一谈到神经网络的深度学习似乎就高不可攀，深不可测，其实它都是为了解决日常生活中的实际问题。例如四川大学锦城学院从2005年开办以来到今天已有14年的历史，若把每年的人才培养工作总结进行整理，会发现它都是在原有的基础状态ht-1和已有信息Ct-1之上，随着科学技术的发展和社会的进步在不断地更新前进，这就可以看作是一个长短时记忆LSTM模型。因此，本文立足于高校的人才培养，结合LSTM神经网络，设计一个关于人才培养的LSTM模型，以更直观的形式来阐述LSTM的工作原理。

2 LSTM网络

长短时记忆网络[1-2]（Long Short-Term Memory，LSTM），是循环神经网络[3]的一种变体，可以有效地解决简单循环神经网络的梯度爆炸或消失问题。LSTM网络结构如图1所示。

LSTM网络引入一个新的记录信息的Ct专门进行循环信息传递，同时输出信息给隐藏层的外部状态h1。LSTM网络中的门是一种软门，取值在（0，1）之间，表示以一定的比例运行信息通过。其中遗忘门f1，控制上一时刻的信息Ct-1需要遗忘多少;输入门it，控制当前时刻的信息有多少需要保存;Ct表示新增信息;输出门Qt，控制当前时刻的信息保留多少輸出给外部状态ht。

在LSTM网络中，记忆单元C可以在某个时刻捕捉到某个关键信息，并有能力将关键信息保存一定的时间间隔。记忆单元C中保存信息的生命周期要长于短期记忆，但又远远短于长期记忆，因此称为长的短期记忆。

关于LSTM网络中的工作原理将在下一节中进行详细介绍。

3 LSTM人才培养模型设计

对于高校的人才培养，使用LSTM可进行如下设计[4]。

若设，

①Ct-1：是已有信息;

②ht_1：是目前的状态;

③b：是基本设施，师资+大楼+设备;

④xt;是当今采取的办法;

⑤w：是对目前状态和采取办法的重视程度（权重因子）。

则可求得下一年的信息Ct是原有信息Ct-1（长时记忆）乘上一个遗忘系数ft后再加上新增信息Ct（短时记忆）乘上一个输入系数it之后的和即：

这就是长短时记忆的由来。

而新的输出状态ht是Ct经tanh（Ct）这个非线性变换后再乘以一个输出系数Qt的结果，即：

是由ht-1和xt与wt作卷积运算后再作一个从0到1的非线性遗忘门，用以控制原有信息Ct-1的输出比例。

是由ht-1和xt与wc作卷积运算后再作一个从-1到1的非线性变换后获得的新增信息。

是由ht-1和xt，与wi作卷积运算后再作一个从0到1的非线性输入门，用以控制新增信息C，的输出比例。

是由ht-1和xt与w0作卷积运算后再作一个从0到1的非线性输出门，用以控制tanh（Ct）的输出比例。

注意：

设net=wrh，-1+w.x+b，是执行两序列之卷积运算用以寻找二者之间的相似性。

则8（net）=叫0～1的非线性激活函数[5]，是为了获得更多的高频信息。

tanh（net）=叫-1～1的非线性激活函数，是为了获得更多归一化的高频信息。

当net=wrh-1 + wx+ b=0.35h-1 + 0.45x+0.1时，再取合适的ht-1和xt使之等于2.2或0.81时，就有δ（2.2）=0.9，表示遗忘门将长时记忆Ct-1保留90%，而遗忘10%，如图2所示，而tanh（0.81）=0.9，表示新增短时记忆C，保留90%，如图3所示。

则由（1）～（6）式构成一个LSTM人才培养的模型如图4所示。

4 结束语

总之，学校的人才培养注重的是德才兼备，其中德行的培养是长期积累的过程为ht-1，而培养的办法是不断学习的过程为x。在学校培养学生的过程中，学校提供的教学设施，例如师资、大楼、设备等为b。为提高学生素质而制定的培养方案、管理制度、激励措施等的重视程度和执行力度为w。那么LSTM人才培养的循环网络可以解释为，学校为培养高素质的、全面发展的人才，应保留前面积累的成功经验，再结合科技的发展进行教学改革、增强设施建设、加强师资队伍建设等，通过实践去糙留精，以此往复，达到培养德才兼备的学生之目的。

参考文献：

[1]张晨阳，韦增欣，郜星军.基于LSTM模型的数学机理分析实证研究[J].中国管理信息化，2019，22（15）：93-97..

[2]吴岸城.神经网络与深度学习[M].北京：电子工业出版社，2016.

[3]张学工.模式识别[M].3版.北京：清华大学出版社，2010.[4]Martin T.神经网络设计[M].章毅，译.北京：机械工业出版社，2018.

[5]lan，Goodfellow，Yoshua，等.深度学习[M].北京：人民邮电出版社，2017.

[通联编辑：谢媛媛]