基于LSTM模型的数学机理分析实证研究

张晨阳 韦增欣 郜星军

[摘    要] LSTM是基于循环神经网络为避免梯度爆炸问题而进行的改进的长短期记忆网络。相比统计学以及计量经济学中的预测方法，LSTM预测金融数据有更好的优势。文章详细分析了长短性记忆网络（LSTM）的数学传导过程，并且使用深圳成指指数月数据进行了实证分析，取得了不错的效果。

[关键词] LSTM模型;神经网络;预测

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2019. 15. 043

[中图分类号] F224;F830    [文献标识码]  A      [文章编号]  1673 - 0194（2019）15- 0093- 05

1      引    言

股票市场上每天都有大量的交易数据，在分析股票走势时，无论投资者还是投资机构者投机者均需将交易数据作为首要的参考数据。参考数据多种多样，一般的有K线、分时线等等。通过选取上述数据进行分析预测从而希望可以获得更高的收益。股票的走势多种多样，如何在看似不可预测的股票市场中获得收益，投资者需要时刻观察股票市场的种种细小变化。一般的研究方法以统计学和计量经济学方法为主，简单的有指数平滑法、多元回归法、ARIMA模型以及GARCH模型等等。但是上述方法均趋向于研究线性或者周期性稳定数据。而股票数据往往表现出种种非线性或者非周期性，故有越来越多的学者开始寻找其他的预测方法。

神经网络是一个高度复杂的非线性人工智能系统。因此有很多的学者专家将其运用到股票市场进行预测或者在图像识别方面进行分析。与传统的统计学以及计量经济学预测方法相比，神经网络机器学习有很大的进步。LSTM是在RNN神经网络的基础上开发出具有选择性记忆功能的LSTM网络。陆泽楠、商玉林将LSTM模型运用到了钢铁价格的预测，结果与SVM模型相比，耗时减少，精度提高。孙瑞奇将LSTM神经网络运用到美股股指价格趋势中进行预测研究，在文中将LSTM模型运用到标普500指数上得出LSTM神经网络在预测方面比RNN神经网络模型精确度更高的结论。

但是上述研究并没有将LSTM模型的数学机理表示出来。所以本文在此将其数学机理进行分析并且进行实证研究。

2      LSTM模型

2.1   LSTM模型运行机理

1997年Hochreiter和Schmidhuber提出了长短期记忆网络（LSTM）， Graves在前者的基础上做了改进，增加了遗忘门，这样就可以控制历史信息被记忆的比例。LSTM适合从经验中字习，适用于处理和预测时间延迟的时间序列，这也是LSTM区别于其他神经网络模型的原因。 LSTM之所以能够解决长期依赖问题的关键在于细胞状态，即图1中最上面的水平线。相当于一个记忆链条，这个链条与其他部分只进行一些简单的线性运算，因此它可以保存信息，进行”记忆”。

图1中h，x，tanh，σ分别表示输出、输入、双曲正切函数和sigmoid函数，A代表一个隐藏层节点，从图中可以看出，LSTM既可以向细胞状态添加信息，也可以从细胞状态删除信息，而要达到这个目的，需通过一些信息阀门。这些阀门由一个sigmoid函数来控制或激活（即上图中的σ），因为sigmoid函数的输出值介于0～1之间，这样就能决定到底有多大比例的信息可以通过这个阀门。若sigmoid函数输出为0就表示信息不能通过，若输出为1就意味着所有信息都可以通过。下面将一步一步地介绍LSTM的运行流程。

第一步，需要决定从细胞状态中删除或遗忘多少信息，所以这个阀门叫遗忘门。它的输入是上一期的输出值ht-1，和当期的输入值xt，输出为0～1之间的某一个值，它的表达式为：

3      實证分析

3.1   选取样本

从同花顺收集2015年12月至2017年3月的共28个月深证成指指数月数据，如表1所示（数据来源：同花顺软件）。

3.2   确定网络结构

基于MATLAB的LSTM神经网络包括输出层，隐含层和输出层。本文选用三个月来用来推测，接下来一个月作为训练，以此类推，最后四个月用来检验。LSTM网络选用输入节点为12，输出节点为4个，隐藏节点为18个。

表2为归一化之后的数据。

3.3   误差分析

检验样本的观测值和LSTM神经网络预测模型的拟合效果误差如图2所示。

衡量一个模型优劣的一项重要标准时样本观测值与模型拟合值的比较，样本观测值与模型拟合值的相对误差越小，模型的稳定性就越好。有上图可知，该模型预测精度较高，拟合效果较好。

采用2016年12-2017年12月份深圳成指的实际指数与训练指数进行比较，做出神经网络的误差分析，如表3所示。

上表可以发现检验样本的误差率均不大于0.01%，平均误差为-0.02%。

4      结    语

深圳成指指数月数据的变化波动不定，传统的预测只能对线性或者规律周期性的数据进行预测。本文采用LSTM神经网络算法建立神经网络预测模型对股票指数月数据进行分析。从上述实证分析可以得出，LSTM神经网络在预测效果上具有很大的提高。

本文对最新的神经网络模型LSTM的数学机理进行分析并且进行实证研究，并且取得了不错的结果。神经网络提出的时间已有数十年时间，但是在改进和应用方面还有很大的开发潜力这也是本文的不足之处，首先LSTM神经网络模型较为复杂，运算时间比较长，其次，LSTM神经网络模型处理数据效率也比较低。为此LSTM模型还可以在这两方面进行改进。

此外，为了利于数据合理分布，提高训练速度和灵敏性，增加模型精度以及有效避開隐含层Sigmoid激活函数的饱和区，使得输入的数值在（0，1）之间，把所有的输入都进行归一化处理，这样处理可能有更好的结果。

主要参考文献

[1]周志华.机器学习[M].北京：清华大学出版社，2015：97-121.

[2]吴婷，余胜威.MATLAB金融算法分析实战基于机器学习的股票量化分析[M].北京：机械工业出版社，2016：170-216.

[3]史忠植.神经网络[M].北京：高等教育出版社，2009.：48-60.

[4]张树德.金融计算教程-MATLAB金融工具箱的应用[M].北京：清华大学出版社，2008：1-40.

[5]刘浩，韩晶.MATLAB2016完全自学一本通[M].北京：清华大学出版社，2016：191-250.

[6]郑毅，李凤，张丽，等.基于长短时记忆网络（LSTM）的人体姿态检测方法研究[J].计算机应用，2018，36（6）：1-8.

[7]王秀美.深度学习在回归预测中的研究及应用.[J].控制与决策，2016（23）：149-151.

[8]孙睿奇.基于LSTM神经网络的美股股指价格趋势预测模型的研究[D].北京：首都经济贸易大学，2015：21-30.

[9]何正义，曾宪华，曲省卫，等.基于集成深度学习的时间序列预测模型[J].山东大学学报：工学版，2016（6）：40-47.

[10]张潇，韦增欣.随机森林在股票趋势预测中的应用[J].中国管理信息化，2018（3）：120-123.

[11]寇茜茜，何希平.基于RBM的神经网络时间序列预测[J].数学的实践与认识，2016（9）：171-158.

[12]周生强.LSTM对上证指数的实证研究[J].金融天地，2017（23）：315-315.

[13]陆泽楠，商玉林.基于LSTM神经网络模型的钢铁价格预测[J].科技视界，2017（5）：116-117.

[14]陈巧红，孙超红，于仕敏，等.基于递归神经网络的广告点击率预估研究[J].浙江理工大学学报：自然科学版，2016（11）：880-885.

[15]王书芹，华钢，郝国生，等.基于灰狼优化算法的长短期记忆网络在时间序列预测中的应用[J].中国科技论文，2017（20）：2309-2314.

[16]金雪军，曹赢.美国扩张性货币政策对中国通胀的影响——基于深度长短期记忆神经网络的分析[J].国际金融，2016（3）：80-83.

[17]米硕，孙瑞彬，明晓，等.基于LSTM的任务定价规律模型.[J].科技走廊，2016（6）：38-38.

[18]陆凯韬，董红召，陈宁.基于LSTM的公共自行车服务点租还需求量预测.[J].科技视界，2017（25）：178-181.

[19]孙睿奇.基于LSTM神经网络的美股股指价格趋势预测模型的研究[D].北京，首都经济贸易大学，2015.

[20]杨涵.基于深度学习的气象预测研究[D].哈尔滨：哈尔滨工业大学，2017.