基于BERT模型的投资者情绪指数建模及与价格关系分析

林杰 江晨曦

摘 要： 基于BERT模型，应用21家期货公司行情预测分析文本数据，构建了期货市场投资者情绪指数;在此基础上，运用格兰杰因果检验分析了期货市场价格与市场情绪指数的相互影响作用。研究结果表明，BERT模型相较基于经典分类算法模型在各评价指标上均有约10%的提升。同时，投资者情绪指数与期货收盘价之间存在相互影响，期货收盘价对投资者情绪的影响程度更大，影响持续时间更短。

关键词： 投资者情绪指数;BERT模型;期货市场;文本情感分类

中图分类号： F 830.9   文献标志码： A

Abstract： Based on the BERT model， the text data of 21 futures companies market prediction and analysis was used to construct an investors sentiment index for the futures market. On this basis， Granger causality test was used to analyze the interaction between the futures market price and the market sentiment index. The research results show that the BERT model has improved about 10% in various evaluation indicators compared with the model based on the classic classification algorithm. At the same time， there is a mutual influence between the investors sentiment index and the futures closing price. The futures closing price has a greater degree of influence on investors sentiment and has a shorter duration.

Key words： investors sentiment index; BERT model; futures market; sentiment classification of text

研究发现，在方法上，利用文本数据构建投资者情绪指数时，多数学者使用的是向量空间模型结合分类算法来进行情感分类。该方法的缺陷在于运用该方法产生的特征向量无法表达语义，仅仅是文本的数字编号，这对情感分类的准确性将产生较大影响。随着深度学习的迅速发展，许多新的语言模型脱颖而出，目前运用这些语言模型进行投资者情绪度量的研究仍处于起步阶段，且由于中文语料和英文语料之间存在差别，探究如何准确且高效地度量投资者情绪具有一定的理论意义。

与此同时，在应用领域中，国内外的投资者情绪研究主要集中在股票市场，鲜有对期货市场投资者情绪的关注。期货市场与股票市场在交易规则和交易体量上的差别，导致在文本数据中期货市场用语和股票市场用语也不尽相同。同时，投资者在面对股票市场和期货市场时的情绪也存在较大差异。因此，本研究使用BERT模型对国内期货公司发布的日频行情预测分析文本进行情感分类，得到日频机构投资者的情绪指数，并运用计量方法研究投资者情绪指数与期货市场价格之间的相互影响作用。

1 构建投资者情绪指数

1.1 BERT模型

2018年末，深度学习在自然语言处理领域取得了重大突破，由谷歌公司提出的BERT模型通过了各大自然语言处理测试，在11种不同测试中均创下最佳成绩。BERT模型的全名为Bidirectional Encoder Representation from Transformers，即基于Transformers的双向编码表征模型。

Transformer是2017年由谷歌提出的特征提取器，自面世以来因其在实验中的优异表现逐渐受到学者们的关注和青睐，有望超越CNN和RNN成为自然语言处理领域最主流的特征提取器。Transformer模型诞生的初衷是为了提高翻译任务的效率，之后的实验证明该模型的Self-Attention机制和Positional Encoding在其他人工智能領域也能取得很好的效果。在自然语言处理中，Self-Attention机制使得模型在对一个词进行编码时，可以将句子中的其他词作为参考因素来确定当前词的编码，Positional Encoding则可以将词的相对位置和绝对位置作为信息放入模型中。BERT模型中的Transformer在原模型的基础上，用Positional Embedding取代了Positional Encoding。同时，为了使模型能够同时获取当前词上下文的信息，BERT模型加入了双向的Transformer。

BERT模型继承了先前语言模型的优点并沿袭了自然语言处理领域中迁移学习的发展趋势，它与ELMO模型和GPT模型一样是一个两阶段模型，第一阶段为双向语言表征模型的预训练，第二阶段根据具体的下游任务做Fine-tune。在第一阶段预训练过程中，BERT模型使用两个无监督预测任务进行预训练，分别是Masked LM和Next Sentence Prediction。Masked LM任务随机掩藏句子中的部分词汇，让模型对掩藏词汇进行预测。Next Sentence Prediction任务要求模型判断随机抽取的两个句子是否是相邻的，通过这一阶段的预训练得到预训练模型。在第二阶段Fine-tune过程中，模型将根据下游任务使用标注数据对预训练模型进行训练，有目的性地调整模型参数，从而使模型具有更好的泛化能力，下游任务包括单句分类任务、配对分类任务、问答任务和单句标记任务，图1描述了BERT模型进行单句分类任务的结构。通过两阶段的训练即可生成一个适用于对应下游任务的语言模型。

在自然语言处理领域中，预训练需要庞大的数据集和强大的算力作为支持，这是自然语言处理门槛较高的主要原因。谷歌公司公开了各语种的预训练模型，因此可以利用中文预训练模型根据标注数据进行Fine-tune，得到更适用于某个研究领域的语言模型，运用该模型完成下游任务。本研究关注的是利用Fine-tune后的BERT模型进行中文单句情感分类任务。

1.2 数据爬取和预处理

作为机构投资者的期货公司，投资行为更加理性，观点更加客观。在大数据时代和国内期货公司逐步规范化的背景下，期货公司会在其官方网站发布下一个交易日中对各个期货品种的行情预测分析文本。本研究对各大期货交易所的会员公司进行筛选，利用爬虫技术从筛选出的期货公司官方网站上爬取日频行情预测分析文本，按期货品种分为不同表存入MySQL数据库。本研究共爬取期货公司预测分析文本数据141781条，时间跨度从2011年8月到2019年10月，共含上海期货交易所、大连商品交易所和郑州商品交易所上市的55个期货品种，涉及21家期货公司。由于部分期货公司网站发布信息的不连续性，同一公司同一期货品种的文本数据存在时间断点，爬取数据的数据库表结构如表1所示。

由于2011年至2015年间，发布日内行情预测的期货公司较少，平均每日文本数据不足8条，使用这段时间的文本数据构建日频投资者情绪指数将导致指数不具有代表性和客观性，因此本研究选取日均数据量更大的上海期货交易所的铜品种的行情预测文本作为实验数据，时间跨度为2016年9月至2019年10月，共包含540个交易日。

确定实验数据后，本研究从实验数据中随机选择4364条进行人工标注评分，将文本的投资者情绪分为五档，其中-2分为“完全看空”，-1分为“轻微看空”，0分为“震荡”，1分为“轻微看多”，2分为“完全看多”。为降低人工标注评分的个人主观因素影响，人工标注评分工作由5名相关专业的志愿者完成，采取投票机制，取5人标注评分结果的众数作为每条数据的情感标签。为验证模型对不同品种进行情感分类的准确性，以同样的方法对铜品种外其他期货品种的1153条文本数据进行了标注。

1.3 文本情感分类

本研究实验为五分类问题，将铜品种的已标注数据进行随机排序后按6∶2∶2的比例分为训练集、验证集和测试集，利用这些数据基于1.1中提到的BERT中文预训练模型进行Fine-tune。模型参数为单次训练样本数batch size=32，学习率learning rate=1e-5，训练迭代次数epochs=6，训练数据最大长度max length=256，得到Fine-tune后的BERT模型。与此同时，为比较BERT模型与基于随机森林和支持向量机等算法的情感分类模型的效果，本研究基于同一数据分别使用word2vec结合随机森林和支持向量机两个经典分类算法进行情感分类。实验硬件及软件环境如表2所示。

在包含874条数据的测试集中，-2分、-1分、0分、1分和2分标签的数量分别为40条、166条、385条、197条和86条。表3、表4和表5分别是随机森林模型、支持向量机模型和Fine-tune后的BERT模型在测试集上的混淆矩阵，混淆矩阵能够清晰地展示各模型对文本进行五档情感分类时正确与错误的情况，可以看到BERT模型在“-2”“-1”“1”和“2”标签上分类正确的数量均高于其他两个模型。

分类问题常用准确率（accuracy）、精准率（precision）、召回率（recall）和F1-Score来作为评估结果的指标，本研究使用sklearn库的classification_report函数计算指标，表6比较了三个模型在测试集上的评估结果。如表6所示，BERT模型在各项指标中均达到了最优，比基于经典分类算法的模型高约10%，说明使用BERT模型对期货公司行情预测文本进行情感分类具有很好的效果。同时，在对分类结果进行梳理时进一步发现，Fine-tune后的BERT模型对文本长度小于50个字符的文本数据进行情感分类时，各项评估指标能够达到0.92，说明BERT模型对长度较短的文本进行情感分类的效果极佳。

为了检验模型对其他期货品种行情预测文本的分类效果，使用BERT模型对1.2中已标注的铜品种外的1153条文本数据进行了分类，准确率达到了0.765，F1-Score达到了0.7681，说明Fine-tune的BERT模型具有良好的泛化能力，能够对其他期货品种的行情预测文本进行分类。

2.5 格兰杰因果检验

虽然在上节中已经证明了VSI和LCUC存在长期协整关系，但协整检验并不能得出两者之间是否存在因果关系，以及影响是如何相互作用的，因此需要对VSI和LCUC进行格兰杰因果关系检验。格兰杰因果关系检验能够分析平稳时间序列X和Y之间的因果关系，如果X的滞后值在对Y的预测中能够有帮助，则可以说X是Y的格兰杰原因，或称Y是由X格兰杰引起的。根据AIC和SC准则确定滞后阶数，对VSI和LCUC进行格兰杰因果关系检验，实验结果见表8。在5%的显著性水平下，接受VSI不是LCUC的格兰杰原因，拒绝LCUC不是VSI的格兰杰原因，说明在铜品种期货市场中，收盘价的对数是投资者情绪指数的格兰杰原因。

2.6 脉冲响应函数

脈冲响应函数通过在扰动项上施加一个标准差的冲击来衡量其对模型内生变量当前值和未来值的影响。VAR模型中VSI和LCUC的动态响应见图3。图3中实线代表一个标准差的冲击所产生的影响，虚线为正负2倍标准差的置信区间。

图3（a）中，横轴表示期数（天），纵轴表示投资者情绪指数VSI。当本期给铜品种收盘价的对数序列一个正向单位标准差的冲击后，投资者情绪指数在第1期没有响应，但在第2期立即达到了正向响应的最大值，之后正向响应逐渐减弱并在第7期转为小幅度的负向响应，此后响应逐步趋于0，持续时间约40期。

图3（b）中，横轴表示期数（天），纵轴表示收盘价对数序列LCUC。当本期给投资者情绪指数序列一个正向单位标准差的冲击后，铜品种收盘价对数序列立即产生了一个正向响应并在第2期达到了正向响应的最大值，随后正向响应逐渐减弱并在第6期达到负向响应的最大值，此后响应逐步减弱，在55期趋于稳定，接近于0。

脉冲响应函数分析表明，投资者情绪指数与期货收盘价的变动均会在初期对另一方产生正向影响，随后逐步转变为较弱的负向影响，最后影响逐渐消失。区别在于，收盘价对投资者情绪指数的冲击强度要比投资者情绪指数对收盘价的冲击强度更强，而投资者情绪指数的变动对收盘价的影响时间更长。总体而言，投资者情绪指数和收盘价之间存在相互作用，收盘价对投资者情绪指数的影响更大，反应时间更短。

期货收盘价的变动能够对投资者情绪产生较大影响，此结论符合现实情况。机构投资者情绪对期货收盘价的影响较小，可能的原因是期货价格的走势受到多个层面、多种因素的影响，在宏观与微观、供给与需求等条件的变化之下，期货公司对未来期货行情走势的预测存在不可避免的偏差。与此同时，期货公司作为投资机构对散户投资者的影响相对较小，机构投资者情绪指数无法体现散户投资者的情绪和交易决策。

3 结论

本研究以期货公司行情预测分析文本为样本，使用BERT模型对文本进行情感分类，从而从文本中抽取出机构投资者即期货公司对期货市场未来走向的情感倾向，构建日频机构投资者的情绪指数来度量机构投资者情绪，并运用计量方法研究投资者情绪指数与期货市场之间的相互影响作用。研究结果表明，BERT模型能够有效提高对非结构化文本数据分类的效果，相比过去的情感分类方法，在各评价指标上均有约10%的提升，从而能够准确且高效地帮助度量机构投资者情绪。BERT模型不仅提高了文本情感分类的准确性，还降低了文本情感分类的难度和成本，Fine-tune后的语言模型能够重复利用，对同领域的文本均具有良好的分类效果，基于BERT模型的期货机构投资者情绪指数构建方法对投资者情绪研究具有重要现实意义。此外，实证分析的结果表明基于BERT模型情感分类构建的投资者情绪指数与期货收盘价之间存在相互作用。当期货收盘价上涨（下跌）时，投资者情绪先会展现出较大程度的乐观（悲观），而随着时间的推移，这种乐观态度将逐渐转变为较小程度的悲观（乐观）;当投资者情绪表现为乐观（悲观）时，收盘价会在短期内出现上涨（下跌）态势，随后会转变为小幅度的下跌（上涨）。相比较而言，期货收盘价对投资者情绪的影响程度更大，影响时间更短。

随着大数据时代的来临，以投资者情绪指数为例，互联网中蕴藏着大量有价值的非结构化文本数据，如何合理选取并充分利用海量的高质量文本数据，更好地挖掘互联网中的有效信息，将是今后研究的重要内容。

参考文献：

[1] TURNEY P D. Mining the web for synonyms： PMI-IR versus LSA on TOEFL[C]//European conference on machine learning. Springer， Berlin， Heidelberg， 2001： 491-502.

[2] KAMPS J， MARX M， MOKKEN R J， et al. Using WordNet to measure semantic orientations of adjectives[C]//LREC. 2004： 1115-1118.

[3] CHEN H， DE P， HU Y J， et al. Wisdom of crowds： the value of stock opinions transmitted through social media[J]. The Review of Financial Studies， 2014， 27（5）： 1367-1403.

[4] 程琬蕓， 林杰. 社交媒体的投资者涨跌情绪与证券市场指数[J]. 管理科学， 2013， 26（5）： 111-119.

[5] PANG B， LEE L， VAITHYANATHAN S. Thumbs up？： sentiment classification using machine learning techniques[C]//Proceedings of the ACL-02 conference on Empirical methods in natural language processing-Volume 10. Association for Computational Linguistics， 2002： 79-86.

[6] DAS S R， CHEN M Y. Yahoo！ for Amazon： sentiment extraction from small talk on the web[J]. Management science， 2007， 53（9）： 1375-1388.

[7] VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need[C]//Advances in neural information processing systems. 2017： 5998-6008.

[8] DEVLIN J， CHANG M W， LEE K， et al. BERT： pre-training of deep bidirectional transformers for language understanding[J]. 2018.