人工智能与数据挖掘技术在金融市场中的应用

王娟 姚雪筠

摘要：运用人工智能技术是为了寻找能够适应环境变化的机制，例如能够排除不合理解决方案的机制。如今，人工智能技术在医学，游戏，运输和重工业等领域已有了广泛应用。本文主要研究的是一个跨学科问题——人工智能与金融的融合。通过简要介绍数据挖掘技术，专家系统和基于主体的计算智能，并指定用这些技术来解决金融方面的问题，以便更深入地了解智能系统在金融市场上的潜在用途。

关键词：人工智能，数据挖掘，金融市场，应用

引言

当前的经济形势下需要一个能够在不断变化的市场环境中迅速、准确做出决策的处理体系，所以经济主体在决策过程中使用信息技术的趋势越来越明显。近来，传统的统计方法逐渐被机器学习方法所代替。应用机器学习的潜在优势不仅在于其迅速可靠的处理能力，还在于其发现大量数据中隐藏信息的能力。利用人工智能辅助决策可以消除部分决策者的有限理性，以便决策者利用更相关的数据和信息做出更好的决策。

人工智能能够处理分类，预测和优化等属于智能决策过程且不能被简单形式化的问题，这些都是经济学中的典型问题。本文的主要目的是指出可用于金融领域的人工智能技术，并提供该领域的研究概述。

1、数据挖掘和人工智能

数据挖掘是指从大型数据库中提取有效的，未知的，可理解和可操作的信息并据此做出关键业务决策的过程。它被认为是数据库中知识发现（KDD）的关键过程。主要包括的技术有聚类分析，时间序列挖掘和关联规则挖掘。数据挖掘技术主要基于统计和机器学习，其模式可以从不同类型的数据中推断出来。其中机器学习，属于人工智能领域。

人工智能（人工智能）系统旨在适应和学习。人工智能的第一个定义是基于图灵测试。艾伦·图灵对机器展示智能的能力进行了测试。测试过程如下：一个人类法官与一个人和一个机器进行对话，他们都要努力证明自己是人。法官的目标是仅凭对话区分出人和机器（没有视觉或其他帮助）。当法官无法区分人和机器时，机器则被认为是智能的。

人工智能方法可以分为两种主要方法——符号（传统）人工智能和亚符号人工智能（计算智能）。传统人工智能使用逻辑和规则来做出决策，例如专家系统和贝叶斯网络，这是一种自上而下的方法。计算智能（软计算）是从生物机制中获取灵感，并采用自下而上的方法。经济应用中使用该技术的例子有神经网络，遗传算法，模糊系统等。

2、数据挖掘在金融市场中的应用

最近的研究涉及基于数据挖掘技术的定量交易工具的设计。数据挖掘有助于查找资产之间的关系，并根据广泛的数据创建预测模型。利用历史数据、短期汇率、利率和股票价格可以进行预测。数据挖掘在股票市场得到了广泛的运用。Tung（2003）等人对十个证券交易所指数采用了一种简单的支持与信任交易策略并发现关联规则在股票预测中作为分类任务的一种形式是适用的。

文本挖掘也是解决股票价格预测问题的有用工具。Schumaker和Chen（2009）将统计机器学习方法应用于财经新闻。使用技术的主要目标是了解雅虎财经中的哪些条款将对标准普尔500指数中所列公司的股价产生影响，它们将产生多大的影响，然后估算在未来二十分钟的股票价格。为了测试拟议系统的有效性，他们随意选择了一组专家和基金进行比较。他们的模拟交易收益率为8.50%，优于标准普尔500指数，著名的交易专家和2005年四大量化共同基金。

数据挖掘工具拥有很强的交互性，易于理解，且投资成本低，还能够识别出需要进一步检查的重大异常。它在金融市场上的巨大潜力得到了证明，但使用数据挖掘工具需要注意数据的预处理。很明显的异常值在实际中也可能是真实的，并且可能需要对缺失的数据进行回填。预防过度拟合数据非常重要，因此仅在样本外分析是无用的（Johnson，2011）。

3、人工智能在金融市场中的应用

3.1 专家（知识）系统（ES）

专家系统是基于计算机的人工智能系统，它能模拟特定知识领域内的人类专家的推理过程。专家系统基于从专家那里获得的特定的专业知识，以实现专家级的决策（Feigenbaum，1988）。专家系统的目的不是为了在决策过程中对人类专家的心理过程进行建模，而是为了实现高质量的决策。即使部分所需数据不可用，专家系统也必须提出建议，这就需要数据库提供多个或可替代的推论。此外，部分推论是可以通过专家系统来解释，并且可以据此提出合理的附加问题。

Collopy和Armstrong（1992）研究开发了一个规则库，用于对市场竞争模型数据中的经济和人口时间序列进行年度外推预测。他们基于规则的专家系统比随机获取和等权重组合预测出的结果更准确，特别是对具有显著趋势，低不确定性，高稳定性和专业知识充足的领域进行长期预测时，它们结果更加精准。Korczak和Lipinsky（2004）测试了两个实时交易系统的随机指标，相对强弱指标和简易波动指标，并将它们进行了对比。第一个交易系统是基于350个交易规则，第二个交易系統则是基于由第一个系统交易规则线性组合而创建出的150个交易规则。该实验在巴黎证券交易所实现，他们发现减少交易规则可缩短计算时间，且不会对预测结果的准确性产生重大影响。

专家系统的主要优点之一是它们能够结合不同的知识源，且能永久保存决策的过程和所有步骤的概述。但另一方面，与人类专家相比，专家系统必须进行准确的更新，而不能通过类比其他来源遇到的问题来解决类似的新问题。

3.2 人工神经网络（ANNs）

人工神经网络是由并行操作的简单元件所组成的。与生物神经系统类似，人工神经系统的功能主要取决于元素之间的联系。通过对目标值的明确了解，该网络能够调整联系之间的值（元素之间的权重）来进行“学习”，所以人工神经网络被广泛用于解决分类，预测和控制等问题。

使用人工神经网络的主要优点是能够在未知变量之间函数关系的情况下捕获其中的非线性关系。人工神经网络作为“通用近似系统”运行，几乎能够模拟任何函数依赖。它们可以排除异常值，而不需要特定的分布。与计量经济模型相比，人工神经网络能在更短的时间内给出结果，且重量和参数系统均可调节，还可以以给定的精度进行工作（Fanta，2001）。

人工神经网络应用的缺点是缺乏设计网络的标准范例，“黑匣子”的概念描述了使用人工神经网络最大的弊端，它很难确定所选输入变量对输出的影响。当使用人工神经网络时，需要有一个长度足够的数据集来防止在学习阶段过度拟合网络。

人工神经网络已成功应用于解决企业债券评级预测的普遍性问题，这是传统数学建模技术很难实现的。

Kim（2009）等人模拟了一个系统，该系统运用人工神经网络建立的静态自回归模型对当前的时间序列与过去的稳定时间序列进行评估。该模型的潜力在韩国股票市场得以证明。

人工神经网络被中央银行广泛用于预测政府的利率和货币政策，它的使用在通货膨胀预测研究中也很常见；使用者们主要关注的是它与计量经济模型预测准确性的比较。

其他研究表明，神经网络在长期预测中表现更好，与非线性回归模型相比，它对国内生产总值，国民生产总值和失业率的长期预测更为精准。研究人员对人工神经网络在金融市场时间序列中的适用性也进行了研究，他们重点关注了外汇因素。

近年来，有大量研究试图预测国际股票市场指数的价格水平，研究均集中在用技术分析指标作为人工神经网络系统的输入变量。结果表明，以技术分析指标作为人工神经网络的输入变量提高了预测的准确性，尽管研究人员只统计了以前股票的价格。

3.3 遗传算法

遗传算法（GA）源于生物学，是进化算法的一个子集。遗传算法的主要思想是运用遗传算子（如突变或交叉），在进化的迭代过程中增加个体适应度。这能使满足给定条件（可用适应度函数表示）的个体的进化优于他们的祖先。人类个体可用染色体表示，染色体经常用二进制字符串表示，但它们通常也可以用其他类型的值表示。基因作为染色体的一部分，与个体的特定特征有很大关系。

遗传算法的主要优点是运用该算法不需要有任何关于目标函数的明确信息，它能在大量潜在数据集中进行准确预测，但是它难以设定选择机制的参数和条件，选出主要代表个体的样本。

遗传算法可用于解决优化问题（例如：投资组合优化问题）和检索问题。

Baba（2003）等人试图改进智能技术分析应用系统以做出更好的决策。他们用13周和26周的移动平均值和遗传算法技术建立了一个基于日经225种平均股价指数和东证股价指数的交易系统，并进行了大量的计算机模拟，发现仅使用技术分析技术获得的结果更好。

De la Fuente（2006）等人试图通过自动化交易者来优化股票市场的时机。他们将遗传算法应用于西班牙电信公司2004-2005产生的日常数据，基于技术分析指标（相对强弱指数，异同移動平均线和随机指数）进行决策，且将适应度函数建立在不合理数据评定结果最差的规则上，那么重复出现的染色体则为阳性。该研究证明了应用遗传算法击败市场的可能性。

遗传算法已被Hirabayashi等人应用于如何优化问题解决方法的研究中。他们试图通过应用了遗传算法的交易系统来增加外汇投资的短期回报。他们的目标是建立一个能够从历史数据中学习交易规则的细微差别，并适应不断变化的市场环境的演化系统。这个学习系统会搜寻能将技术分析指标及其参数高效结合的购买、销售信号。其测试集是使用美元/日元的小时汇率创建的。系统用四个指标（相对强弱指标，移动平均线，多元指数移动平均指标和移动平均线的百分比差异）和遗传算法获得了预测汇率与实际汇率的变化趋势相差无几的结果。该方法解释了雷曼兄弟在倒闭期间价格快速下跌却获得高收益的原因。

综上所述，由于人工智能具有研究非线性关系，及时学习和进化，做出专家级别的决策等功能，研究为人工智能方法在各种经济应用中使用的适用性提供了支持性证据。

遗传算法可用于优化问题——优化股票市场的时机和投资组合的创建。在解决预测问题时，遗传算法可与其他人工智能方法结合使用。数据挖掘工具可用于创建短期预测交易和利率的定量工具。专家系统试图做出专家级别的决策，可将其应用于证券分析和公司评估。

3.4 模糊系统

模糊系统是源于模糊逻辑的专家系统。模糊逻辑测量的是（0.0，1.0）范围内隶属值的不确定性，其中0.0表示绝对假值，1.0表示绝对真值。与概率论相比，模糊逻辑并不假设所有可能性出现的概率总和为1。对于隶属值的限度也没有明确的定义，模糊集使用的是类似于可能、也许、充分等的语言变量。

模糊系统的流程包括三个步骤：模糊化，模糊推理和解密。整个过程从模糊化开始，模糊化就是将实际数据转换为模糊数据，然后用模糊逻辑系统进行模糊推理，通常是基于如果…就的规则，最后将模糊数据转换回实际数据。

模糊系统非常适合用来完成一些特性不确定的决策任务，因此它们非常适合应用在金融市场中来进行相关资产购买/出售量的决策。Romahi和Shen（2000）建立了一个基于金融预测演化规则的专家系统，他们将模糊逻辑与归纳规则相结合，创建了一个具有泛化能力的系统。

基于模糊规则的神经网络系统已多次在研究中被应用于预测股市的收益。Ang和Quek（2006）提出了一种基于移动平均规则的交易系统，它的纸张回报率比随机交易系统的更高。Wong（1992年）等人利用32家公司的基本数据发现了一个基于交易规则的模糊神经网络（FNN）的类似方法。Kuo（1998）应用测量定量和定性因素的模糊神经网络在台湾股市建立了一个决策支持系统，并获得了比单一人工神经网络更好的结果。

Gil-Aluje（2011）等人基于拓扑公理提出了一个新的投资组合管理框架来选择该组合中的投资项目。找到各属性中的同质性并据此选出每个子集的一个或多个项目以获得期望的属性。该系统简化了以前的投资组合选择算法。

模糊系统的主要优点是能够解决无严格界限，概念定义模糊和不确定性的问题。模糊系统中的每个规则都易于理解和修改（例如，如果成本高，那么制造过程效率就低，反之亦然）。而它的缺点是它们需要有已解决问题的相关知识。

3.5 基于主体的计算经济学（ACE）

经济可以被描述为具有适应外部环境能力的复杂适应系统。在经济中运作的主体在没有意识到这种适应的情况下调整他们对系统的行为。经济主体会考虑他们的行为以及他们行为的后果，并据此来调整他们的行为。它们构成了所属系统的概念，它们的行为也影响着整个系统。

从经济的概念出发，作为诞生了基于主体的计算经济学的复杂自适应系统（ACE），它是一个自下而上的系统，构成主体和交互规则模型的自上而下的系统，该交互规则即使用模拟的方法建立整个系统。在这种建模方法中，结构发展的同时不强制建模人员对其进行任何推测。由此产生的基于主体的计算经济学模型必须动态完成——建模的经济系统必须能够在主体的交互作用的基础上随着时间的推移而发展，而无需建模人员的进一步干预。

基于主体的计算经济学是一个自下而上的系统，需要有特定的功能，因此，高数据可访问性和明确的主体目使得金融市场对于基于主体的计算经济学的应用来说是一个极具挑战性的领域。

人工智能体的早期研究是基于零智能主体的。LeBaron（2000）调查了零智能交易者在人工外汇市场上的效率，他发现这些主体的预算分配效率与人类主体相似。在其他研究中，已发展使用更复杂的主体进行模拟。Raberto（2003）等人建立了一个主体的交易策略以技术交易规则和基本价值为基础的模型。Kendall和Su（2003）对伦敦证券交易所的五只股票采用了基于主体的方法。人工主体的交易行为以技术分析指标为主题。该研究表明人工交易者的学习能力稳定且令人满意。获得了一个有利于进一步研究投资组合选择的重要发现，不同股票价格模式下人工交易者有不同学习行为。Kumar和Bhattacharya（2009）使用多智能体的方法进行投资组合选择，他们在一个月，两个月和三个月的非抽样期间获得了比富时100指数更高的平均回报。

将市场视为一个非常大的想法、目标各不相同的主体的聚集地，往往能揭示出与传统理论思维截然不同的观点。以基于主体的计算经济学建模的主要优点是系统能创建出更逼真的自主主体——它们能够交流，根据以前的经验适应外部环境，模仿，创建和维护社交行为模式等。这些功能是基于对外部环境中其他主体隐藏的内部进程，会使主体产生与其外部环境相关的不可预测和不受控制的行为。该模型提高了建模过程的透明度和清晰度，同时补充了分析和统计建模的方法。

基于主体的计算经济学建模的相对缺点是它需要有详细的说明（包括主体数据和确定的结构属性），制度安排和行为倾向。如果主体间相互作用引起足够强烈的正反馈，那么初始规格的微小变化也可能从根本上影响结果的类型。所以，很难通过模拟获得结果的实验证据。

4、结论

由于人工智能具有研究非线性关系，及时学习和进化，做出专家级别的决策等功能，研究为人工智能方法在各种经济应用中使用的适用性提供了支持性证据。遗传算法可用于优化问题——优化股票市场的时机和投资组合的创建。在解决预测问题时，遗传算法可与其他人工智能方法结合使用。数据挖掘工具可用于创建短期预测交易和利率的定量工具。专家系统试图做出专家级别的决策，可将其应用于证券分析和公司评估。如果我们不确定决策方法（人类决策者的典型方法）的概念，那么模糊系统可能是合适的解决方案，所以模糊系统可主要应用于保险行业。近年来，基于主体的计算经济学已经出现，目前主要应用于金融市场建模。人工神经网络则因其能研究变量之间的非线性关系且能处理不确定性而得以应用，它們经常被用于解决预测问题——预测宏观经济指标和金融市场的时间序列问题。

参考文献：

[1] Tung， A. K. H.，Hongjun L.，Jiawei H.， Ling F. Efficient mining of intertransaction association rules[J]. Knowledge and Data Engineering， 2003，15（1）：43-56 .

[2] SCHUMAKER， P.， CHEN， H. A.quantitative stock prediction system based on financiel news[J]. Information Processign&Management，2009，45（5）：571-583.

[3] JOHNSON， B. Algorithmic Trading & DMA： An introduction to direct access trading strategies[J]. London： Myeloma Press，2011，1（4）： 574.

[4] FEIGENBAUM， E. A.， MC CORDUCK， P， NII， H. P. The Rise of the Expert Company[N]. London： Times Books，1988， 336.

[5] COLLOPY， F.，ARMSTRONG， J. S. Rule-Based Forecasting： Development and Validation of an Expert Systems Approach to Combining Time Series Extrapolations[J]. INFORMS，1992，38（10）：1394-1414.[6] KORCZaK， J. J.， LIPINSKi， P.Evolutionary building of stock trading experts in real-time series[C]. Proceeding of the 2004 Congress on Evolutionary Computation. Portland，2004： 940-947.

[7] FANTA， J. Psychologie， algoritmy a umělá inteligence na kapitálovych trzích[N].Praha ： Grada publishing，2001，1： 168.

[8] Kim， D. H.， Lee， S. J.， Oh， K. J. An early warning system for financial crisis using a stock market instability index[J]. Expert systems，2009，26（3）：260-273.

[9] Baba， N.， Yaai， W.， Kawachi， T.， Xu Lima， Zhenglong， D. An Intelligent DSS Which Improves the Traditional Technical Analysis[J]. SICCE ： Annual Conference. Fukui，2003： 3216-3219.

[10] De LA Fuente， D.，Garrido， A.， Laviada， J.，Gómez， A.Genetic algorithms to optimize the time to make stock market investment[C].Proceedings of the 8th Annual conference on Genetic and evolutionary computation，2006，06：1857-1858.

作者简介：

王娟，南京大学博士后，南京邮电大学管理学院副教授，研究方向为工商管理；

姚雪筠，南京邮电大学管理学院硕士研究生，工作单位：盐城市东亭科技小额贷款有限公司，研究方向为财务管理。