财务文档分词及文档相关性分析

殷伟

摘要：搜集财务专业语料库，利用中科院的分词工具对专业语料库进行分词，计算分词的准确率和召回率，并将结果保存在文件中。计算文档中给定词的词频和反文档频率，并对专业词汇加权，提高专业词汇的重要性，利用数学模型进行文档的相似度匹配。设置阈值，若两篇文档的相似度大于指定阈值，即认定两篇文档相似，进而生成一个矩阵，求解矩阵的连通性，得到该本聚类的结果，并进行文章的相关性分析。该文有利于财务分析人员根据已分类好的财务文档，了解企业过去，评价企业现状，作出对企业有长远影响的决策。

关键词：准确率和召回率；财务文档相似度匹配；财务文档相关性分析

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2013）07-1718-02

财务分析[1]为企业的投资者、债权人、经营者及其他关心企业的组织或个人了解企业过去、评价企业现状、预测企业未来做出正确决策提供准确的信息或依据，其本质就是搜集与决策有关的各种财务信息，并加以分析和解释的一种技术。因此针对财务文档的分词聚类研究会更有价值，由此便会涉及到数据挖掘[2]技术。

对财务文档进行相关性分析，必须依赖文本聚类[4]技术，它主要是依据著名的聚类假设：同类的文档相似度较大，而不同类的文档相似度较小。作为一种无监督的机器学习方法，聚类由于不需要训练过程，以及不需要预先对文档手工标注类别，因此具有一定的灵活性和较高的自动化处理能力，已经成为对文本信息进行有效地组织、摘要和导航的重要手段。而对于财务文档归类的质量的分析，就显得非常必要。

1 问题分析

在该问题的分析中，主要需要解决以下问题：

1）提高财务文档分词的准确率。

2）求解两个财务文档的最长公共子序列。

3）计算财务文档的相似度。

4）提高财务文本聚类的质量。

根据以上问题的提出，经过分析，初步的解决方案是：首先将问题化成若干子问题，先求解两字符串的最长公共子序列。其次通过计算给定文章中单词的词频（TF）和反文档频率（IDF）[8]，对财务词汇进行加权，利用数学模型求解文章的相似度。最后将相似度的结果表示成二维矩阵，求解图的连通性，达到聚类的目的。

2 问题的解决

先对财务专业文档进行机器分词，将分词结果保存在相应的文件夹下。将分词结果与人工分词的财务文档进行比较，计算机器分词的准确率和召回率，并将机器分词的错误语句和准确率和召回率的结果保存在相应的文件夹下。对财务文档的分词结果进行相似度匹配，半将匹配结果以二维表格的形式保存在相应的文件夹下。读取二维表格中的数据，设定阈值，进行财务文档聚类，将将聚类结果输出。

财经词汇使用百度文库中的财经金融词汇大全官方推荐。该财经词汇库词汇量大，共计11379个词汇；词汇丰富，包含知名的银行、公司等。语料库中专业的词汇在财务金融词汇大全中都有明显体现，如印花税、增值税等，利于对语料库的专业词汇进行加权，提高专业词汇的重要性。根据以上分析，得到该系统的系统结构组织框架如图1所示。

在财务分词系统中，基于财务专业术语库的财务文档相似度匹配子系统设计与实现是所有其他功能的基础，在处理时首先在给定的财务文档中，先对文档中的词进行预处理，去掉无意义的虚词停顿词等。计算每个词的词频（TF）和反文档频率（IDF），最终计算权重（TF*IDF）。通过匹配财务词库，对财务领域的专业词汇再进行加权，使的专业词汇的重要性增加。依据求两个向量的空间夹角的余弦数值理论计算两篇文档的相似度。相似度匹配部分结果如图2所示。分别是文档“CPI创新高 央行或将提高存款利率.txt”和文档“国际六大央行按兵不动 本周维持利率或不变.txt”的前15个特征词汇，共同的词汇是“利率”，在专业词库的第784行。

在该分词部分，词频（TF）指某一给定的词在该文件中出现的次数，反文档频率（IDF）指一个词的权重大小，计算公式是log（D/Dt），D是文档总数，Dt是包含该词的文档总数。某一个词的权重即为TF*IDF；在此就可以通过函数getWordsIDF（set[i].getKey（）.toString（））获取词的权重。相似度计算公式：D*C/（|D|*|C|），D指文章D的向量表示，C指文章C的向量表示。通过Resutl保存两篇文档的相似度。

财务文档的聚类系统也是设计中需要注意的地方，在此通过相应的变量进行相关数据的存取。从矩阵的下三角部分从下往上搜索，搜索时可以指定上下左右的搜索方向，对指定文档利用递归算法求解相邻数值为1的矩阵索引，同时添加标志位防止二次检索，提高检索效率。对相似度为1的文档直接进行保存，其余的根据相似度用不同的变量单独保存，

因文档相似度的值多数小于0.5，设一系数，用于与相似度的乘积同1进行比较。当系数为100时，共分为1369类。归类数目多，且每类中的文件数也很多。查看第19类结果，共包含49个文件。应用举例部分文件列表如图3所示。查看文件中的特征词，可以看出这个归类中5个文件是以“利率”为特征词归类的。

3 结束语

针对财务文件量大的特点，构架了这样一个财务的分词系统，可以实现日常财务文件的自动识别和分配管理，大大减轻了工作人员的工作量，提高了工作效率，在以后的进一步研究中，将针对词库的进一步优化识别，系统的运行效率再做进一步的研究提升。

参考文献：

[1] 百度百科.财务分析[EB/OL]. （2011-01-10）[2011-03-15].http：//baike.baidu.com/view/548342.htm.

[2] wikipedia. Data_mining[EB/OL]. （2011-03-16） [2011-03-20].http：//en.wikipedia.org/wiki/Data_mining.

[3] 百度百科.中文分词[EB/OL]. （2010-12-22）[2011-03-01].http：//baike.baidu.com/view/19109.htm.

[4] 百度百科.文本聚类[EB/OL]. （2010-06-19）[2011-03-10].http：//baike.baidu.com/view/1133919.htm.

[5] wikipedia. k-means clustering[EB/OL]. （2011-03-19） [2011-03-20].http：//en.wikipedia.org/wiki/k-means.clustering.

[6] wikipedia. Longest common subsequence problem[EB/OL].[2011-03-20]. http：//en.wikipedia.org/wiki/Longest_common_subsequence_problem.

[7] soulingm.文本相似度的計算向量空间模型[EB/OL].[2011-03-18].http：//hi.baidu.com/soulingm/blog/item/80c38d47c41c8a42500ffe82.html.

[8] wikipedia. Precision and recall[EB/OL].[2011-03-18]. http：//en.wikipedia.org/wiki/Precision_and_recall.