浅析文本聚类有效性评价的方法

金涛 戴玉刚

摘 要：文本聚类技术是一种对文本信息进行重新组织的重要手段，随着人工智能的发展，文本聚类技术得到了广泛的研究，文本聚类技术的算法众多，标准众多，但是没有一个标准的评价体系，无法准确的、科学的评价文本聚类结果。因此本文通过对文本聚类的评价方法进行了一定的探讨。

关键词：文本聚类 评价 标准

中图分类号：TP391 文献标识码：A 文章编号：1003-9082（2018）05-000-01

当今是一个信息爆炸的时代，互联网信息种类繁多、内容丰富，如何能够在这样繁杂的互联网信息中提取有价值的、人们感兴趣的信息是现阶段的主要问题。目前，人们对于文本聚类技术的研究非常之多，但是目前研究中对于文本聚类分析结果的有效性评价方法机制比较混乱，文本聚类的算法不断地涌现，各说各的好处，但是当我们应用到实际过程中的时候，这么多的算法中我们应该选择哪一个算法呢？因此，本文在通过大量研究前人的文献中，总结了一些观点与想法。

一、评价标准

在传统的聚类研究当中，大致可以分为三个评价标准，分别是外部评价标准、内部评价标准和相对评价标准，本文在过大量分析研究这些标准后，总结出了两个评价的标准，一是在聚类结果分析研究中，团内越紧密、团外越分离越好，另一种标准是聚类分析的结果与人工评价的结果越接近越好。本文认为，在不同的场合应该使用不同的评价标准，在某些情况下不能使用单一的标准，必须将两个或者几个标准结合来使用才能达到更好地效果。首先是在更加紧密结合人工判定结果当中，基于人工判定的结果表现更好，另外，基于人工判定的方法还能对不同的算法进行横向的比较，同时能够对算法的性能进行分析，最重要的是能够在我们设定算法参数时给予一定的指导作用，让聚类的结果更加的符合人工的判定结果。其次，函数指标本身就可以作为算法的一部分，能够更好地适用于计算目标的选择当中去。实际在评价机制上，并不是直接使用这两个指标，而是在这两个指标的指导下，衍生出来的一系列评价标准与方法。基于此标准的判定，本文通过研究发现以下两种评价标准在传统评价当中结果最好。

1.基于文档的准确率、召回率和F-Measure值的评价标准

2.熵的评价标准

针对语料X上的聚类结果C={C1，C2，…，Cm}，单独衡量每一个簇Ci，计算簇Ci的熵 （人工判定结构为 P={P1，P2，…，Ps}）：

熵是一个非常好的指标，不仅能应用到单独一个簇的评价，同时也可以利用簇的大小进行加权计算，然后通过加权值对整个聚类结果进行评价，该指标具有很好的可比性，并且可以用于评价一个文档属于多个簇的聚类结果。但是在实际的运用过程中，单单一个熵是不能很好的评价的，必须与F值相结合使用，才能更加准确的对聚类结果进行评价。

二、基于目标函数的指标

在我们上述的两个标准中，我们提出了团间越分离越好的观点，基于这个大的指标，可以衍生出的指标可以称为是基于目标函数的指标，在算法的设计当中，函数的指标是可以作为算法的其中一部分的，该指标融入算法当中，可以通过该指标来判断在聚类算法当中下一步的最优的迭代方向，与此同时，我们可以根据该指标来判断我们的算法是否满足要求，得到结果是否达标。

1.误差平方和

K-means算法的目的就是通过自身的迭代去寻找一个能搞满足误差平方和最小的聚类的方法。在上述公式当中S表示的是一个聚类的结果，我们可以用S={s1，s2…sk}表示聚类的结果，其中的Sr表示的是一个簇，Cr表示的是簇的中心，应用这个标准，我们可以最小化簇与簇之间的内部距离，使得聚类文本当中内部之间的距离最小，获得更好地聚类结果。

从前面的讨论我们可以知道，在实际运用过程中，基于人工判定的指标更加适合分析文本聚类分析结果的质量，基于函数的指标有很多，这里只是简单提出了一种方法，函数指标更加适用于作为算法的一部分。如果在算法设计过程中，遇到了难以设定的参数，这时候我们就需要不断的改变参数的值来获得不同的试验及结果，然后利用例如K-Means算法中的方法，对结果进行分析，选择最优的参数。

结语

随着时代的发展，文本聚类技术的研究也越来越重视，作为一种无监督的机器学习方法，聚类文本技术具有一定的灵活性和自动性，可以被广泛的应用到引擎搜索、自然语言处理等相关领域，这也是未来人工智能的一个重要的研究方向。

參考文献

[1]周昭涛. 文本聚类分析效果评价及文本表示研究[D].中国科学院研究生院（计算技术研究所），2005.

[2]曹晓.文本聚类研究综述[J].情报探索，2016（01）：131-134.

[3]刘务华，罗铁坚，王文杰.文本聚类算法的质量评价[J].中国科学院研究生院学报，2006（05）：640-646.

作者简介：金涛，（1991.10-），男，汉族，安徽省合肥人，学历：在读硕士研究生，研究方向：云计算。