评价对象、短语、搭配关系抽取及倾向性判断

2013-04-29 00:44:03朱圣代
电脑知识与技术 2013年9期

朱圣代

摘要:观点挖掘近年来已经成为自然语言处理领域的热点问题,该文对观点挖掘的几项关键技术—评价对象、评价短语、主观性关系抽取、倾向性判断进行了研究。在评价对象抽取阶段,通过统计得到所有的名词和名词短语作为候选,然后结合词频,词共现等特征进行过滤得到最终的评价对象;在评价短语抽取阶段,使用基于观点词词典的匹配方法,并把观点词前面的副词也作为评价短语的一部分;在搭配关系抽取阶段,目的是抽取评价对象和评价短语的关联关系,采取的方法是将在句中距离评级对象最近的评价短语作为该短语的评级短语;在情感倾向分析阶段,通过将情感句进行分类,然后制定规则进行无监督的倾向性判断。

关键词:观点挖掘;评价对象;评价短语;主观性关系;倾向性判断

中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2013)09-2044-02

近年来,观点挖掘(Opinion Minning)受到了很多学者的关注,它是一个非常新颖且有应用价值的课题,比如:问答系统,客户关系管理,产品信誉度分析等等。同时,观点挖掘也产生了许多具有挑战性的相关子方向。例如:领域观点词的抽取,旨在识别领域对观点词倾向性的影响;文本主客观分类,旨在识别文本单元的主客观性。

本文致力于研究主管句中的评价搭配抽取任务,考虑上下文对词语倾向性的影响,抽取被评价对象、评级短语,并判断倾向性。该任务可分为四个主要阶段:1)自动识别观点句中的评价对象;2)自动识别句中的评价短语;3)识别抽取评价对象以及评价短语之间的主观性关系;4)判断主观句中评价对象的情感倾向性。例如:对于某一评论“这款相机资源占用率低、看图快速且具备不错的人物照片筛选功能。”,系统首先识别评论中的被评价对象(如:“资源占用率”,“看图”,“人物照片筛选功能”)以及评价短语(如:“低”,“快速”,“不错的”),然后结合评价对象和评价短语之间的词共现和句中距离特征,抽取句子的主观性搭配关系,最后分析评价对象的情感倾向性,即“资源占用率,低,褒义”,“看图,快速,褒义”,“任务照片筛选功能,不错的,褒义”。

本文使用的无监督的方法进行评价对象、评价短语、主观性关系的抽取和倾向性分析。评价对象的的抽取上,使用基于词频的抽取名词和名词短语作为候选,同时加入PMI过滤技术。在评价短语抽取部分,评价词一般都是形容词,动词或者副词,他们的数目一般是不变的,并且是有限的,所以这里采用建立情感词典的方式,然后对于需要处理的文本来匹配这些词,另外还将评价词前的副词加入评价短语。在主观性关系抽取上,从评价对象抽取与评价短语抽取模块,抽取的评价对象以及评价短语,它们都只是候选,该文找出距离评价对象最近的评价短语最为该评价对象的评价短语。在情感倾向分析上,将情感句分为四类,对每类分别用不同的规则来判定情感倾向。

1 基于统计的评价对象抽取

本文的使用基于词频的评价对象抽取技术。对于给定语料,首先对其分词、词性标注,然后提取其中的名词和名词短语,过滤词频低于阈值的名词或名词短语,词频过滤主要考虑到评价对象大都是在评论中多次出现的,一些不相关的名词或者名词短语很少在评价对象中出现,而且那些低词频的评价对象是用户不太关系的评价对象,可以被过滤掉。该文还过滤掉单个字的情况,因为经过观察,单个字几乎不可能成为评价对象。然后再进行PMI算法筛选得到最终的评价对象。

本文采用PMI(Poitwise Mutual Information)指标来量化词A和词B的关系,计算两词的PMI的公式如下:

[PMI(A,B)=log2hits(A,B)hits(A)?hits(B)]

本文采用雅虎的搜索结果作为语料库,对于不同的领域选取不同的代表词,比如数码领域选取“手机”作为代表词,娱乐领域选取“娱乐”作为代表词,金融领域选取“金融”为代表词等,计算代表词语候选评价对象的PMI值,选取合适的阈值,过滤掉低于阈值作为最终的评价对象。

2 基于评价词典匹配的评价短语抽取

本文的评价词典使用的是WordNet中文观点词典,使用的匹配方法是首次匹配方法,对于分词后的单词串,提取“JJ”,“JJ+JJ”,“JJ+JJ”,“JJ+JJ+JJ”等形式的单词或短语,查询它们是否在观点词典中出现,如果它出现,并且前面的词不是副词则把它作为评价短语;如果它出现并且前面的词是副词则把副词和观点词一起作为评价短语。

由于时间仓促,该文采取的基于分词的首次匹配的方法不是理想的方法,理论上采用序列最大匹配的原则来进行匹配效果会更好。

3 搭配关系抽取和倾向性判断

在评价对象和评价短语抽取后,需要对评价对象搭配合适的评价短语本文采用的规则具体如下:

1)如果句子没有评价对象,认为它是非主观句,过滤掉这条句子;

2)如果句子既有评价对象,又有评价短语,选取距离评价对象的最近的评价短语作为该评价对象的评价短语,得到(评价对象,评价短语)组合;

3)如果句子含有评价对象,但是没有评价短语,选取距离该评价对象5个单词内的,最近的,并且具特定词性组合的短语作为该评价对象的评价短语,短语的词性组合为“JJ”“JJ+JJ”、“JJ+JJ+JJ”,如果该短语的前面是副词,那么把这个副词也加入到这个评价短语中。

在情感句的判别方法上,该文采用了分治的策略,根据情感句的结构将其分为四类;继而针对各类制定相应的倾向性判断规则,最终基于无指导的方法完成评价对象的倾向性判断。主观句的类型分为三类,具体定义以及相应的情感判断规则如下:

类别一:句子带有明细的倾向性,即在情感词典中找到的带有一种倾向性(褒义或贬义)的情感词明显多于宁一种带有另一种倾向性情感词的数目,那么句中所有的评价对象的情感倾向为情感词多的情感倾向。

类别二:句中含有的情感词褒义和贬义的数目相等,那么针对句中的每个评价对象选取最近的情感词的情感倾向的为它的情感倾向。

类别三:句中没有情感词但是句子有评价对象,那么句子的极性有限与当前句子的前一个句子的极性相同,如果前一个句子没有极性,那么与离当前句子最近的有极性的句子的极性相同,句中的所有评价对象的极性为句子的极性。

4 实验结果与分析

本系统参加了第三届中文倾向性分析评测,在评测中成绩不错。此次评测的语料主要涉及数码,娱乐,金融三个领域。

本文的评价对象抽取部分总体平均结果接近所有结果的平均值,但是与最好的结果还有一定的差距,但是本文在领域D的结果明显高于其他领域的结果,领域D(数码)的结果接近于所有结果的最好值,领域E(娱乐)的远远低于领域D的结果,领域F(金融)的结果最差,说明本系统在领域D达到了较理想的性能,但是缺乏领域的适应性。究其原因大致有三:1)领域D是数码产品领域,评价大都是针对产品本身的评价,评价对象大都为描述产品本身或者本身的一部分,词性特征明显,大多为名词或者名词组合,而且虽然数码产品种类众多,但是大都具有与本文选取的领域特征词“手机”具有类似的评价对象,因此本文的方法能取得较好的结果。2)领域E是娱乐领域,用户关注的内容繁多,评价的内容五花八门,评价针对的对象也具有不确定性,很难选出具有领域代表性的词。3)领域F(金融领域)更是一个特殊的领域,评价对象很多不是名词或名词短语,领域代表词很难去去确定。

从最终结果可以看出领域D的结果仍然远远高于领域E和领域F的结果,可见领域E和领域F的复杂性高于领域D,因此本文中所使用系统的领域适应性有待提高。

5 结论

本文实现了一个评价关系抽取系统,可分为评价对象抽取、评价短语抽取、主观性抽取和倾向性判断四个部分,系统在COAE2011的评测中取得成绩一般。由评测的总体结果可以看出,观点挖掘技术目前还处于初级阶段,因此还有很广阔的研究空间。如:如何使系统具有更高的移植性和适用性,如何挖掘出更多的主观句等等,都将成为我们下一步的工作。

参考文献:

[1] Hu M,Liu B.Mining Opinion Features in Customer Reviews[C].AAAI,2004:755-760.

[2] 李军.中文评论的褒贬义分类研究[D].北京:清华大学, 2008.

[3] Liu Bing,Hu Minqing,Cheng Junsheng.Opinion Observer: Analyzing and Comparing Opinions on the Web[C]//Proceedings ofthe 14th Internationa1 Conference on World Wide Web. [S. l.]:IEEE Press, 2006: 221-229.

[4] Kim Soo-Min,Hovy E.Extracting Opinions,Opinion Holders,andTopics Expressed in Online News Media Text[C]//Proc. of Conf. ofAssociation for Computational Lingustics. [S. l.]: IEEE Press,2007:318-327.

[5] 章剑锋,张奇,吴立德.中文观点挖掘中的主观性关系抽取[J].中文信息学报,2008,22(2):55-59.

[6] 刘鸿宇,赵妍妍,秦兵,等.评价对象抽取及其倾向性分析[J].中文信息学报,2010(4).