评价短语的倾向性分析研究

2013-10-15 01:52:12滕永林陈毓麒
中文信息学报 2013年6期
关键词:修饰词倾向性极性

侯 敏,滕永林,陈毓麒

(中国传媒大学 国家语言资源监测与研究有声媒体中心,北京100024)

1 引言

目前的倾向性分析研究,大多是以评价词为锚点,以句子或篇章(主要是微博或网络商品评论类短文本)为单位来进行[1-5]。这样的研究虽已取得一定成效,但有缺失,因为它没有建立在对语言倾向性表达进行全面分析的基础上。

所谓倾向性分析,主要指的是观点分析、评价分析。观点、评价是语言主观性的一种表现。主观性是语言的一种重要属性,也是本质属性之一。除了评价,语言主观性还可以表现为推测(例如,“他可能不来了”)、意愿(如“我希望你好运”)、情绪(例如,“我很惊讶”)等。[6-7]语言信息处理中的“倾向性分析”主要分析的是评价。一个句子,可以被称为“评价句”或“观点句”,是因为它表达了说话者或话语中提到的评价主体对某个客观事物的或褒或贬的态度。这种评价,是通过语句中的某种元素表达出来的。语句中表达评价的元素,我们称之为“评价因子”。那么,哪些语言单位可以充当“评价因子”呢?请看下面例句:

①他是一个优秀的学生。

②这家伙真不是个东西!

③这场事故是宝马车主的责任。

④难道这不是教育的问题吗?

这四个都是评价句。①中表达评价的是词“优秀”;②是短语“不是个东西”;③是表达式“是……的责任”;④是反问句式。由此看来,评价因子至少是由颗粒度大小不同的评价词、评价短语、评价表达式、评价性句式构成的集合。因而,仅仅以评价词为主要基准进行倾向性分析,难免会有失误。评价词,人们研究颇多,其中虽仍有问题,但这里不拟讨论。本文以评价短语为主要研究对象。关于评价表达式和评价性句式拟另外撰文研究。

2 评价短语的类型

对评价短语划分类型,可从多个角度进行[8]。根据语言信息处理技术水平的现状,参考依存句法分析的相关理论,可将评价短语分为“评价词+评价词”、“修饰词+评价词”、“普通词+评价词”、“修饰词+普通词”、“普通词+普通词”五种类型,每种类型又都分为常规短语和特殊短语两类。这种仅仅基于词语本身属性及其位置关系的分类可以在保证分析结果取得较高准确率的前提下,对评价短语的分析尽量不依赖于过于深度的句法语义分析,以减少计算机处理的复杂程度,防止出现过多错误。

1.评价词+评价词

一般情况下,由两个评价词组成的短语,其倾向性与评价词一致,倾向值等于两个评价词的平均加权值,例如,“慷慨援助”“惊艳温馨”,两个正面倾向的评价词组成了一个正面倾向的短语,“郁闷失望”“跑不过硬撞”两个负面倾向的评价词组成了一个负面倾向的短语。但也存在特殊情况,如“解决麻烦”,一个正面倾向的评价词和一个负面倾向的评价词相组合,其情感倾向仍是正面的。

2.修饰词+评价词

修饰词情况比较复杂,主要指程度副词和否定词,也包括其他起修饰限定作用的词语。一般情况下,由程度副词和评价词组成的短语,其倾向性与评价词一致,只是强度有所增加或减弱,如“非常优秀”“比较愚蠢”。由否定词和评价词组成的短语,其倾向性与评价词相反,但不同的否定词以及否定词与程度副词不同位置的组合,其倾向强度也不相同,如“不漂亮”“不太漂亮”“很不漂亮”。但也存在特殊情况,如“过于看重”,一个修饰词和一个正面倾向的评价词相组合,其情感倾向却是负面的。

3.普通词+评价词

一般情况下,由一个普通词和一个评价词组成的短语,其倾向性与评价词一致,倾向值等于评价词的倾向值,如“国家富强”“无良企业”。但也存在特殊情况,如“走出困境”,一个普通词和一个负面倾向的评价词相组合,其倾向却是正面的;“貌似正确”,一个普通词和一个正面倾向的评价词组合,其倾向却是负面的。

4.修饰词+普通词

一般情况下,由一个修饰词和一个普通词组成的短语,没有倾向性,如“最普遍、略微加工(一下)”。但也存在特殊情况,如“完全可以”,一个修饰词和一个普通词相组合,表达了正面的评价倾向,“太那个(了)”,修饰词和普通词组合,却表达了负面的评价倾向。

5.普通词+普通词

一般情况下,由普通词组成的短语没有倾向性,如“阅读报刊”“学习文化”。但是某些特定的组合,或者在某个特定的领域中,普通词组成的短语也能表达一定的评价倾向,如“文化遗产”“还可以”,由两个普通词构成,却表达了正面的评价倾向,“不是个东西”“有个屁用”,由四个普通词组成,表达的是负面的评价倾向。

其中前三种类型在评价分析中大多属常规情况,主要用短语计算规则的方法解决;后两种基本属特殊情况,主要用短语词典方法解决。后两类短语是倾向性分析中特别要注意的,对它们的处理在一定程度上影响着系统的准确率。

3 评价短语的处理策略

3.1 常规评价短语的倾向计算

常规评价短语往往具有较强的规律性,因此主要采用短语规则的方法处理。

1.评价词+评价词

对于“评价词+评价词”的短语类型,应根据其不同词性的搭配来制定计算规则。常见的短语类型有“形容词+名词”“形容词+形容词”“副词+动词”“副词+形容词”“名词+形容词”“名词+动词”“名词+名词”“动词+名词”“动词+动词”等。上述短语类型可以分为两种情况,一种是并列或同位关系,另一种是支配或从属关系。

属于并列或同位关系的评价短语有“形容词+形容词”“名词+名词”“动词+动词”等。根据认知语言学临摹原则中的数量原则,评价短语要比单个评价词表达更强一些的倾向性。“简洁大方”要比“简洁”表达的倾向程度更强一些。因此,对此类短语,采用求评价词均值①每一个评价词在评价词典中都会标有极性和极性值。褒义评价词标记为po,极性值在1和0之间,贬义评价词标记为ne,极性值在0和-1之间。再加权的算法,运算结果为该短语的倾向程度值。计算规则举例如式(1)所示。

这种全部由变量(即范畴,非具体词,如a、po等)组成的规则,可称之为共性规则。该规则的含义是:当两个褒义的形容词组成评价短语时,将两词的极性值相加除以2再乘上1.2。规则右部的N1、N2指规则左部第一项、第二项的倾向值。如“简洁”“大方”在词典中的极性值各为0.5,根据规则(1)计算后,该短语极性值为(0.5+0.5)/2*1.2=0.6,高于单个评价词。词典和规则中的这些数值均为人工经验值,根据语感得出,可根据研究的深入与语料的实际情况进行调整。

属于支配或从属关系的评价短语有“形容词+名词”“副词+动词”“副词+形容词”“名词+形容词”“名词+动词”“动词+名词”等。该类型的短语根据其中所包含两个评价词的倾向性一致或不一致又可以分为两种情况。

当短语中两个评价词倾向性一致时,短语的倾向极性与评价词的倾向极性一致。其计算方式基本同于并列短语。规则举例如式(2)所示。

如“真挚感谢”,在评价词典中“真挚”“感谢”的极性值均为0.5,通过规则计算,评价短语“真挚感谢”的极性值为0.6。

短语中两个评价词倾向不一致的情况不多,其中核心词的倾向往往决定短语的倾向。如“缺乏亮点”,是动宾短语,“缺乏”是动词,核心词,贬义倾向,“亮点”是名词,褒义倾向,该短语的评价倾向是负面的。“著名杀人狂”,是偏正短语,“著名,褒义倾向,“杀人狂”,贬义倾向,核心词是“杀人狂”,整个短语是负面倾向。这种评价短语的处理可制定规则如式(3)、式(4)所示。

规则(3)的含义是:一个评价动词后带一个评价名词时,整个短语的倾向值同评价动词;规则(4)的含义是:一个评价形容词后带一个评价名词时,整个短语的倾向值同评价名词。不可否认,语言中什么样的情况都可能出现,对不符合这两条规则的语言现象,可通过制定特殊规则或直接加入词典解决。

2.修饰词+评价词

根据倾向计算的需要,可将常见的修饰词分为增强型、减弱型、否定型和特殊型四种。增强型的功能是增强评价词的倾向强烈程度,减弱型的功能是减弱评价词的倾向强烈程度,否定型主要是改变评价词的倾向极性,特殊型与评价词组合往往呈现否定的倾向(表1)。

表1 修饰词分类表

续表

专门建一部修饰词词典,根据修饰词的修饰作用强烈程度,在词典中分别为每个词赋予一个2至-2之间的数值。如“最2;很1.5;有点0.5;不太0.5;不 -1;很不 -1.5”。这些值也是一种经验值,根据人的语感给出。

增强型、减弱型、否定型修饰词的作用在于增强、减弱或翻转评价词的倾向,根据这一关系制定规则如式(5)所示。

该规则表示:当一个修饰词和一个评价词组合时,将评价词的倾向值乘以修饰词的值,运算结果为该短语的倾向值。例如,“最优秀”,优秀的倾向值是0.5,该短语的倾向值是0.5*2=1,高于“优秀”;“有点愚蠢”,愚蠢的倾向值是0.5,该短语的倾向值是0.5*0.5=0.25,低于“愚蠢”;“不大漂亮”,漂亮的倾向值是0.5,该短语的倾向值是0.5*-0.5=-0.25,不大漂亮,基本是负面的,但程度不是太强,这些值基本上符合人们的语感。

特殊型修饰词与评价词的倾向计算需要制定专门的规则。我们放在下一部分讲。

3.普通词+评价词

“普通词+评价词”的短语类型,通常情况下短语的倾向极性和强度与评价词的极性和强度相同,因此直接取评价词的倾向值。例如,“内涵浅薄”,“内涵”为普通词,词典中可查到“浅薄”评价极性为ne,极性值为-0.5,通过简单计算,短语“内涵浅薄”的值为-0.5。

3.2 特殊评价短语的倾向计算

特殊评价短语的倾向性计算采用两种处理方式:一是制定带有常量(即具体词)的评价短语计算规则,即个性规则,二是将其直接加入评价词典。

一个具体的评价短语,应该采用哪种方式处理,主要看组成这个短语的词中是否有一个词可以扩展到某一类词,且扩展后是否还能做统一的处理。例如,短语“消除贫困”由两个负面倾向的评价词组成,但是整个短语却表达正面的倾向,是一个特殊的评价短语,经过研究后我们发现,可以将其中的评价词“贫困”扩展到几乎所有能与“消除”相结合的负面倾向评价词,如“烦恼”“业障”“疾病”“危害”“腐败”等,因此我们就可以为此类短语制定一条规则。而短语“有意思吗”中的几个词都很难扩展到有相同规律的一类词,就不适宜为其制定规则,最好采用将其加入评价词典,并人工为其赋值的处理方法。

这种带有常量的评价短语计算规则具有较强的处理能力,可以解决很多特殊性的语言现象,如式(6)所示。

该规则表示,当“解决”“消除”之后跟的是一个负面倾向的评价词时,评价短语的倾向值等于该评价词的值加权减弱后的翻转。例如,“消除贫困”,在评价词典中得到这两个词的倾向值“消除0.5;贫困-0.5”,如果使用通用的短语计算规则进行计算,得到的短语值为-0.6,与人的实际语感明显不符。运行计算规则(6),得到短语“消除贫困”的值为0.25,表明它是个正面倾向的短语,但倾向值较低,这与人的语感比较接近。

又如,“节俭”是褒义词,正面倾向。但“过于节俭”,就变成贬义了。“简陋”是贬义词,负面倾向,“过于简陋”,仍然是负面倾向,只是加深了程度。因此可制定规则如式(7)、式(8)所示。

这样“过于节俭”的短语倾向值就是0.5*-0.8=-0.4,是负面倾向,但程度不是很深;“过于简陋”的短语倾向值是-0.5*1.2=-0.6,仍是负面倾向,且程度加深。

再如,“高、大、长”等在倾向性分析中是一些比较特殊的词,它们有时是评价词,有时不是评价词,与某些词搭配表达的是正面倾向,与某些词搭配表达的是负面倾向。这些词无法在词典中直接给出倾向和倾向值,也需要通过规则来获得它们的倾向极性和倾向值,如下式所示。

这些规则的含义是:当第一项中的“油耗、价格”等词,自由越过一些词(但不能越过标点符号),与“高、大、长”等词搭配时,要赋给“高、大、长”等词或正面或负面的倾向值。

对那些无法扩展、不具有规律性的常用评价短语,采用直接将其收入短语评价词典的方式处理。比如“是男人吗、还是人吗、太好了、忽悠人、不对劲儿、不负责任、大跌眼镜、令人不安、不是东西、吃饱了撑的、什么玩意、没救了、支持你、有想法、顶一哈、没一个好东西、非常好、赞一个、还有天理吗”等,需要逐一将其加入短语评价词典。短语颗粒度大于词,作为评价因子,评价短语表达的语义内容以及倾向极性也比词更明确。如果将“好”作为一个评价词收入词典,风险非常大,因为它经常不表示评价,但把“非常好”作为一个评价短语收入词典,就几乎没有什么风险。就此来看,短语评价词典的建立十分必要。

建立短语评价词典所遇到的问题是:截取多长的单位合适?从理论上说,一般情况下,颗粒度越大、越长的语言单位表义越完整、越明确,歧义性越小,计算处理的风险就越小;但与之相应的是,颗粒度越大,语言单位越长,需要记入词典的东西就越多,直至无限,无法计算处理。因此,需要在表达倾向明确和最小颗粒度之间找到一个合适的“度”,即找到一个最小的能明确表达评价意义的语言单位,我们称之为“最小评价因子原则”。

“最小评价因子原则”不仅适用于评价短语,也适用于所有带有评价意义的语言单位。比如“优秀”是最小的具有评价意义的单位,我们就没有必要在词典中收入“非常优秀”;“良心”一词,大多数评价词典会收录,但它本身确实不能独立表达评价意义,只有在与“有”或“没”组合时,才能表达明确的评价意义,因此我们将其从词典中删除,运用添加语义特征标记、制定特殊规则的方法处理。“还是人吗”,看上去似乎是个句子了,但去掉哪一个词,都不再能明确表达负面的评价意义,它确实是最小的评价因子了,所以应收录在短语评价词典中。

最后应说明,规则与词典既不相互对立,也不各自独立,而是互动,且可以相互转化的。如前面说到的“高、大”之类,它们与特定词组合成的短语“油耗高”“价位高”“成本高”“风险大”“空间大”“噪音大”等,可以采用将其加入短语评价词典并为其赋值的处理方法,也可以采用上面提到的制定特殊规则来计算的方法。

4 实验结果

为了验证评价短语计算的有效性,我们以中国传媒大学国家语言资源监测与研究有声媒体中心开发的倾向性分析系统CUCsas为工具,针对语言文字舆情语料进行了对比实验;为了考察本研究使用的方法在同类计算工具中所处的水平,又分别参加了2012和2013年的CCF中文微博倾向性分析评测,针对微博语料进行了实验。下面具体介绍。

4.1 语言文字舆情语料的实验结果

这部分实验采用的是中国传媒大学语言文字舆情标注语料库。该语料库共有400篇文章,有9 362个句子,由人工进行的句子和篇章级的倾向性标注。

实验分为两次:第一次,抽出短语规则和短语评价词典,仅保留评价词和句子规则,用CUCsas对生语料进行自动分析,得出实验结果并予以记录;第二次,加入短语计算规则和短语评价词典,得出实验结果并予以记录。分别将两次实验数据与人工标注数据进行比对,以表明评价短语对倾向性计算的影响。

第一次实验结果如表2所示。

表2 不含短语规则及短语词典计算结果

第二次实验结果如表3所示。

表3 包含短语规则及短语词典计算结果

对比两次实验数据,可以看出在倾向极性判断上,第二次的实验结果明显地优于第一次,这主要归功于相应的评价短语计算规则以及短语评价词典。

4.2 微博语料的实验(评测)结果

这部分实验采用的是2012、2013年CCF自然语言处理与中文计算会议中文微博情感分析评测提供的微博语料,该语料由会议组织者召集专门人员进行人工标注。组织者通过将各个参与队伍提交的标注结果与人工标注的结果进行比对,计算出各队的分析结果。

表4列出了CUCsas系统在2012年CCF评测中的结果数据。

表4 2012CCF评测中CUCsas对微博语料的分析结果

上述成绩在参加2012CCF评测的34支队伍提交的53组结果中,观点句识别子任务获得第二名(第一名微平均F值为0.784),倾向极性判断子任务获得第三名(第一名微平均F值为0.850)。在评价要素抽取子任务中,无论严格计算还是宽松计算,CUCsas系统的分析结果均为最好成绩,获得第一名。

表5列出了CUCsas系统在2013年CCF评测中的结果数据。2013年CCF评测中只设置了评价要素抽取及极性判断任务。

表5 2013CCF评测中CUCsas对微博语料的分析结果

在参加2013CCF评测的15支队伍提交的19组有效结果中,无论严格计算还是宽松计算,CUC-sas系统的分析结果均为最好成绩,获得第一名。

上述结果说明,针对微博语料,加入评价短语规则与评价短语词典的倾向性分析方法也是有效的。

5 结语

评价短语是评价因子之一,是倾向性分析研究的重要内容。本文分析了评价短语的类型,提出了不同类型评价短语所采用的计算策略。短语计算规则和短语评价词典的互动是本文采用的基本方法。在制定规则时,应考虑共性与个性相结合的原则,在建立短语评价词典时,应遵循最小评价因子原则。实验证明,该方法对提高倾向性分析系统的准确率有较大帮助。

[1]Kennedy,Alistair,Diana Inkpen.Sentiment classification of movie and product reviews using contextual valence shifters[J].Computational Intelligence,2006,22(2):110-125.

[2]Li,F.,Zong,C.Multi-domain Sentiment Classification[C]//Proceedings of ACL 2008.2008:257-260.

[3]杨江.语言文字舆情自动监测的基本方法和关键技术研究[D].中国传媒大学博士学位论文,2011

[4]周立柱,贺宇凯,王建勇,情感分析研究综述[J].计算机应用,2008,28(11):2725-2728.

[5]魏韡,向阳,陈千.中文文本情感分析综述[J].计算机应用,2011(12):3321-3323.

[6]侯敏,滕永林,李雪燕,等.话题型微博语言特点及其情感分析策略研究[J].语言文字应用,2013(2):135-143.

[7]赵妍妍,秦兵,刘挺.文本情感分析[J].软件学报,2010,21(8):1834-1848.

[8]李钝,曹付元,曹元大,等.基于短语模式的文本情感分类研究[J].语言计算机科学,2008,35(4):132-134.

猜你喜欢
修饰词倾向性极性
基于模糊数学法的阿舍勒铜矿深部岩体岩爆倾向性预测
学加修饰词
跟踪导练(四)
我属“懒”
表用无极性RS485应用技术探讨
关于医患冲突报道的倾向性分析——以“湘潭产妇死亡案”为例
一种新型的双极性脉冲电流源
电源技术(2015年5期)2015-08-22 11:18:28
“没准儿”“不一定”“不见得”和“说不定”的语义倾向性和主观性差异
语言与翻译(2015年4期)2015-07-18 11:07:43
一种面向博客群的主题倾向性分析模型
基于语料库的中国英语学习者期刊论文中的弱化修饰词研究