基于句法结构的评价对象抽取方法研究

杨云

基于句法结构的评价对象抽取方法研究

杨云

文本情感分析是自然语言处理领域的重要研究问题。本文主要对文本情感分析的底层任务——情感信息抽取中的评价对象抽取进行研究，为情感分析的上层任务提供服务。对预处理后的结果进行特征提取，再将特征提取的结果与相应模板输入CRF(Conditional Random Field)模型进行训练与识别。在特征提取上，通过深入分析句法结构，在已有特征的基础上加入了三种特征。在模板上，在多种窗口大小的模板上进行了对比实验，选取性能好的模板。实验结果验证了此方法的有效性、系统性能均优于基线实验且能为准确地抽取评价对象。

句法结构；情感分析；评价对象；CRF模型

文本情感分析亦称意见挖掘，主要是对具有感情色彩的主观性文本进行分析、处理、归纳的过程，是一个重要且有应用价值的研究课题[1]。文本情感分析主要有三项递进的研究任务：情感信息抽取、情感信息分类和情感信息的检索与归纳。情感信息抽取中的评价对象抽取是抽取出评论中所讨论的主题，为情感分析任务提供帮助。

一、国内外研究现状

现有的评价对象抽取方法分为基于规则/模板和基于统计的方法。基于规则/模板有：H u和L i u[2]最先提出评价对象抽取的问题，使用关联规则挖掘算法来抽取评价对象，认为出现频率较高的名词是评价对象。Popescu[3]等人通过定义抽取规则和规则模板来抽取潜在产品特征，并判断评价短语的极性。Zhuang[4]等人通过定义电影特征、相关特征的评价词语和特征—评价短语对来挖掘电影评论中的显性特征和部分符合定义规则的隐性特征。Scaffidi[5]等人通过抽取特征术语和排序产品特征来快速定位用户所需的产品，从而完成产品特征—评价对象的抽取。赵妍妍[6]等人通过统计句中出现频繁的句法路径，并对句法路径进行进一步泛化，使用基于句法路径精确匹配和基于编辑距离的方法来识别情感评价单元。基于统计的方法主要有：Jakob和Gurevych[7]将评价对象抽取任务建模成序列标记任务，使用C R F模型[8]来标记评价对象。L i u[9]等人使用基于词的翻译模型(Word-based Translation Model)的评价对象抽取方法，能够捕获大跨度的评价关系。L i u[10]等人在W T M方法的基础上进行了改进，提出了基于部分监督词对齐模型(PartiallySupervised Word Alignment Model, PSWAM)的评价对象抽取方法，选取置信度高的为最终的评价对象。Liu[11]等人在不同规模、语言和领域的数据集上验证了基于语义和基于词对齐模型的评价对象抽取方法的性能，实验证明系统性能与语言和领域无关，而与语料的规模有关。

已有的评价对象抽取方法存在不足之处。基于规则/模板的方法通用性不强，有的规则是根据传统算法、语料的特点和领域相关的词语而制定，把这些规则移植到其他领域不会得到很好的效果；模板的限定范围有限，不能准确识别特殊的评价对象。而基于统计的方法往往忽略了句子间的内部结构信息，如句中的依存关系等信息，识别的效果有限。因此，本文将基于规则/模板的方法与基于统计模型的方法相结合，深入考虑句法结构信息和词与词之间的依存关系，使用基于句法结构的评价对象抽取研究方法，对分词、词性标注和句法分析后的结果进行特征提取，并借助C R F模型来标记评价对象，实验证明能很好地识别评价对象且优于基线实验方法。

二、基于句法结构的评价对象抽取方法

本文提出了基于句法结构的评价对象抽取方法，图1给出了系统框图。

在预处理阶段对原始语料进行分词、词性标注和句法分析，使用S ta n f o rd的自然语言处理工具；在特征提取阶段，充分考虑句法结构信息，在已有特征的基础上加入了三种特征；在特征模板的定义上，定义了两种模板，用于验证不同大小的窗口对实验系统性能的影响；最后借助C R F模型来标记评价对象。

图1 基于句法结构的评价对象抽取方法框图

(一)特征描述

在选取已有特征[7]的基础上，通过深入分析句法分析后的句法结构，加入三种特征。具体的特征描述如表1所示。

表1 特征描述

其中，编号1—编号5为已有特征，编号6—编号8为本文加入特征。情感词是情感词对挖掘的重要识别指标，考虑加入情感词特征以提高实验性能；依存关系标签如“n su b j”等，通常连接着评价对象与评价短语，即连接着情感词对；依存关系词清晰地展现了与当前词有依存关系的词。

将分词后的句子：“Canon 的分辨率还是很清晰的，外观也特别时尚。”输入到StanfordParser 中，得到依存关系，assmod (分辨率-3,Canon-1) 、assm (Canon-1, 的-2) 、nsubj (清晰的-6, 分辨率-3)、advmod(清晰的-6, 还是-4)、advmod(清晰的-6, 很-5)、nsubj(时尚-11, 外观-8)、advmod(时尚-11, 也-9)、amod(时尚-11, 特别-10)、dep(清晰的-6, 时尚-11)。其中，依存关系标签nsub 连接着情感词对，nsubj (清晰的-6, 分辨率-3)和nsubj(时尚-11, 外观-8)。

（二）模板定义

模板反映了每句评论句中词间的上下文信息。模板选取的好坏，对于实验的特征选取起着关键作用。模板用于控制词之间的窗口大小，窗口过小，所包含信息过少，特征利用不全面，导致系统性能降低；窗口过大，引入了过多的信息，降低了运行效率，实验效果也未必提高。

本文模板定义选用的窗口大小定义的通式为：(w-n,w-(n-1),…,w0,…,w n-1,w n)。为选取性能最佳的模板，探讨当窗口大小为t m p1=(-1，0，1)与t m p2=(-2，-1，0，1，2)模板的系统性能。

（三）C R F模块设计

在C R F模块中，使用了十折交叉验证的方法，把特征提取的结果分成十份，随机选取九份作为训练数据，一份作为测试数据；再将九份训练数据与相应地模板输入到C R F++中生成模型，再用生成的模型来训练一份测试数据并识别出评价对象。

三、实验及分析

（一）实验数据

本文模板定义选用的窗口大小定义的通式为：(w-n,w-(n-1),…,w0,…,wn-1,wn)。为选取性能最佳的模板，探讨当窗口大小为tmp1 = (-1，0，1)与tmp2 = (-2，-1，0，1，2)模板的系统性能。

表2 数据集规模统计

句子平均长度=单词总数/句子总数；评价对象平均长度=评价对象总数/主观句总数。

（二）实验设置

本文选用已有的特征[8]作为基线实验，并在多个模板上进行了对比与分析。已有特征包括表1中的词特征、词性特征、最短依存路径特征、最短词距离特征和是否是主观句特征。并在不同窗口大小的模板上进行了对比实验。

本文选用信息检索领域常用的评价指标：准确率P、召回率R和F值。

为测试系统性能的准确性，选用十折交叉验证的方式，理论上折数越大测试的系统性能越准确，当折数达到十折，已足以让系统性能取得最优。具体地，将特征提取后的结果分为十份，随机选取九份作为训练数据并与相应的模板一起输入到C R F模块中训练成模型，用模型来标识一份测试数据，以上过程重复十次，取十次结果的平均值作为最终的评价结果。

（三）实验结果与分析

本部分选取相同的模板，在三个不同的数据集上进行了实验，以验证特征与特征组合对系统性能的影响。表3是已有特征的词特征、词性特征及它们的特征组合的实验结果。

表3 基础特征实验结果

编号1是词特征，编号2是词性特征，编号3是词特征与词性特征的组合，称为基本特征。单独使用编号1(词特征)的效果要好于单独使用编号2(词性特征)的效果，二者的特征组合编号3 (基本特征)要优于编号1与编号2。词与词性是组成句子的最基本特征，因而词与词性的组合特征更为有效。

编号4到编号9是在基本特征的基础上，依次加入了最短依存路径特征、最短词距离特征、是否是主观句特征、情感词特征依存关系特征与依存关系词特征；编号4到编号9的系统性能均优于编号3基本特征的组合，且加入最短依存路径特征(d L n)的效果最明显，验证了深入分析句中的依存关系—句法结构信息的必要性。

编号10是已有特征的组合；编号11是在已有特征的基础上加入了情感词特征；编号12与编号13是在编号11特征组合的基础上依存加入了依存关系特征与依存关系词特征；编号14是所有特征的组合。

编号10中已有特征的组合的性能要优于编号1—编号9；编号11加入情感词特征的系统性能要优于已有特征，原因是情感词是识别评价对象的重要指标，且最短依存路径特征1与最短词距离特征2间接依赖于情感词特征；编号12与编号13在编号11的基础上依次加入了依存关系特征与依存关系词特征，依存关系标签是识别情感词对的重要指标，实验性能要优于编号11；编号14所有的特征组合取得了最佳的系统性能，验证了在已有特征的基础上加入本文加入的特征是有效的，能够在合适的窗口大小下识别评价对象。“电影”领域原因是“电影”语料的规模较大，且电影评论更为规范，因此识别的评价对象更为准确。

本文提出了一种基于句法结构的评价对象抽取方法，通过深入分析句子的句法结构信息，在已有特征的基础上加入了情感词特征、依存关系特征与依存关系词特征，并在两个不同的模板上验证了不同的窗口大小对实验性能的影响。经实验验证了本文方法的有效性。

表4 基础特征与单个特征组合实验结果

表5 特征组合实验结果

在未来的工作中，将继续探索更为有效的特征以提高评价对象识别的精度，为情感分析的上层任务服务。评论中有些评价对象为代词，考虑到评论句中代词的影响，尝试代词“指代消解”方法加入到本文方法，以提高系统性能，识别出更为准确的评价对象。

[1]赵妍妍，秦兵，刘挺.文本情感分析[J].软件学报，2010（21）．

[2]Hu M，Liu B.Mining and Summarizing Cus -tomer Reviews [C].Proc.of the tenth ACMSIGKDD international conference on Knowledgediscovery and data mining．New York：ACM，2004.168-177．

[3]Popescu A，Nguyen B，Etzioni O．OPINE：Extracting Product Features and Opinions fromReviews [C].Proc.of HLT/EMNLP on InteractiveDemonstrations.USA：Association for ComputationalLinguistics，2005.32-33．

[4]Zhuang L，Jing F，Zhu X.Movie Review Miningand Summarization [C].Proc．of the 15th ACMinternational conference on Information andknowledge management (CIKM).USA：ACM，2006.43-50．

[5]Scaffidi C，Bierhoff K，Chang E，et al．RedOpal：Product feature Scoring from Reviews[C]．Proc．of the 8th ACM conference on Electroniccommerce(EC)．USA：ACM，2007．182–191．

[6]赵妍妍，秦兵，车万翔，等.基于句法路径的情感评价单元识别[J].软件学报，2011，22(5)．

[7]Jakob N，Gurevych I．Extracting Opinion Targetsin a Single and Cross-Domain Setting with Conditional Random Fields [C].Proc.of the 2010Conference on Empirical Methods in Natural LanguageProcessing (EMNLP)．USA：Association forComputational Linguistics，2010.1035-1045．

[8]Lafferty J，McCallum A，Pereira F．ConditionalRandom Fields: Probabilistic Models for Segmentingand Labeling Sequence Data[C]. In Proceedingsof ICML. 2001: 282-289.

[9]Liu K，Xu L H，Zhao J．Opinion target extractionusing word-based translation model[C].Proc.ofthe 2012 Joint Conference on Empirical Methodsin Natural Language Processing and ComputationalNatural Language Learning (EMNLP).Associationfor Computational Linguistics．2012.1346-1356．

[10]Liu K，Xu L H，Zhao J.Opinion target extractionusing partially supervised word alignmentmodel [C].Proc.of the Twenty-Third InternationalJoint Conference on Artificial Intelligence.2013．

[11]Liu K，Xu L H，Zhao J.Syntactic Patterns versusWord Alignment：Extracting Opinion Targets fromOnline Reviews[C].Proc.of ACL.2013.

责任编辑：郭一鹤

T P391

A

1671-6531（2017）06-0067-05

杨云/长春教育学院信息技术教育部助教，硕士（吉林长春130061）。