周 强
(清华大学 信息技术研究院语音语言技术中心清华信息科学与技术国家实验室,北京 100084)
对话(dialog)是人类最基本的信息交互方式。对话理解模型需要重点关注信息交互过程中对话参与者的认知机制变化及其实现机理,这与独白(monolog)理解中关注的内容连贯性结构有很大不同。近年来,认知心理学家和心理语言学家在这方面进行了大量研究,提出了许多有效的对话理解模型。其中的典型工作包括: Clark提出的交际作为转换(communication-as-transfer)模型[1]、Pickering & Garrod提出的交互对齐(interactive alignment)模型[2]、Fusaroli 等人提出的人际协同(interpersonal synergy)模型[3]。
会话(conversation)是对话的语用表现形式,本文特指以文本形式记录的对话内容,大致可分为通过录音转写保存的面对面自然会话和互联网环境下通过键盘输入形成的网络会话(internet relay conversation, IRC)两大类。对话行为(dialog act, DA)描述了会话过程中话语消息(utterance)所发挥的交互作用,主要包括语义内容(semantic content)和交际功能(communicative function)两大部分。其中语义内容主要涉及话语消息相关的实体、关系、动作和事件内容;交际功能则主要关注对话参与者在理解了话语消息后使用其语义内容对其信息状态进行更新的行为方式。它们大致相当于Searle提出的言语行为(speech act)理论中使用的言内之义和言外之义两个概念[4],但其内涵和外延都有了新的扩展。从这个意义上说,对话行为分析可以看成是一种浅层的对话理解,可以作为进行更深入的对话理解模型探索的一个切入点。
从1997年起,国外在DA描述体系和标注语料库开发方面进行了大量研究,提出的典型DA描述体系有: DAMSL(dialogue act markup in several layers)[5], DIT(dynamic interpretation theory)++[6],ISO 24617-2[7]。构建的典型自然会话DA标注库有: 针对电话录音的SWBD[8]、针对会议记录的ICSI-MRDA[9]等。处理的网络会话DA标注库包括: 异步会话类的电邮E-mail和论坛Forum数据等[10〗、同步聊天数据[11]、微博类Twitter数据[12]、短信服务类数据[13]。相对而言,国内在这方面的研究工作则比较少,主要集中在针对访谈类语料的DA标注体系设计[14]和会话结构分析标注[15]方面,在自然会话和网络会话的DA标注方面还有许多研究工作亟待开展。
本文在汉语日常会话的DA标注体系方面进行了初步探索,提出了一套汉语日常会话DA标注体系,其主要特点是: ①引入主客观阐述和正反向反应子类描述,拓展了标注体系的DA描写能力;②引入连贯修辞对描述机制,与内置的DA依存对相配合,形成了更完整的会话结构描述体系;③引入话题线索分析机制,有效组织会话中的话题变化趋势,为后续处理网络会话中的话题纠缠问题打下了很好基础。基于500个日常会话片段的双人独立标注数据显示,该体系具有很好的可操作性,可以适应汉语日常会话中各种常用对话行为描述的应用需求,为后续进行汉语日常会话的对话行为自动识别和对话理解模型开发打下了良好的基础。
在下面几节中,我们首先介绍相关研究进展(第一节),然后分析我们的标注规范设计要点(第二节),并给出目前的实验分析数据(第三节),最后是初步结论和后续工作展望。
在自然会话研究方面,Allen and Core 综合前人的研究成果,提出了一种针对不同对话任务的通用对话行为描述体系DAMSL[5],把不同对话行为标记组织成如下四大板块: 交际状态(communicative status, CS)、信息水平(information level, IL)、前指功能(forward looking function, FLF)、后指功能(backward looking function, BLF)。该标记体系设计主要吸收了言语行为[4]和毗邻对(adjacency pairs)[16]理论的描述思想,采用多维度(multi-dimension)的标记设计方式,大大提升了该体系的通用性和灵活性。但由于没有很好地考虑不同信息维度的DA标记之间的内容互斥性,致使在实际应用中会产生DA标记的组合爆炸问题,不利于在此标记体系下进行相应标注语料的机器学习和知识获取研究[17]。
Switchboard-DAMSL(SWBD-DAMSL)是与DAMSL几乎同步进行的DA标注项目[8],主要针对自由话题的双人口语电话转录会话。首先使用DAMSL体系对所有SWBD中的205 000条话语消息进行了多人独立DA标注。通过统计分析,获取了220个不同的DAMSL标记组合。然后对这些标记进行了聚类重组,最终形成了包含42个单维度标记的DA标记集[17]。其主要贡献在于: 通过引入新的排斥性限制,重构形成了更为简练的单维度DA标记集,大大提升DA自动分析模型的处理效率。
ICSI(international computer science institute)会议记录项目主要关注多人对话内容[9]。其DA标注体系ICSI-MRDA(meeting recorder dialogue acts)主要基于SWBD-DAMSL,并针对多人对话的描述特点进行了改进和完善,补充了针对话轮控制(turn-taking)和不完整话语消息的DA描述标记。按照DA功能的相似度将所有DA标记重组为12个标记群,并进一步把这些标记群归并为两大等级(tier)T1和T2。每条话语消息的基本标注规则是: 选择一个T1标记和0~n个T2标记,即T1 (^ T2)*。这样,ICSI-MRDA的DA标记又重新回到DAMSL的多维度描述形式,但其中DA功能描述的深度和广度都有了新的提升。
Popescu-Belis对ICSI-MRDA标注数据进行了统计分析,加强了对两大描述等级T1和T2内部及两者之间的DA描述功能互斥性分析控制,重新归纳构建了MALTUS(multidimensional abstract layered tagset for utterances)标记集。据此最终形成29个不同的DA标记覆盖所有的ICSI-MRDA标注数据,并在两者之间建立直接的映射关系: ICSI-MRDAMALTUS[17]。
针对日常会话中话语消息固有的多功能性(multi-functionality)描述特点[18],DA标记集设计经历了从多维度组合(DAMSL)到单维度标记(SWBD),再到多维度组合(ICSI-MRDA)和单维度标记(MALTUS)的螺旋式发展历程。研究人员希望能根据不同会话的描述特点,在理论完备性和实际易操作性之间寻找到一个较好的平衡点。这里的处理关键是对DA描述维度的准确定义。
针对DAMSL在DA描述维度定义上的模糊性问题,Bunt提出了一种更为准确的DA维度定义方法[19],总结归纳了11个DA描述维度。据此,可以在DA描述的多功能性和多维度标记间,通过如下的语义相关原则建立起一一对应关系: 任意两个交际功能所赋予的描述维度或者是互斥的,或者存在逻辑蕴含关系[19]。Ptukhova & Bunt在三个会话标注数据上实际验证了这些DA维度之间的相互独立性[20]。
在此基础上,Bunt设计了一套新的基于动态解释理论(dynamic interpretation theory, DIT)[6]的DA标注体系DIT++[21]。把所有交际功能描述DA标记组织成两大部分: ①通用目的功能(general-purpose functions, GPFs)标记;②特定维度功能(dimension-specific functions, DSFs)标记。DIT++已在多个会话标注库上得到应用,包括DIAMOND指令型双人德语会话库、AMI面向任务的多人英语会话库、OVIS信息搜寻类人机会话库等。欧盟项目LIRICS也使用了精简的DIT++标注集。其中在德语和英语标注库上三人独立标注的高一致性显示了DIT++标记的实用价值[22]。
从DAMSL到DIT++,经过十多年的发展,集成各个对话行为标注集的描述特点,逐步形成了一个DA标注领域的国际标准: ISO 24617-2[7]。Bunt 等人介绍了该标准草案的基本内容[23],细化了两类DA依存关系描述方法。Bunt等人则对该标准最终版中补充的修辞关系和量化子等修改内容进行了分析说明[24]。
近年来,国内研究者在汉语访谈类语料的对话行为和会话结构分析标注方面也进行了一些研究。杨平提出了一套针对访谈语料的对话行为分类体系,分析了访谈问句体现的挖掘信息、组织对话和表达态度等对话行为特点[14]。王珊等采用包含五个大类、16个小类的会话结构描述体系,对20个典型访谈节目片段中的话语消息进行了会话结构的详细标注[15]。这些研究与国外在自然会话上的对话行为分析标注形成了很好的互补借鉴效果。
从2010年起,随着社交媒体的应用和普及,出现了大量网络会话语料(Internet Relay Conversation, IRC),对其中的话语消息进行DA分析标注逐渐成为学术界新的研究热点。但其相关研究更关注DA自动分析建模,相应的DA标记体系设计则相对比较简单,大多沿用已有的自然会话DA标注体系,如 DAMSL、DIT++等,针对IRC语料的实际应用需求进行简化压缩,重点标注IRC语料中的不同话语消息的GPFs。下面对相关内容进行简要分析说明。
Joty等人主要关注IRC中的异步会话语料,包括电邮E-mail和论坛Forum数据等。从MRDA标记集中选择了12个DA标记分别对40个电邮线索和200个论坛线索数据进行了分析标注。其中的高频DA标记包括Statement、Question、Response、Action motivator、Polite mechanism等,大多可以归入DIT++的GFPs和社会义务管理SOM维度中[10]。
Kim等人主要关注IRC中的同步聊天语料,包括话题比较明确的双人客服会话、网络课堂多人讨论和话题随意的日常聊天等。其中话语消息的不规范性和话题纠缠(topic entanglement)问题比较突出。从DAMSL标记集中选择了14个DA标记对包含5 276条话语消息的15个图书馆论坛聊天组进行了分析标注。其中的高频DA标记包括Statement、Response、Question、Background、Opening、Closing等,其统计分布特点与 Joty等人在异步电邮和论坛语料上得到的数据非常类似[11]。
Zarisheva & Scheffler主要关注IRC中的微博类Twitter数据。针对Twitter中不同内容体裁和描述风格混杂的会话特点,从DIT++标记集中选择了所有通用目的功能GPFs和三类特定维度功能: 话语结构关系DSM、社会义务关系SOM和自我交际关系OCM,对1 213条德语Twitter数据进行了DA标注和分析[12]。
Xue 等人主要关注IRC中的短信服务(short message service, SMS)类数据。针对SMS中类似电邮的异步会话描述特点,采用基于DAMSL的FLF-BLF对话行为关系对和基于PDTB[25]的修辞连贯关系对相结合的SMS会话结构描述体系,对44个SMS数据文件进行了对话行为和会话结构的分析标注[24]。
本节基于上节对前人研究的综述分析,针对汉语日常会话描述特点,总结形成了一个汉语对话行为分析标注规范。本节主要内容包括标注单位选择、标注体系设计、具体实例分析。有关该标注规范的详细内容,可参阅参考文献[26]。
给定一个日常会话片段,进行对话行为标注的第一步是选择合适的标注单位。综合前人的研究成果,在标注单位选择方面一般可分为以下三个处理层次。
(1) 话轮单位(turn unit): 指对话过程中某个对话参与者临时控制话语权,在一定时间内产生或发出的一段信息。一个话轮传递的信息可以是一个词语片段、一个句子或一个复杂段落。考虑到话轮描述内容的复杂性和多样性,研究人员一般不选择它作为DA标注单位。
(2) 话语消息单位(utterance unit): 指一个话轮中对话参与者发出的一条信息。在文本形式记录的话轮单位中,一般以其中的结句点号(包括句号、问号、感叹号等)作为标记自动切分出来,大致相当于书面独白语篇中的句子(sentence)单位。话语消息是许多DA标注体系(如DAMSL、SWBD、MRDA)选择的基本标注单位。
(3) 功能片段(functional segment): 指一个话语消息中可以表征某个交际功能的最小信息单位。在文本形式记录的话语消息中,大多表现为以逗号、分号等分隔点号切分的小句(clause)单位。Bunt在分析话语消息的多功能特点时,详细定义了这个处理单位[27]。它是DIT++和ISO 24617-2等近年来新提出的DA标注体系选择的基本标注单位。
我们对DA标注单位的选择原则是: 以话语消息作为基本标注单位,在某些多功能的话语消息上,进一步切分出功能片段来描述其中的各个特殊交际功能,以此作为DA标注的最小处理单位。
在DA标记体系设计方面,则采用交际功能和语义内容描述并重的处理原则。在交际功能描述方面,设计了一个核心功能(core functions)标记集,提取类似DIT++中的通用目的功能,对不同类型会话的核心功能进行描述;同时,自由选择组合多个特定维度功能,与核心功能相结合,共同完成相关交际功能的完整分析标注。在语义内容描述方面,设计了一个话题线索(topic threads)标记组,将会话片段中描述同一话题内容的话语消息组织在一起。在此基础上,进一步分析各个话语消息/功能片段间的DA依存关系和修辞连贯关系,凸显话题线索内部的会话结构表示,初步形成对会话片段中隐含的参与者交际意图和内容主旨的全面分析理解。
对于核心功能标记集,吸收DAMSL中的FLFs、BLFs和DIT++中的GPFs描述精髓,补充ISO 24617-2中的DA依存对机制,初步形成如下五类核心功能标记。
(1) 阐述(statement)类: 细分为针对外部客观世界的实体/事件描述(S-1)和针对内部主观世界的认知/评价描述(S-2)两个子类。
(2) 询问(question)类: 细分为是否问题(Q-1)、选择问题(Q-2)、特指问题(Q-3)和其他问题(Q-4)四个小类。
(3) 动作(action)类: 细分为说话者承诺完成动作(DO-1)、受话者预期完成动作(DO-2)和会话双方协同完成动作(DO-3)三个小类。
(4) 回答(answer)类: 对于是否问题(Q-1),增加A-1、A-0两个标记,显性表示“是/否”答案信息。大部分情况下,可与会话中该回答对应的问题会形成Q-A功能依存对。
(5) 反应(response)类: 细分为同意/接受(R-1)、否定/拒绝(R-2)、中立/评价(R-3)、保留(R-4)等四个小类。大部分情况下,可与上文的阐述或动作类话语消息/功能片段形成S-R或DO-R反馈依存对。
对于特定维度功能,目前主要选择社会义务管理(SOM)维度,设置打招呼、自我介绍、道歉、感谢、告别、祝贺及其他等七个社会义务行为标记。对于话题线索,采用简化的话题线索标记: T<话题序号>,使用不同自然数表示会话中使用的不同话题内容。对于修辞连贯关系,基本沿用已有的书面独白语篇连贯性描述体系中设计的连接关系标记[28],并通过设置连贯标记显性标注会话中可能的修辞连贯对。
为方便处理,我们把每个经过DA标注处理的会话片段保存在一个矩阵数据表中。矩阵的每行依次保存语篇中的各个话语消息/功能片段及其相应的DA分析标注结果。矩阵中的每列从左到右依次保存以下信息: 1~3列为会话基本信息,包括消息编号、参与者ID和话语片段等;4列为话题线索;5~6列为连贯修辞对描述,包括连贯标记和修辞关系;7~9列为交际功能描述,包括依存标记、核心功能和特定维度等;最后第10列为备注。
表1给出一个具体标注实例,从中可以看出: ①第11条话语消息被人工切分为两个功能片段,便于准确标注两者不同的交际功能: 11-1同意反应R-1,11-2主观评价S-2;②多功能DA标注是常见现象,第4、5、7、10、13条话语消息都标注了两个核心功能标记;③通过交际功能标注而形成的内置DA依存对,我们在“依存标记”类中使用了不同标记进行显性标注,如: 4-5条消息间形成的反馈依存对S-2R-2(依存标记=2-1);6-7条消息间形成的功能依存对Q-3A-1(依存标记=1-1);④连贯修辞对主要反映了话语消息描述的语义内容之间的关联性,如 4-5条消息内容间形成的因果连接关系4-1;⑤话题线索标记反映了会话中不同话题的变换内容,如6-16条消息共同组成的话题线索组T2反映了其中工作技巧话题的描述内容。
表1 一个标注实例
基于上述DA标注规范,我们选择了500个日常会话片段*相关原始数据由博彦科技提供,特此表示感谢。进行了初步的DA标注实验。这些会话片段按照话题内容不同组织成工作、饮食、爱情、交通和天气五大组,每组包含100个会话片段,每个片段包含20条话语消息,合计10 000条消息。我们安排了两名研究生分别独立进行DA分析标注,得到两份完整的DA标注数据。表2显示了其中一份标注数据的汇总统计结果。从中可以看出:
(1) 在标注过程中对25%左右的话语消息进行了功能片段的人工切分,显示出目前DA标注过程中选择合适标注单位的必要性和重要性。如何设计有效的自动功能片段切分模型是后续研究中需要解决的一个重要DA预处理技术。
(2) 平均每条话语消息/功能片段上标注的核心功能或特定维度功能达到了约1.1个,初步显示了日常会话中话语消息的多功能描述特点。其中的核心功能占了98.3%的绝大多数,基本符合我们的预期判断。
(3) 在目前标注的5 840个DA依存对中,功能依存和反馈依存所占比例分别为31.2%和68.8%。更深入的研究发现,心理距离不同的会话者选择的不同话题会话中,两种DA依存对的分布比例会显示出不同差异。心理距离较大的会话者选择的天气、交通等话题会话中,Q-A功能依存对所占的比例会较小。相关详细内容将另文发表。
(4) 目前标注的话题线索组平均可覆盖约13条话语消息/功能片段,包含约六个DA依存对。如何发现消息片段和DA依存对组合形成话题线索的内在规律,探索日常会话中话题线索的转换机理,将是后续研究中一个亟待解决的核心课题。
表2 对话行为标注的整体统计数据(交际功能=核心功能/特定维度;DA依存对=功能/反馈)
表3记录了核心功能及其相应的DA依存对的汇总统计数据。从中可以发现:
(1) 在汉语日常会话中,五大核心功能标记从大到小的分布比例分别为: 阐述S—32.57%, 反应R—30.15%, 询问Q—13.67%, 回答A—13.67%, 动作DO—9.94%。这与英文电话录音[8]和同步聊天库[11]中获取的统计数据分布基本一致。对其中使用最多的两类核心功能: 阐述S和反应R的子类标记分析统计发现,客观描述(S-1)和主观评价(S-2)所占比例分别为64%、 36%;同意/接受(R-1)、中立/评价(R-3)和否定/拒绝(R-2)所占比例分别为: 46%、41%、12%。而且不同话题的会话片段中的相关分布比例基本一致。如何有效区分核心功能子类,对后续DA标记自动识别提出了新的挑战。
(2) 在DA依存对中占比69%(4 017/5 840)左右的反馈依存对中,阐述-反应类(S-R)又占了绝大多数(82%以上)。它们与询问-回答类(Q-A)功能依存对共同形成了日常会话中最常用的交际模式。更深入的统计数据分析发现,Q-A依存对大多出现在话题线索首部位置作为话题转换标记,而S-R依存对则主要出现在话题线索内部作为话题连接手段,而且不同子类的依存对在话题线索首部/内部的分布比例还有较大差异。如何有效利用DA依存对与话题线索之间的复杂关联特征,是后续会话结构自动分析中需要重点关注的一个技术难点。
表3 核心功能和DA依存对的汇总统计数据
基于双人独立标注数据,我们进一步分析了两个标注者针对不同DA标注项的宏一致率,得到表4的汇总数据。其中宏一致率的计算方法是: 首先计算针对每个标注者的一致率,计算公式为: 完全一致的标注项总数/该标注者的该类标注项总数,然后计算两个标注者一致率的算术平均值作为宏一致率。相关数据表明:
(1) 核心功能标记的宏一致率达到了91%以上,相应的DA依存对宏一致率也达到86%左右。而特定维度标记的宏一致率则略低,约为85%左右。其主要原因是它们在总体DA标注中只占了1.7% 左右,如果出现几个因个人认识偏差而产生的标注差异情况,就会造成最终宏一致率数据的较大波动。总体而言,目前的DA标记集设计具有很好的可操作性,可以满足汉语日常自然对话中的行为功能模式描述需求。
(2) 连贯依存对的宏一致率达到了92%左右,表明标注者能够很好地分析、理解日常对话中相邻话语消息的内容连贯性。如何深入探索这些连贯依存对与DA依存对之间的信息互补性在对话理解中的重要作用,是后续研究中需要关注的一个问题。
(3) 话题线索的宏一致率只有70%左右,这从一个侧面反映了对日常会话中话题线索的把握具有较高的认知难度,对后续的自动话题线索识别研究提出了新的挑战。
表4 两个独立标注者的一致性汇总分析数据
本文综合DAMSL、DIT++、ISO 24617-2等目前常用DA标注体系的描述精髓,设计了一套针对汉语日常会话的对话行为标注体系。通过引入主客观阐述和正反向反应子类描述,拓展了对不同交际功能的描写能力。同时引入话题线索分析机制,有效组织会话中的话题变化趋势,为后续处理网络会话中的话题纠缠问题打下了良好基础。在500个日常会话片段上进行的DA标注实验结果显示,占比98.3%的核心功能标记的双人独立标注宏一致率达到了91%以上,相应的DA标记对宏一致率也达到86%左右,表明目前的DA标记集设计具有很好的可操作性,可以满足汉语日常会话的行为功能模式描述需求。
在后续研究中,我们将探索基于目前DA标注库的汉语日常会话对话行为和话题线索自动识别技术,深入分析基于对话行为的会话结构模式与话题线索转换之间的复杂心理认知机理,并把相关DA标注体系扩展应用到微博、微信等网络会话语料上,挖掘互联网话语中的会话结构描述特点,逐步探索互联网话语的认知计算模型。
[1] Clark H H. Using language [M]. New York: Cambridge University Press, 1996.
[2] Pickering M J, Garrod S. Toward a mechanistic psychology of dialogue [J]. Behavioral and Brain Sciences, 2004(27): 169-190.
[3] Fusaroli R, Raczaszek-Leonardi J, Tylen K. Dialog as interpersonal synergy [J]. New Ideas in Psychology, 2014(32): 147-157.
[4] Searle J R. Speech Acts [M]. Cambridge: Cambridge University Press, 1969.
[5] Allen J, Core M. DAMSL: Dialogue Act Markup in Several Layers (Draft 2.1) [R/OL]. University of Rochester, Rochester, NY, 1997. http://www.cs.rochester.edu/research/cisd/resources/damsl/ RevisedManual/.
[6] Bunt H. Dialogue pragmatics and context specification[M]//Harry Bunt & William Black. Abduction, Belief and Context in Dialogue. Benjamins, Amsterdam, 2000:81-150.
[7] ISO DIS 24617-2. Language resource management-Semantic annotation framework (SemAF) [S]. Part 2: Dialogue acts. ISO, Geneva, 2010.
[8] Jurafsky D, Schriberg E, Biasca D. Switchboard SWBD-DAMSL shall-discourse-function annotation coders manual[R/OL]. http://stripe.colorado.edu/$ sim$jurafsky/manual.august.html,1997.
[9] Dhillon, Rajdip, Bhagat, Sonali, Carvey, Hannah, & Shriberg, Elizabeth. Meeting recorder project: dialog act labeling guide[R]. Technical Report TR-04-002. ICSI, Berkeley, CA, 2004.
[10] Joty S, Carenini G, Lin C Y. Unsupervised modeling of dialog acts in asynchronous conversations [C]//Proceedings of the 21st International Joint Conference on Articial Intelligence, 2011.
[11] Kim, Su Nam, L.Cavedon, T. Baldwin. Classifying dialogue acts in multi-party live chats[C]//Proceedings of the 26th Pacific Asia Conference on Language, Information and Computation, 2012: 463-472.
[12] Zarisheva Elina, T Scheffler. Dialog act annotation for Twitter conversations[C]//Proceedings of the SIGDIAL 2015 Conference. Prague, Czech Republic, 2015: 114-123.
[13] Xue Nianwen, Su Qishen, Jeong S. Annotating the discourse and dialogue structure of SMS message conversations[C]//Proceedings of the 10th Linguistic Annotation Workshop,2016: 180-187.
[14] 杨平. 面向自然语言处理的会话行为分类研究 [J]. 语言文字应用,2007(3): 128-135.
[15] 王珊, 刘锐. 谈话节目语料库的构建与会话结构分析 [J]. 中文信息学报,2016, 30(6): 140-146.
[16] Levinson, Stephen C. Pragmatics [M]. Cambridge: Cambridge University Press, 1983.
[17] Popescu-Belis, Andrei. Dialogue act tagsets for meeting understanding: An abstraction based on the DAMSL, Switchboard and ICSI-MR tagsets [R]. IM2.MDM-09. University of Geneva, 2003.
[18] Bunt H. Multifunctionality and multidimensional dialogue semantics [C]//Proceedings of DiaHolmia Workshop on the Semantics and Pragmatics of Dialogue. Stockholm, 2009.
[19] Bunt H. Dimensions in dialogue act annotation[C]//Proceedings of the Fifth International Conference on Language Resources and Systems (LREC 2006). Genova, 2006.
[20] Petukhova V, Bunt H. The independence of dimensions in multidimensional dialogue act annotation [C]//Proceedings of the 2009 NAACL-HLT Conference. Boulder, Co,2009.
[21] Bunt H. The DIT++ taxonomy for functional dialogue markup[C]//Proceedings of AAMAS 2009 Workshop “Towards a Standard Markup Language for Embodied Dialogue Acts”. Budapest, 2009:13-24.
[22] Lirics D4.4, Multilingual test suites for semantically annotated data [R/OL]. http://lirics. loria.fr, 2007.
[23] Bunt H, Alexandersson J, et. al. Towards an ISO standard for dialogue act annotation[C]//Proceedings of the 7th International Conference on Language Resources and Systems (LREC 2010). Malta, 2010: 2548-2558.
[24] Bunt H, Alexandersson J, et. al. ISO 24617-2: A semantically-based standard for dialogue annotation[C]//Proceedings of the LREC 2012 [C]. 2012: 430-437.
[25] Rashmi Prasad, Nikhil Dinesh, et. al. The Penn Discourse Treebank 2.0 [C]//Proceedings of the 6th International Conference on Language Resources and Evaluation (LREC 2008). Marrakech, Morocco, 2008.
[26] 周强. 汉语会话的对话行为标注规范 Ver 1.0 [R]. 清华大学信息技术研究院语音和语言技术中心技术报告,2017.
[27] Bunt H. Multifunctionality in dialogue[J]. Computers Speech and Language, 2011(25): 222-245.
[28] 周强. 汉语语篇的连贯性分析标注规范 Ver 2.4 [R]. 清华大学信息技术研究院语音和语言技术中心技术报告,2016.
[29] Traum D, Larsson S. The information state approach to dialogue act management[M]//J. van Kuppevelt, R. Smith (eds.). Current and new Directions in Discourse and Dialogue. Kluwer, Dordrecht, 2003.