丁建立 李洋 王家亮
摘 要:针对当前生成式文本摘要方法存在的语义信息利用不充分、摘要精度不够等问题,提出一种基于双编码器的文本摘要方法。首先,通过双编码器为序列映射(Seq2Seq)架构提供更丰富的语义信息,并对融入双通道语义的注意力机制和伴随经验分布的解码器进行了优化研究;然后,在词嵌入生成技术中融合位置嵌入和词嵌入,并新增词频-逆文档频率(TF-IDF)、词性(POS)、关键性得分(Soc),优化词嵌入维度。所提方法对传统序列映射Seq2Seq和词特征表示进行优化,在增强模型对语义的理解的同时,提高了摘要的质量。实验结果表明,该方法在Rouge评价体系中的表现相比传统伴随自注意力机制的递归神经网络方法(RNN+atten)和多层双向伴随自注意力机制的递归神经网络方法(Bi-MulRNN+atten)提高10~13个百分点,其文本摘要语义理解更加准确、生成效果更好,拥有更好的应用前景。
关键词:生成式文本摘要;序列映射(Seq2Seq);双编码器;经验分布;词特征表示
中图分类号: TP391.1文字信息处理文献标志码:A
Short text automatic summarization method based on dual encoder
DING Jianli, LI Yang*, WANG Jialiang
(College of Computer Science and Technology, Civil Aviation University of China, Tianjin 300300, China)
Abstract: Aiming at the problems of insufficient use of semantic information and the poor summarization precision in the current generated text summarization method, a text summarization method was proposed based on dual encoder. Firstly, the dual encoder was used to provide richer semantic information for Sequence to Sequence (Seq2Seq) architecture. And the attention mechanism with dual channel semantics and the decoder with empirical distribution were optimized. Then, position embedding and word embedding were merged in word embedding technology, and Term Frequency-Inverse Document Frequency (TF-IDF), Part Of Speech (POS), key Score (Soc) were added to word embedding, as a result, the word embedding dimension was optimized. The proposed method aims to optimize the traditional sequence mapping of Seq2Seq and word feature representation, enhance the models semantic understanding, and improve the quality of the summarization. The experimental results show that the proposed method has the performance improved in the Rouge evaluation system by 10 to 13 percentage points compared with traditional Recurrent Neural Network method with attention (RNN+atten) and Multi-layer Bidirectional Recurrent Neural Network method with attention (Bi-MulRNN+atten). It can be seen that the proposed method has more accurate semantic understanding of text summarization and the generation effect better, and has a better application prospect.
Key words: generated text summarization; Sequence to Sequence (Seq2Seq); double encoder; empirical distribution; word feature representation
0 引言
如今,互聯网的快速发展使得网络平台成为了人们交互信息、互相沟通的重要途径,也使得人们更容易浏览和发布信息。在线信息的爆炸式增长使得信息过载成为了一个严重的问题,面对海量信息,如何从中获取对自己有用的数据已经成为了信息处理领域迫切解决的问题。
自动文本摘要是自然语言处理领域的重要分支。文本摘要是指通过计算机从大量文本中提取关键信息,自动文本摘要是信息提取和压缩的关键技术。自动文本摘要早在20世纪50年代就已出现,依据摘要形式可将其分为抽取式和生成式,抽取式文本摘要是认为文章的中心思想可以由文章中的一个或几个句子进行概括。生成式文本摘要是基于对文章上下文的理解,可以像人一样对文章进行总结,所概括的文本不必在原文中出现但要切合全文语义。相比之下,生成式文本摘要更加贴近人类思维,更能准确反映文本意境,但同时涉及自然语言理解和文本重塑,使得理解概要更加困难。
目前,深度学习技术已经广泛地应用于自然语言处理领域,包括阅读理解[1]、自动问答[2]、机器翻译[3]、文本重塑[4]等任务。基于数据驱动的端到端的文本摘要生成方法灵感来源于机器翻译的神经网络模型。Lopvrev[5]利用递归神经网络和长短期记忆网络 (Long Short-Term Memory network, LSTM)神经单元构建了基于Encoder-Decoder框架的抽象生成模型,并结合自注意力机制生成文本摘要。Rush等[6]提出了改进的注意力模型用于句子摘要生成。Hu等[7]基于递归神经网络(Recurrent Neural Network, RNN)的编码器-解码器结构应用于中文文本摘要任务。Zhang等[8]使用字符級特征作为RNN编解码器框架的输入,在保证性能的同时缩小了特征空间的维数。See等[9]提出了一种混合指针生成器网络,保证了生成摘要原义重述的精确性又保留了新单词的生成能力。Chen等[10]结合多层神经网络隐层语义来提高摘要生成质量。张克君等[11]通过增加多层编解码器网络层数并结合改进的词嵌入特征提高了模型对语义的理解。目前对于长短文本的摘要生成任务是自然语言研究热点[12-14],面对构词结构迥异、组成结构复杂的文本如何生成语义理解充分、准确度高的摘要是当前亟待解决的问题。当前普遍使用的是编码器解码器的抽象生成学习方法,即序列映射(Sequence to Sequence, Seq2Seq)文本学习模型来生成文本摘要,但仅仅通过多个网络层的线性堆叠或增加原文相关词语的复制能力,往往不能较好提升单词级或字符级语义理解能力;而且面对中文短文本句子数量少、文本长短不一的情况,神经网络层数的线性叠加并不能使得模型获得良好的生成质量。
人类书写文本摘要首先是阅读全文,理解文章的全局意义,然后通过原文和自己的理解对文章的整体进行概括摘要。
本文通过研究人类理解思考过程对Seq2Seq文本摘要生成模型如下改进:1)将双编码器应用于编码器端,高层编码器用于获得文本的全局语义信息,而低层编码器专注于编码过程中原始序列的对齐单词语义表示。2)通过建立全局、局部语义信息与原始文本和摘要之间的内在对齐联系,来优化注意力机制使其融合双编码器混合语义信息和解码器隐藏状态。3)为解码器端增加关键词经验概率分布,加快模型收敛并使生成的摘要更准确。4)融合位置嵌入、词嵌入方法,增加词性、词频和关键性得分改进单词特征表示以提高模型对词义的理解;并根据语料库的大小优化词向量生成的最优维度。
1 改进的双编码器结构的文本摘要生成模型
本文设计的摘要生成模型包含高层和低层双编码器结构,高层编码器注重于全文的上下语义理解,低层编码器注重于文本特征与隐层状态的对其输入,两者形成联合语义向量表示;解码端采用多层单向神经网络结合改进的词表经验分布Qo来输出高质量摘要。本文改进的双编码器结构的文本摘要生成模型Do-Seq2Seq(Double-Seq2Seq)详细架构如图1所示。
图1中,伴随自注意力机制(Attention)的高层编码器生成全局语义信息M,低层编码器生成文本特征对齐向量,两者融合为联合语义向量(Joint Vector)用于解码端,Qo为解码端词表经验分布。
1.1 基于双向递归神经网络的双编码器
文本摘要的抽象生成不仅要对全文进行语义理解还要对原始文本进行压缩和重塑,并不能像机器翻译任务那样通过双语言并行对齐生成高质量的摘要,为了解决传统Seq2Seq模型中编码器端输出的语义信息不完全、不充分的问题,本文设计了双编码器结构用于获取原文的全局语义信息和局部上下文语义信息。如图1所示,高层编码器将文本输入序列(x1,x2,…,xn)通过伴随自注意力机制的双向递归神经网络(Bidirectional RNN, BiRNN)映射成高维语义向量M,低层编码器聚焦于原始文本局部语义的一致性表示,将文本输入序列(x1,x2,…,xn)通过BiRNN映射成编码器隐藏状态向量(h1,h2,…,hn)。本文所述的双编码器具体计算式如下:
H=(H1,H2,…,Hm)=BiRNN(x1,x2,…,xm)(1)
SHi=VH tanh(WHHi)(2)
aHi=exp(SHi)∑ni=1exp(SHi)(3)
M=∑ni=1aHiHi(4)
在式(1)中,原始文本通过双向递归神经网络将原始文本转化为高层编码器的隐藏状态表示;然后,通过式(2)非线性激活函数将H映射为相似性分数,其中VH和WH为优化参数矩阵;式(3)表示通过Softmax对SHi进行归一化处理;式(4)通过归一化得分和编码器隐藏状态信息的加权求和获得M,M代表着原文全局语义向量表示。
1.2 融合全局与局部语义的注意力机制
注意力机制缘起于计算机视觉领域,其核心思想是在浏览全局图像后,获得需要重点关注的目标区域。随后注意力机制引入到文本处理领域,并获得了良好的效果。
在文本摘要任务中注意力机制是在编码器-解码器两端增加的连接架构,以解决Seq2Seq模型中文本语义理解不充分的问题。传统的注意力机制是将编码器的隐藏状态和解码器的隐藏状态通过加权求和融合成高维语义表示,并指示解码器对序列中哪一单词语义需重点关注。
本文在此基础之上将双编码器获得全局和局部语义信息融入到注意力机制,丰富原文语义信息表示,增强对文本的阅读理解。该注意力机制的详细计算过程如下:
h=(h1,h2,…,hn)=BiRNN(x1,x2,…,xn)(5)
SLti=S(hi,M,St-1)=
Vetanh(Wh[hi,M]+VsSt-1)(6)
aLti=exp(SLti)∑ni=1exp(SLti)(7)
Ct-1=∑ni=1aLtihi(8)
式(5)为低层编码器将序列映射为隐藏状态向量(h1,h2,…,hn)。在式(6)中,原始文本的全局语义向量M和低层编码器隐藏状态hi级联通过优化参数Wh将其转化为当前状态的语义表示,解码器隐藏状态St-1与Vs相乘获得解码器当前状态信息的向量表示;然后,两者通过相应元素的对齐相加,并通过非线性激活函数tanh()映射成一融合状态向量,该融合状态向量结合了编码器端第i步的语义信息和t-1时刻解码端的隐藏状态信息。Ve为优化参数矩阵与结果作内积运算,其过程实质是将注意力机制语义表示和编码器解码器的隐藏层状态通过得分函数映射为相似性得分。式(7)是将得分通过Softmax映射成概率分布。式(8)是加入低層编码器隐藏状态加权求和获得联合上下文语义表示Ct-1。具有双编码器结构的注意力机制融合了全局与局部的双通道语义,使其更能聚焦于原始文本的抽象语义特征,语义理解更丰富。
1.3 伴随经验概率分布的解码器
本文采用双层单向神经网络设计解码器。传统解码器将当前t时刻的隐藏向量、上下文高层语义和t-1时刻解码端的输出序列通过条件概率函数映射为t时刻输出序列的待选概率。解码端输出摘要虽不强求出自于原文,但相关部分却来自原文。本文在此基础上引入了关键词经验概率分布,使得解码端生成摘要序列时增加原文待选词的倾向性,同时可提高解码端的收敛速度。
p(ytx)=
Softmax(WcCt+WoSt+QSo+yt-1+bo)(9)
QSo=WQV+λo(10)
式(9)中:Ct为融合全局和局部语义信息的上下文语义表示;St为当前时刻解码器的隐藏状态;yt-1为t-1时刻输出词;QSo为输出序列候选词经验概率分布;Wc、Wo、bo为优化参数。QSo的定义在式(10)中:WQ、λo为优化参数矩阵;“”表示哈达马积(Hadamard)再与λo对位相加;V为词表0/1向量矩阵V=(v1,v2,…,vm),v1=1代表该词在文章中出现过,否则v1=0。QSo的引入增加了出现在原文中候选词的输出概率,加速了收敛过程。
2 改进的词嵌入技术
2.1 增加词嵌入特征
中文内容实验研究中通常使用word2vec或Glove来生成文本的词向量,前者使用当前词的向量表示推测出周围词的向量表示,后者使用了全局语义信息使得训练的速度更快。两者在原理上注重词语间在向量表示空间中的相对位置,即语义相似关系。为丰富语义,在原词向量的基础上融合位置向量并新增词特征。
生成的文本摘要要在有限的字数内表达出涵盖整篇短文的理解语义,因此词序对摘要质量有很大影响,例如:“我爱你”和“你爱我” ,“你” “我”两字因词位置的颠倒使句子主宾关系产生变化,改变了摘要应该表达的原有意思,对摘要结果产生重大影响。本文将位置嵌入(Position Embedding) [15]和词嵌入 (Word Embedding)结合形成新的词向量表示。此外,在此基础上增加了词性(Part Of Speech, POS)、词频逆文档频率(Term Frequency-Inverse Document Frequency, TF-IDF)和关键性得分(key Score, Soc)来丰富单词语义特征,使得对词语的特征刻画更加丰富、充分,为模型训练提供了更好的特征表达。改进的词嵌入模型如图2所示。
本文将所有词表元素{x1,x2,…,xm}映射为词向量W=(w1,w2,…,wm),wi∈Rf,同时将词所在文本中的位置映射为位置向量P=(p1,p2,…,pm),pj∈Rf;将词向量和位置向量结合为新的向量U=(w1+p1,w2+p2,…,wm+pm)。位置向量(Position Embedding)的生成公式如下:
PE(pos,2i)=sin(pos/100002i/dmodel)
PE(pos,2i+1)=cos(pos/100002i/dmodel)(11)
其中,在被分词为长度为n的短文本中,将单词所在位置pos映射成为一个dmodel维的位置向量,且此位置向量第i维的值为PE(pos,i)。位置向量看似是由公式生成的绝对位置,但借助于函数sin(α+β)、cos(α+β)的三角函数性质可知:位置(α+β)的向量可以表示成位置α向量的线性变换,也为相对位置的表达提供了可能,这与词向量表示单词相对位置语义空间映射的实质有相同之处。
生成的文本摘要大多是以陈述的总结句为主,更加聚焦于名词和动词,对于附有感情色彩的形容词关注较少。TF-IDF指数能反映词语在语料库的综合特征,将生成的词语的POS(词性)、TF-IDF、Sco(关键性得分)朴素连接在融合向量后端构成新的词向量作为编码器的输入。Sco的定义如式(12)所示:
Sco(wi)=βP(wi)+β(12)
其中:P(wi)为单词频率;β为平滑反频率系数。在短文本中,词语的关键程度因字数限制与其频率往往具有负相关关系,相关程度因语料库的不同而有差异。参数β的引入平衡频率对词语关键程度的影响,出现频率较小关键性可能更高。
2.2 优化词嵌入维度
word2vec、Glove是当前最受欢迎的词嵌入方法,但目前对于词嵌入维度的选择却颇为随意,没有一定的理论依据,不同语料库的大小采用随意的嵌入维度,并不能保证模型的最优性,势必影响语义表示质量。大量实验研究表明,词嵌入学习维度选择过小会造成语义丢失,维度过大会引入太多噪声。一个较好质量的语义高维矩阵无论矩阵怎样变换,空间中词向量的相对位置保持不变。本文通过依据矩阵微扰理论设计的伴随酉不变性质的成对内积(Pairwise Inner Product, PIP)损失函数[16]为当前语料库设计最优的维度嵌入表示,提高词向量表示精度。PIP损失函数如下。
PIP(E)=EET(13)
E[‖E^E^T-E*E*T‖]≤∑di=k+1λ4αi+
22nασ∑ki=1λ4α-2i+
2∑ki=1(λ2αi-λ2αi+1)σ∑r≤i < s(λr-λs)-2(14)
式(13)为PIP矩阵定义。式(14)为损失函数期望估计量,其中:E^∈Rn×k为已得到的词向量矩阵,E*∈Rn×d为未获得的最优词向量矩阵;k、d为维数,k 3 实验与结果分析 3.1 实验数据优选 本文使用由搜狗实验室提供的新闻语料库数据集,该数据集中共包含来自娱乐、文化、教育、军事、社会、金融等679978条新闻标题数据对。针对文本摘要生成任务,语料库数据质量同样影响着最终的实验结果,需要过滤数据集以提取高质量的文本摘要数据。首先,对数据集预处理去除掉长度小于5的文本,替换英文、特殊字符、表情符号等杂乱字符;其次,摘要是基于语言理解对文本内容的高度压缩与重塑,两者相比文字数量虽有减少但仍具有一定的相关程度。本文依据摘要与原文语义相似度的大小将数据分为三级以选取高质量的实验数据对:1表示最不相关,3表示最相关。文本摘要语义相似度在区间(0,0.15)内相关度为1,在区间[0.15,0.65)内相关度为2,在区间[0.65,1)内相关度为3。本文设计语义相似度算法计算式如下: vs=1|s|∑w∈sIDFwvw(15) cos θ=a·b‖a‖‖b‖=∑ni=1AiBi∑ni=1Ai2∑ni=1Bi2(16) 其中:|s|为当前句子所含词数;IDFw为词文档逆文档频率指数;vw为词向量。式(15)专注句子向量生成,并通过余弦距离计算文本摘要对之间的相似度如式(16);数据集的优选划分详细如表1所示。 由表1可以看出:本文依据语义相似度将数据分为3个相关程度,如数据集Ⅰ所示,数据总数为679898,将此部分作为训练集;数据集Ⅱ是从Ⅰ的相关度为2和3的数据中随机交叉选取的12923条数据作为验证集;数据集Ⅲ是从Ⅰ的相关度为3的数据中随机选取的2535条数据集作为测试集,且这部分数据不会包含在Ⅰ的训练集中。 表格(有表名)表1 实验数据划分结果 Tab. 1 Experimental data partition results 数据集相关度数量Ⅰ11540225516483112928Ⅱ2 708235841Ⅲ3 2535 3.2 实验参数 本文使用jieba分词工具对语料库进行分词,选取10000个高频词汇作为编码器的字典词汇表,通过成对内积损失函数PIP选取最优的词向量维度221维,如图3所示。高层编码器采用200个门控循环单元(Gated Recurrent Unit, GRU)神经单元、3层BiRNN结构,低层编码器采用200个GRU神经单元、3层BiRNN结构。解码端采用集束收缩(beam search)方法,束大小为5;batch_size(批尺寸)为64,平滑参数β=10-3。本文所提的具有双编码器的Do-Seq2Seq模型在服务器PowerEdge R210 Ⅱ上运行将近6d时间得到最终结果。 词嵌入的最优维度与语料库规模有关,不同大小语料库伴随着不同的词数量、字典量、组词结构,想要找到最优的词嵌入维度实质是找到词向量矩阵偏差与方差的最佳平衡点。损失函数PIP随词嵌入维度的变化如图3所示。由图3可以看出,PIP值在0~221维内随维度的增加而减小,221维之后PIP值随维度的增加而增加;在221维处PIP值达到最小值即当前语料库的最优维度。 自动文本摘要质量的评价方法分为外部评价方法和内部评价方法两大类。外部评价方法是使用生成的摘要執行本文相关任务如文档检索、文档分类等,依据其应用性能的水平来评判摘要质量的高低;内部评价方法需提供参考摘要,参考摘要与生成摘要之间的吻合度越高,质量越好。最常使用的是内部评价方法。文本摘要任务中国内与国际最经常使用的内部方法是:Edmundson和Rouge[17],而Rouge更是被广泛地应用于文本摘要任务的评价当中。本文采用Rouge评价体系对文本摘要的质量进行评价。Rouge是基于摘要中n元词(n-gram)的共现信息来评价摘要质量,是一种面向n元词召回率的评价方法。本文使用Rouge-1、Rouge-2和Rouge-L来评估摘要质量和模型性能。 3.3 结果分析 本文采用上述数据集进行实验,包括与文献[7]方法和文献[11]方法的对比实验,以及融合位置嵌入与否、词嵌入维度优化与否的本文方法前后对比实验,实验详情如表2所示。其中: 1)RNN+atten(RNN method with attention)[7]:代表使用带有注意力机制的GRU门控单元的神经网络模型。 2)Bi-MulRNN+atten(Multi-layer Bidirectional RNN method with attention)[11]:代表文献[11]中改进的双向多层递归神经网络文本摘要方法。 [3]CHEN K, ZHAO T, YANG M, et al. A neural approach to source dependence based context model for statistical machine translation [J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2017, 26(2): 266-280. [4]GAMBHIR M, GUPTA V. Recent automatic text summarization techniques: a survey [J]. Artificial Intelligence Review, 2017, 47(1): 1-66. [5]LOPYREV K. Generating news headlines with recurrent neural networks [EB/OL]. [2019-03-15]. https://arxiv.org/pdf/1512.01712.pdf. [6]RUSH A M, CHOPRA S, WESTON J, et al. A neural attention model for abstractive sentence summarization [EB/OL]. [2019-03-13]. https://arxiv.org/pdf/1509.00685.pdf. [7]HU B, CHEN Q, ZHU F, et al. LCSTS: a large scale Chinese short text summarization dataset [C]// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: Association for Computational Linguistics, 2015: 1967-1972. [8]ZHANG H, LI J, JI Y, et al. Understanding subtitles by character-level sequence-to-sequence learning [J]. IEEE Transactions on Industrial Informatics, 2017, 13(2): 616-624. [9]SEE A, LIU P J, MANNING C D, et al. Get to the point: summarization with pointer-generator networks [C]// Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: Association for Computational Linguistics, 2017: 1073-1083. [10]CHEN G. Chinese short text summary generation model integrating multi-level semantic information [C]// Proceedings of the 2018 International Conference on Network, Communication, Computer Engineering. Paris: Atlantis Press, 2018: 1-12.查不到该文献,核实要素是否有误? [11]张克君,李伟男,钱榕,等.基于深度学习的文本自动摘要方案[J].计算机应用,2019,39(2):311-315.(ZHANG K J, LI W N, QIAN R, et al. Automatic text summarization scheme based on deep learning [J]. Journal of Computer Applications, 2019, 39(2): 311-315.) [12]沈华东,彭敦陆.AM-BRNN:一种基于深度学习的文本摘要自动抽取模型[J].小型微型计算机系统,2018,39(6):1184-1189.(SHEN H D, PENG D L. AM-BRNN: automatic text summarization extraction model based on deep learning [J]. Journal of Chinese Computer Systems, 2018, 39(6): 1184-1189.) [13]李娜娜,劉培玉,刘文锋,等.基于TextRank的自动摘要优化算法[J].计算机应用研究,2019,36(4):1045-1050.(LI N N, LIU P Y, LIU W F, et al. Automatic digest optimization algorithm based on TextRank [J]. Application Research of Computers, 2019, 36(4): 1045-1050.) [14]庞超,尹传环.基于分类的中文文本摘要方法[J].计算机科学,2018,45(1):144-147,178.(PANG C, YIN C H. Chinese text summarization based on classification [J]. Computer Science, 2018, 45(1): 144-147, 178.) [15]GEHRING J, AULI M, GRANGIER D, et al. Convolutional sequence to sequence learning [C]// Proceedings of the 2017 International Conference on Machine Learning. Berkeley: USENIX Association, 2017: 1243-1252. [16]YIN Z, SHEN Y Y. On the dimensionality of word embedding [C]// Proceedings of the 2018 Neural Information Processing Systems Conference. Vancouver: NeurIPS, 2018: 887-898. [17]LIN C Y, HOVY E. Automatic evaluation of summaries using n-gram co-occurrence statistics [C]// Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology. Stroudsburg: Association for Computational Linguistics, 2003: 71-78. This work is partially supported by the Civil Aviation Science and Technology Major Special Fund (MHRD20150107, MHRD20160109), the Fundamental Research Funds for the Central Universities (3122018C025), the Research Startup Fund Project of Civil Aviation University (2014QD13X). DING Jianli, born in 1963, Ph. D., professor. His research interests include civil aviation intelligent information processing, Internet of things of aviation. LI Yang, born in 1995, M. S. candidate. His research interests include natural language processing, machine learning, deep learning. WANG Jialiang, born in 1983, Ph. D., lecturer. His research interests include civil aviation information system, embedded computing, pervasive computing. 收稿日期:2019-05-13;修回日期:2019-07-16;录用日期:2019-07-17。基金项目:民航局科技重大专项基金资助项目(MHRD20150107,MHRD20160109);中央高校基本科研业务费专项资金资助项目(3122018C025);中国民航大学科研启动基金资助项目(2014QD13X)。 作者简介:丁建立(1963—),男,河南洛阳人,教授,博士,CCF会员,主要研究方向:民航智能信息处理、航空物联网; 李洋(1995—),男,山东济宁人,硕士研究生,主要研究方向:自然语言处理、机器学习、深度学习; 王家亮(1983—),男,遼宁辽阳人,讲师,博士,研究方向:民航信息系统、嵌入式计算、普适计算。 文章编号:1001-9081(2019)12-3476-06DOI:10.11772/j.issn.1001-9081.2019050800