基于动态增强图注意力网络的突发事件预测

关键词：事件预测，图注意力网络，特征增强，时间序列，多头注意力机制

中图分类号：TP391 文献标志码：A

突发事件指突然发生，会造成或可能造成严重社会危害，需要采取应急处置措施来应对的自然灾害、事故灾难、公共卫生事件和社会安全事件. 突发社会安全事件一般指重大刑事案件、重特大火灾、恐怖袭击等规模较大的，严重影响社会安定、人民生活和经济发展的群体性事件. 提前对社会安全事件进行预测和预警，对于减少突发事件，减少生命和财产损失，具有重要的意义.

目前，对突发事件的时间、地点及其发生的可能性预测大多依赖于深度学习等先进技术，这些方法能捕捉并分析数据，为预测的准确性提供可靠的保障. 随着知识图谱的发展，学者们构建了事件图谱（Event Graph，EG）来对事件进行预测.EG 对一系列具有逻辑关系的事件原始数据进行抽取分析与关联融合，生成蕴含丰富语义信息的图数据结构表示［1］. Li et al［2］从大量新闻语料库中构建叙事事件进化图，利用丰富的事件特征，提出SGNN （Structured Graph Neural Network）建模事件交互和学习更好的事件表示来进行事件预测，但忽视了时间特征的重要性. Zhao et al［3］利用图卷积网络和门控循环单元捕获交通数据的空间特征和时间特征，但没有捕获各个时间点的特征变化. 目前，利用历史时间中相关事件的潜在信息来增强事件预测效果的研究尚显不足，进一步的研究应聚焦于有效整合和利用历史事件中的潜在信息，以提高事件预测的精准度和可靠性. 同时，应用图神经网络学习历史事件特征及其时间特征进行事件预测还存在以下挑战.

（1）事件的状态和时间之间有着强关联性，某个时间点的事件状态发生改变会影响未来某种突发事件发生的可能性，难以有效地捕捉事件和时间之间的关联性.

（2）图神经网络聚合过程中学习到的节点表示破坏了原始特征空间的节点相似性，可能会降低学习节点表示的有效性［4］.

（3）将时间特征融入事件预测中的预测模型通常会使用局部特征，却忽略了短时间切片之间的数据变化对事件的影响，导致不能体现事件随着时间的全局特征，具体如图1所示.

针对以上问题，本文提出基于动态增强图注意力网络的突发事件预测模型（Dynamic En⁃hanced Graph Attention Network，DEGAT）. 首先，将处理后的历史事件描述构建成事件图，并将初始的图特征输入EGAT （Enhanced Graph At⁃tention Network），实现增强节点表示以获取事件的语义特征. 随后，将初始的图向量和最后时刻EGAT 输出的图向量分别传递给线性层处理，再通过激活函数合并以提取时间特征. 接着，将提取的时间特征序列作为输入，经过多头注意力机制和长短期记忆（Long Short ⁃ Term Memroy，LSTM）网络来捕获和整合动态的全局时间信息. 最后，将动态时间信息输入图神经网络的最终阶段，经非线性变换后输出预测结果.

本文的贡献如下.

（1）提出添加高斯扰动的EGAT 来进行有效的事件图节点表示学习，获得事件特征，有效解决了图神经网络学习过程中的过平滑问题.

（2）构建由多头注意力机制和LSTM 相结合的时间编码层，充分考虑各个时间切片的特征对整体的影响，能更好地捕获局部和全局的动态时间特征.

（3）提出一种基于动态增强图注意力网络的突发事件预测模型DEGAT，在四个国家的社会突发事件数据集上进行了验证，证明其和现有模型相比，预测突发事件的性能有明显提高.

1 相关工作

1. 1事件预测 社会安全事件包括群体性事件、恐怖主义事件、刑事犯罪事件等，严重影响社会安定、人民生活和社会经济发展. 目前主流的预测方法是提取社会事件的特征，集中于各种突发事件类型的预测，如Feng et al［5］提出结合随机森林和主成分分析的特征选择方法，并采用遗传算法对XGBoost 的超参数进行调整的RP ⁃ GAXG⁃Boost 算法来预测恐怖袭击事件. Spiliotopouloset al［6］分析过去恐怖事件的时间序列数据以及与之相关的因素，预测每个国家的安全风险. Risteaet al［7］分析了犯罪发生、人口统计学、社会经济和环境变量之间的空间关系，以历史犯罪数据为基础，引入推文和其他变量作为犯罪的协变量来进行犯罪事件预测. Xiong et al［8］根据犯罪的数量将该区域划分为异构区域，通过捕获异构模式来改善犯罪预测并且降低训练成本，提高犯罪预测准确率. Rumi et al［9］引入一组特定于犯罪预测的动态特征，通过揭示犯罪事件发生和人类流动性之间的关系来进行犯罪事件预测. Yi et al［10］提出聚类连续条件随机场，利用自回归时间相关的时间特征和基于特征的区域间空间相关的空间特征来进行犯罪事件预测. Hu et al［11］提出CH⁃LSTM 模型，能够捕获子事件序列的两级序列结构，并对子事件序列的附加主题信息进行子事件预测.

提取社会事件特征进行事件类型预测的研究已有丰厚的研究成果，但未能利用全面的事件信息进行预测. 随着图神经网络的发展，许多研究开始将图神经网络结合事件图来构建事件信息，进行预测.

1. 2图神经网络 图神经网络最早于2005 年由Gori et al［12］提出，是一种用于图结构数据的神经网络模型，其结合了图计算和神经网络的优势，能捕捉图结构并抽象节点特征. 随着时间的推移，图神经网络的研究不断深入，出现了广泛的探索和改进. Kipf and Welling［13］提出图卷积网络（Graph Convolution Neural Networks，GCN）来处理图数据，通过邻接矩阵或拉普拉斯矩阵，精确地描述图的结构并捕获节点之间的空间特征. 随着研究的深入，图注意力网络（Graph Attention Net⁃work，GAT）［14］应运而生，它将注意力机制融入GCN，使网络能从相邻节点中学习节点的个性化权重，为每个节点分配不同的重要性，从而更准确地捕捉节点间的依赖关系，处理复杂的图结构数据. Schlichtkrull et al［15］提出关系图卷积网络（Re⁃lational Graph Convolutional Network，R⁃GCNs），丰富了图神经网络的应用场景.

将图神经网络应用于NLP （Natural Lan⁃guage Processing）领域已有所成就. 在文本分类领域，Yao et al［16］提出文本GCN，为整个语料库构建一个异构的词文档图，将文档分类转化为一个节点分类问题. Lin et al［17］进一步提出Bert⁃GCN，结合大规模文本的预训语言模型和GCN的文本分类模型. 在事件预测领域，将事件相关元素构建成图结构，结合图神经网络进行事件预测，如Du et al［18］提出GraphBert 模型，使用BERT模型自动构建事件图，在BERT 中加入一个额外的结构化变量来进行事件预测. Xie［19］采用序列标注的方法构建事件图并整合到预测过程中，使用Logistic 回归模型进行股票事件预测.

目前图神经网络模型能捕获事件元素节点之间的语义特征，但没有将时间特征考虑在内. 静态图可以有效地进行事件预测，但不能捕获事件随时间发展的特征. 为了利用历史时间的相关事件及其潜在的事件信息进行事件预测，后面的研究构建了动态事件图来进行事件预测.

1. 3动态图神经网络 随着图神经网络的发展，后面的研究将时间特征融入事件图谱以获取包含时间特征的事件信息，构建基于时间的动态图神经网络. Chen et al［20］提出GC⁃LSTM 来捕捉时间依赖性，将结构化数据和时间信息共同利用起来进行人类活动事件预测. Deng et al［21］构建一种动态图表示方法，在预测事件时使用图结构来总结事件上下文，在广泛的社会突发事件预测中实现了可靠的性能. 为了实现对时间序列数据中的未来事件的准确和可解释的预测，Hu et al［22］提出进化状态图来捕获状态之间的动态关系，并构建了EvoNet 来提高基于图的事件预测性能. 为了综合考虑大量异构数据中的时空关系和外部影响，Yu et al［23］提出由空间学习层、时空学习层和嵌入层构成的新的深度时空图卷积网络来预测交通突发事件. Zheng and Zhang［24］将最新的时间片与过去的每个时间片连接起来，构建时空图并学习跨时间的全局空间依赖性，通过图卷积同时捕获时空依赖性来进行交通预测. Li et al［25］利用节点属性来提取动态特征，提出DGCRN 用于交通预测. Kumar et al［26］提出DyGCN ⁃ LSTM，将动态GCN 与LSTM 结合，以同时表示网络的时空相关性来进行交通事件预测. Liu et al［27］提出鲁棒时空图卷积网络，利用高斯分布节点表示和基于方差的注意力机制来处理噪声扰动和缺失数据，进行交通预测. 综上，尽管图神经网络在从历史事件中学习特征及其时间特征以进行事件预测方面展现出潜力，但这一领域仍然面临诸多挑战和待解决的问题.

基于先前的研究，受到DynamicGCN［21］的启发，本文提出一个新的突发事件预测模型，结合EGAT 进行有效的事件图节点表示学习和注意力机制与循环神经网络模型对时间序列特征的提取，对未来是否会发生某类突发事件进行预测.

事件图表示为G=（V，E），其中，V表示事件图的节点集合，由预处理后的事件文档中的关键词表示；E 表示事件图的边集合，由关键词之间的共现关系表示.

3基于动态增强图注意力网络的突发事件预测模型

用于预测突发社会事件的DEGAT 模型的主要模块有四个：（1）动态事件图层：将历史时间的事件文本构建成图，并且用词向量代表每个节点的特征；（2）语义编码层：构建事件语义信息的语义编码层，得到全面的事件特征；（3）时间编码层：获得时间特征的时间编码模块，利用序列模型获得时间序列的长依赖性；（4）预测层：利用历史事件信息进行突发事件预测. DEGAT 模型的结构如图2所示.

4 实验及结论

4. 1数据集 使用Deng et al［21］从IntegratedConflict Early Warning System （ICEWS）收集的四个国家的“protest”事件的数据集. 对于每个国家的数据，将事件发生前k 天内的文档作为原始输入，并将目标事件的发生作为真实标签. 四个数据集的统计数据如表1 所示.

4. 2实验参数设置 实验环境和配置如表2 所示. 部分参数：lr= 0.001，epoch =1000，dropoutrate = 0.2，weight_decay = 0.0005.

4. 3对比实验 将DEGAT 模型与多种事件预测方法及其变体进行了实验比较，实验结果如表3 所示，表中黑体字表示最优的预测结果，“*”表示与DynamicGCN［21］的相同数据集的实验结果.

其余各模型的描述如下所示.

GCN+GRU［32］是一种用于交通预测的时间图卷积网络，结合GCN 和GRU 来捕获交通数据中的时空相关性.

EGAT+GRU 是将GCN+GRU中的GCN模块替换为EGAT模块.

EGAT+LSTM是EGAT+GRU的变体，将GRU模块替换为LSTM模块.

EGAT+RNN与EGAT+LSTM类似，将LSTM模块替换为RNN模块.

EvolveGCN［33］是一种动态图表示学习方法，使用GCN 学习每个快照的网络结构和节点特征信息，使用循环神经网络模型演化GCN 参数来捕获图序列背后的动态特征.

HGT［34］是一种异构图神经网络模型，使用与节点和边缘类型相关的参数来表征每条边缘上的异构注意力，获得不同类型的节点和边的专有表示，使用动态异构上下文图作为输入.

使用F1 分数、召回率（Rec）和精确率（Prec）来评估DEGAT 模型的预测性能，如表3 所示，表中黑体字表示性能最优. 由表可见，除了India 数据集，DEGAT 模型在其他数据集上的评价指标均为最优. 这是由于“India”数据集存在不平衡，词汇量相对较大，根据Deng et al［21］的研究，其Rec和Prec 不是最优.

DEGAT 模型在四个国家的“protest”事件数据集上的训练过程中的损失变化如图5 所示. 由图可见，在训练初期的前五个epoch，损失值迅速下降，在训练20 个epoch 之后逐渐趋于稳定. 训练过程中的AUC（ Area under Curve）变化如图6所示. 由图可见，在前五个epoch 的训练过程中，在Egypt 和India 两个国家的数据集上的训练过程中波动较大，到第五个epoch 之后AUC 才趋于稳定. 通过训练过程中的Loss 和AUC 的变化情况可以看出，经过训练，DEGAT 模型的预测性能趋于稳定，训练时的AUC 稳定在0. 9 左右，表现出良好的预测性能.

4. 4图神经网络算法对比实验 为了证明EGAT的效果优于其他图神经网络算法，对比EGAT 和GAT，GCN，GIN，GraphSAGE，k⁃GNNs，SGC 和SSGC 在四个数据集上验证获得的事件语义信息对事件预测结果的影响，使用准确率（Acc）来进行评估. 实验如表4 所示，表中黑体字表示最优的预测结果. 由表可见，和其他七种图神经网络算法相比，EGAT 获得的事件语义信息更加全面，事件预测的准确率更高.

4. 5循环神经网络模型对比实验 由于循环神经网络可以进一步捕获事件之间更多的时间依赖性，为了找到最优的循环神经网络模块，将LSTM和BiLSTM，GRU，BiGRU 和RNN 进行实验对比，使用准确率（Acc）来进行评估. 实验结果如表5 所示，表中黑体字表示最优的预测结果. 由表可见，LSTM 提取序列特征效果最好，预测准确率达到了88. 57%，和其他循环神经网络相比，准确率提高1. 71%.

4. 6 k值调优 为了找到最优的节点信息传递轮数k，在四个数据集上选择不同的k，比较EGAT 的预测准确率，实验结果如图7 所示. 在EGAT 中，信息每传递一轮，节点就会获取更丰富的邻居节点信息，随着轮数的增加，图中每个节点会不断融合更大邻域的信息，能提升事件预测的效果. 由图可见，klt;4时，K 越小，模型的训练效果越差，随着K 的增大模型结果越来越稳定；kgt;8 时，模型性能开始下降，变得不稳定；k=6时，模型的预测准确率较高，且性能稳定. 所以，在实验中选择k = 6.

4. 7消融实验 为了验证DEGAT模型各组成模块的有效性，进行了消融实验，使用准确率（Acc）来进行评估. 实验结果如表6 所示，表中黑体字表示最优的预测结果，其中M⁃Attention 为多头注意力机制. 由表可见，随着模块的增加，DE⁃GAT 在四个数据集上的预测准确率均在逐步提升，证明其各组成部分均具有有效性. 和基准模型相比，EGAT 获取历史事件图全面的事件特征，预测准确率平均提高0. 86%，在India 数据集上提升1. 22%，证明提出的EGAT 可以进行有效的事件图节点表示学习并获取较全面的事件特征. 加入M⁃Attention 后，模型的Acc 平均提升4. 32%，加入LSTM 后平均提升3. 36%，说明引入M⁃ Attention 和LSTM 相结合的时间编码层后，模型预测性能提升效果最明显，证明了提出的时间编码模块获取时间信息的有效性，并且对模型的准确率有较大的影响. 提出的时间编码层通过捕获不同时间点的全局信息和局部信息提高了事件基于时间的演化信息的表示，从而提升后续事件是否会发生的事件预测的准确率.

5结论

本文提出一种基于动态增强图注意力网络的突发事件预测模型DEGAT. 利用历史时间的事件描述构建成事件图，使用构建的EGAT 获得增强的事件特征并将初始图向量和EGAT 输出的图向量分别输入线性层，经过激活函数合并得到时间特征，将时间特征序列输入多头注意力机制和LSTM，获得动态全局时间特征. 最后，将时间动态特征输入EGAT网络，经过非线性变换后输出预测结果. 在四个国家的社会突发事件数据集上的实验结果表明，提出的DEGAT 模型对事件预测的准确率优于现有模型，和DynamicGCN相比，准确率和精确率分别提高3. 88% 和4. 12%.

（责任编辑 杨可盛）