基于多任务多模态学习的谣言检测框架

蒋方婷 梁刚

摘 要： 谣言检测是对社交网络上传播的信息内容进行真实性鉴别的任务. 一些研究表明融合多模态信息有助于谣言检测，而现有多模谣言检测方法具有以下问题：（1）只是将处于不同表示空间的单模态特征简单拼接形成多模态表示，没有考虑多模态之间的关系，难以提高模型的预测性能和泛化能力.（2）缺乏对社交网络数据组成结构的细致考虑，只能处理由文本-图像对的社交网络数据，无法处理由多幅图像组成的数据，且当其中一种模态（图像或文本）缺失时模型无法进行预测. 针对上述问题，本文提出了一种多任务多模态谣言检测框架（MMRDF），该框架由3 个子网络组成：文本子网络、视觉子网络和融合子网络，通过从单模态数据中提取浅层至深层的单模特征表示，在不同的子空间中产生特征图，丰富模态内特征，并通过复合卷积结构融合生成联合多模态表示，以获得更好的预测性能. 同时该框架可以灵活地处理所有类型的推文（纯文本、纯图像、文本-图像对和多图像文本），并且没有引入造成额外时间延迟的传播结构、响应内容等数据作为输入，可以在推文发布后立即应用于谣言检测，减少辟谣的时间延迟. 在两个真实数据集上的实验结果表明，所提框架明显优于目前最先进的方法，准确率上的提升分别为7. 3% 和2. 9%，并通过消融实验证明了各个模块的有效性.

关键词： 谣言检测； 多模态分析； 表示学习； 多任务学习； 神經网络

中图分类号： TP393 文献标志码： A DOI： 10. 19907/j. 0490-6756. 2024. 023004