国内短视频多模态话语的演进过程与热点探析

摘要：文章以短视频多模态话语在中国的发展历程和热点趋势为研究对象，通过对CNKI（中国知网）全文数据库收录的140篇短视频多模态话语领域期刊文献进行可视化分析，深入探讨文献的年代、研究机构、关键词共现、突出特征和聚类等方面的内容。同时，结合知识图谱，从研究结论、研究对象、研究内容等方面，为我国未来的短视频多模态话语分析研究提出建设性意见。

关键词：多模态；短视频；CiteSpace

中图分类号：G206 文献标识码：A 文章编号：1004-9436（2023）02-0-05

0 引言

多模态语言是一种交流方式，它利用听觉、视觉、触觉等感觉，使用语言、图像、语音、手势、动漫和网络等方式和符号信息实现交流。20世纪90年代开始，西方学术界开始大力开展多模态话语分析方面的研究，其中最具代表性的是Kress&Leeuwen、ScOllon&Levine、o'Halloran、Forceville&Urios等学者的研究成果。李战子是国内最早深入开展多模态研究的学者，其在《多模式话语的社会符号学分析》（2003）中提出，多模态语言不仅仅是文本，还包括图像、图表等多种符号编码，可以用来实现更多的意义。此书深入探讨了Kress&Leeuwen提出的视觉语法理论和图像研究方法，推动了学术界对多模態话语分析的研究进展。2009年，韦秦红发表了他的首部多模态话语解析专著《视觉环境下的多模态化与多模态话语研究》，为多模式语篇解析的发展作出了重要贡献。随着时间的推移，越来越多关于多模态话语分析理论的专著出现。例如，高佑梅（2014）在《认知语言学方法为基的中国英语课堂教学实证研究》中，从认知语言学的角度探讨了多模态话语；张立新（2012）在《基于ELAN的多模态话语研究——以大学英语教师课堂话语为例》中，深入探讨了多模态话语的分析和多模态教学的设计。这些专著都是针对应用理论研究的。

自从2003年李战子开辟了研究多模态的先河，往后近20年，我国多模态话语研究的领域和方向愈来愈广泛，但有关短视频多模态话语分析的研究仍处于起步阶段。鉴于此，本文以中国知网中的文献为数据基础，以“多模态”和“短视频”两大主题词对知网上的文献进行筛选，并通过CiteSpace（6.1.R2）文献计量软件，对筛选出来的文献进行可视化操作，探析该研究领域的演变过程、研究现状与发展趋势，旨在为今后该领域的相关研究提供参考。

1 研究方法

1.1 研究工具

CiteSpace是一款信息可视化软件，已在学术界得到广泛应用。它通过考察一定范围内的文献，对被引文献、关键词等进行定量分析，将所得结论绘制成可视化图谱，从而发现该研究领域的前沿热点与发展趋势（陈悦等，2015）。在确定数据来源后，笔者将中国知网上相关的140篇论文的书目信息全部下载下来，将信息导入CiteSpace，获得年度刊文、生产性期刊、生产性作者和机构、高频关键词、关键词聚类图等信息并进行分析。

1.2 研究对象

在国内权威性数据库之一——中国知网（CNKI）中进行检索后，发现有关“短视频多模态话语”这一领域的、具有较高质量的文献最早出现在2014年。于是，本文将2014年至2022年期间的所有该领域的文献作为研究对象，并将其导入CiteSpace，生成知识图谱进行分析。

1.3 数据来源与收集

借助知网的高级检索功能，在主题词一栏中填入“短视频”“多模态”两个主题词后，不限制时间范围、更新时间等，共获得文献156条。后借助数据去重与人工筛选，将新闻通讯等相关性较小的文章去除，总共获得140篇有效文献。

2 文献可视化分析

2.1 文献年度分布

学术论文在数量上的变化往往能反映出该学术领域的发展情况，对文献数量进行统计分析并描绘增长曲线，可以帮助评估该行业的发展，并预测其未来的发展［1］。本文统计了近8年来国内140篇短视频多模态话语分析相关文献的年度发文量，大致可以分为以下两个阶段：缓慢增长期（2014—2018年）、持续增长期（2018年至今）。

如图1所示，2014年，董小晶教授首次在其论文中对短视频中的多模态话语进行分析研究，而后连续3年，该领域研究依旧不活跃，发文总量只有8篇。自2018年开始，有关短视频多模态话语分析研究的论文发文量才开始呈现垂直上升的趋势，2021年该领域发文量达到48篇，直至今日，该领域发文量仍然在持续增加。这充分表明，近年来，由于新媒体的活跃发展，短视频逐渐成为人们日常生活中不可忽视的存在，对社会各行各业的影响也越来越大。因此，国内学者对短视频多模态话语分析的关注度持续提高，短视频领域的多模态话语研究逐渐成为学界关注的对象。

2.2 研究热点与研究趋势

2.2.1 高频关键词和关键词共现

为了更好地了解2014年至今国内短视频多模态话语分析的研究热点和趋势，笔者将数据源中的关键词筛选出来，按照出现频次由高到低排序，选出前20名关键词，结果如表1所示。将非研究目标关键词“多模态”和“短视频”剔除后发现，国内有关短视频多模态话语分析的研究热点主要集中在“特征表示”“抖音”“深度学习”“视觉语法”“音画关系”等方面，频次分别为10、7、6、5、5；“李子柒”“主流媒体”相关研究的频次紧随其后；而其余方面的研究频次不足4，包括“低秩表征”“对外传播”“新媒体”“社交媒体”“词汇教学”等。

接着，通过运行CiteSpace软件，获得关键词共现可视化网络图谱（见图2），将当前研究热点与趋势可视化。由图2可知，在140篇文献中，抓取了147个关键词，并且它们之间共有194次关联。这表明国内学者从多个角度对短视频多模态话语开展了分析和研究，但是这一领域的研究仍处在初级阶段，尚未完善，也说明短视频多模态话语分析具有跨学科的特点。

在图2中，节点大小反映了短视频多模态话语分析的热点领域和话题，节点越大，表明该领域的研究越热门。除去“短视频”和“多模态”两个作为在知网数据库中进行检索的关键词后可以发现，2014年到2022年，“深度学习”“抖音”“视觉语法”和“对外传播”等关键词是短视频多模态话语分析研究领域的热点话题，这说明短视频多模态话语分析领域的研究内容正在变得越来越丰富多彩。学者们将短视频多模态研究应用到教育学、传播学、社会学等学科领域，不仅促进了学界跨学科交叉融合发展，而且对社会发展产生了一定的积极意义和影响。

2.2.2 突现词分析

为了进一步了解短视频多模态话语分析领域的研究热点和研究趋势，在高频关键词和关键词共现网络的基础上，将Y值设置为0.2，对关键词进行burstness检测［2］，共提取9个突现词，由这9个突现词可知短视频多模态话语分析研究发展的关键与变化。

如图3所示，从变化时间上可以观察到，关键词突变大致可以分为以下几个阶段。2014—2018年，集中于“音画关系”和“特征表示”，这段时间内国内研究者刚开始对短视频进行多模态话语分析，研究刚刚起步，研究内容还处于探索阶段；2015—2019年，“词汇教学”和“大学英语”成为研究中心，教育学研究领域的学者开始重视短视频的多模态话语分析；2016—2019年，“传播策略”突現明显，表明传播学领域的学者开始关注短视频中的多模态话语；2018—2020年，“社交媒体”和“互动意义”突现明显，说明学者开始从社会学的角度对短视频的多模态话语进行分析研究；2019—2020年，“低秩表征”一词突现，这有可能是未来短视频多模态话语分析研究领域的重要研究内容。

2.2.3 关键词聚类

CiteSpace通过算法将文献中共同的关键词标签等聚类后，再对其进行分类，从而形成一张图谱，较为清晰地呈现出该学科领域的研究前沿［3］。该技术基于谱聚类算法，能够有效提取相关文献中的关键词，从而更好地反映研究的前沿。CiteSpace一般通过“模块值”和“平均轮廓值”来评估聚合的有效性。通常来说，当Q值大于0.3，则表明聚合分析得出的社团结构特点是明显的，而当S值大于0.7，则表明聚类结果的可信度较高，具有较高的参考价值［4］。图4的Q值和S值均达到了0.959，表明该视图不仅特点明显，且有较强的说服力，能够为研究者提供有效指导。

从图4可以观察到，去除“短视频”和“多模态”两个标签后，聚类最明显的标签依次是“政治视觉修辞”“主流媒体”“词汇教学”“视觉语法”“乡村形象”。“政治视觉修辞”和“主流媒体”是短视频多模态话语分析研究的重点关注对象，究其原因是在媒体融合的大背景下，主流媒体开始突破创新，在各类社交平台上创建官方账号，因此，在对短视频进行多模态话语分析的初期，多数学者会选择主流媒体作为研究对象，考察主流媒体短视频中的多模态话语对社会和受众产生的影响。另外，“词汇教学”“视觉语法”和“乡村形象”三者之间并无交叉重叠，学术研究较为分散。因“视觉语法”是多模态话语研究中使用较为频繁的理论框架之一，所以并不能算在短视频多模态分析的研究对象中，由此可见，多模态视域下对短视频领域的研究较为片面，尚未发展成熟。

2.3 主要发文作者及研究机构

通过中国知网的数据分析功能，可以清晰地看到2014—2022年这8年间发表文章最多的学者是苏育挺和井佩光，他们分别发表了4篇相关文章；其次是刘昱、崔天舒和叶徐清，分别发表了2篇相关文章；最后是冯德正、徐剑、范建刚、张梅、黄圣等学者。图5展示了这些学者的可视化分析结果。研究多模态短视频的机构包括天津大学、香港理工大学、上海交通大学和福建师范大学。其中，天津大学的研究团队由著名学者苏育挺、井佩光、刘昱、崔天舒和叶徐清领衔，而香港理工大学的研究团队则由著名学者冯德正领衔。

3 研究不足与建议

对我国近8年的短视频多模态研究成果进行分析可以发现，短视频多模态话语分析在我国属于较新的研究领域，对其进行研究的学者相对较少，直至近几年该领域的研究才逐渐得到重视。作为一个较新的研究领域，本文认为短视频多模态话语分析研究存在一些不足，并针对该现象提出了一些建议。

3.1 研究结论主观化，缺少实证研究

近年来，国内针对短视频多模态话语分析的研究日渐丰富，但大多数文章仍停留在引进和介绍国外学者的理论与科学研究方法上，能够提出具有原创性的、独立完整的短视频多模态话语分析理论框架的学者相对较少。大多数学者在进行多模态话语分析理论研究时，仍采用Kress&Leeuwen在1996年出版的《阅读图像：视觉设计的语法》中提出的视觉语法理论框架。因此，应该加以思考和创新，以更好地探索多模态话语分析的本质。

同时，由于学者对话语类分析的研究是建立在学者个体的文化背景、知识底蕴、研究动机等之上的，所以不可避免地会存在研究结论过于主观化这一问题，从而导致研究结论差异化较为明显，而出现这一现象的原因是学者在该领域进行研究时，缺乏实证研究加以佐证。如果我国短视频多模态研究领域能够学习学科教学领域的多模态研究中的实证研究，不仅能够促进多模态领域中的学科融合与共建，而且短视频领域的多模态话语分析研究方法也会越来越完整。

3.2 研究对象扁平化，亟待学科共建

在短视频多模态话语分析研究领域，学者们较多从认知语言学和系统功能语言学角度对短视频进行多模态话语分析，深入探讨音画关系的结构性特征，及其在概念、人际关系和语篇这三个层面的功能作用。多模态话语分析不应仅局限于某个学科领域，而应当是一种跨专业的研究，涉及符号学、传播学、社会学等学科，以更深入地探索语言的本质。尤其是在科技飞速发展的当下，短视频是新媒体行业中必不可少的存在，短视频的内容也涉及各行各业，对短视频的多模态话语分析应当得到学界的重视。

因此，学者应及时解构或构建短视频多模态话语符号中的意义关系，积极主动地与其他学科领域的学者进行沟通交流与学习。学科的融合与共建是多模态话语分析研究领域的必然趋势，只有紧跟时代潮流，在别的学科领域中发现多模态的存在，并将短视频多模态分析融入各個学科领域，才能促进各学科共同进步，从而推动社会发展与进步。

3.3 研究内容单一化，研究内涵需丰富

笔者通过文献研究发现，多数文献的研究内容主要集中在“主流媒体”“线上教学”等方面，内容同质化现象较为严重，研究缺乏独特的视角与创新性见解。虽然相比研究初期而言，现阶段逐渐开始有越来越多不同学科领域的学者对短视频中的多模态话语进行分析研究，但样本数量较少，尚未形成较为成熟的研究关系网。新媒体时代，短视频APP被广泛使用，逐渐成为人们获取信息、学习知识、沟通交流等不可或缺的渠道之一，如果对短视频多模态方面的分析研究只局限在“主流媒体”“线上教学”等方面，那么关于短视频多模态话语分析的研究便会因学术视野狭窄而无法取得突破性的发现。

在后续研究中，需要分析多模态视域下短视频对受众的影响与效果等，将研究与社会生活的方方面面相联系，展现出信息时代短视频多模态话语的变化与特色。例如，黄芙蓉等学者对《中国一分钟》进行多模态话语分析，发现文字、声音、图像能够通过不同的方式对受众产生不同的影响，从而更好地发挥时政类短视频的效果，实现其意义［5］。虽然该文章仍然是从“主流媒体”的角度出发进行研究的，但更关注多模态不同的呈现方式对受众的影响与效果。如果未来有关短视频多模态话语分析的研究能够放大这一优点，不仅能够真正推动相关研究发展，而且能对社会发展起到一定的促进作用。

4 结语

随着新媒体时代的快速发展，社会不再是以往单一的模式形态，而变成了多模态共同发展的社会。以往被忽视的非语言符号，如声音、图像、色彩等，正在共同构建如今的社会。虽然我国对短视频多模态话语分析的研究时间并不是很长，但该研究领域拥有广阔的发展前景，值得我国学者进行深入研究。同时，随着我国科技的飞速发展，短视频多模态话语分析将在研究思路、方法和路径上取得新的突破，从而推动语言学研究进步与发展。

当然，本研究仍然存在一定的不足。首先，本研究的文献数量充足，一定程度上能够反映我国短视频多模态研究的状况，但文献来源为知网收录的相关论文，相比核心期刊而言，缺乏代表性。其次，本研究检索的关键词为“短视频”和“多模态”，可能并未搜集到全部有关短视频多模态话语分析的研究文章，也可能包含部分其他领域的文章，因此准确性有待商榷。最后，本研究涉及的外国文献较少，如果能够统计整理国外短视频多模态话语分析研究的发展进程，研究得出的结论将更加严谨。

参考文献：

［1］ 杨思洛，韩瑞珍.知识图谱研究现状及趋势的可视化分析［J］.情报资料工作，2012（4）：22-18.

［2］ 陈超美. CiteSpace中的BurstDetection［EB/OL］.陈超美科学网博客，https：//blog.sciencenet.cn/blog-496649-566

289.html，2012-05-03.

［3］ 陈悦，陈超美，胡志刚，等.引文空间分析原理与应用CiteSpace实用指南［M］.北京：科学出版社，2014：75-76.

［4］ 陈悦，陈超美，刘则渊，等. CiteSpace知识图谱的方法论功能［J］.科学学研究，2015，33（2）：242-253.

［5］ 黄芙蓉，黄琪，王芬.时政微视频：多模态话语讲好中国故事的政治传播实践：以人民日报《中国一分钟》等为例

［J］.湖北第二师范学院学报，2021，38（6）：102-108.

作者简介：王晓凡（2000—），女，江苏盐城人，硕士在读，研究方向：新闻与传播。