融媒体新闻短视频的多模态文体研究——以央视《主播说联播》栏目为例

严 云

(西安外国语大学 英文学院， 陕西 西安 710128)

0 引 言

《主播说联播》是主流媒体在面临传统媒体发展困境下推出的新节目， 以短视频的形式叙述政治、 经济、 文化等多方面的新闻， 呈现出鲜明的语类特征和多模态文体特征。 鉴于此， 本研究以多模态文体学为视角， 结合语类理论提出一个融媒体新闻短视频的分析路径， 解读融媒体新闻短视频的多模态调用规律， 以期启示传统媒体的升级与发展。

1 新闻研究回顾

目前， 新闻界对《主播说联播》栏目的研究， 主要聚焦栏目特点[1]、 创新与突破[2]和栏目内容的生产特征及传播策略两方面。[3]这类研究指出《主播说联播》的优势和创新， 但对栏目形式、 话题内容和传播方式的宏观研究， 并不能深入解读该栏目。 此外， 缺少对新闻结构及其语言层面的分析会阻碍读者对新闻事实的全面理解。[4]

据现有文献调查， 新闻语篇的多模态研究根据研究对象可以分为两类。 一是新闻语篇内部图片的研究， 关注新闻报道中的图文关系[5]， 研究相关新闻主题图片的视觉隐转喻结构和意义。[6]易兴霞、 杨翕然两位学者聚焦新闻语篇的多模态性， 分析图片模态， 认为使用图片模态有助于读者理解新闻， 但其主要关注图片模态， 忽略了其他模态的语篇建构作用。 二是对中美两国有关同一军事事件的电视新闻报道的对比研究， 揭示了中美报道在叙事模式、 话语策略及意识形态上的差异。[7]但在潘艳艳的研究中， 研究语料较少且属于宏观研究。 多模态领域较少关注新闻短视频， Alonso, Molina & Requejo曾从多模态与认知双重视角解读了多种符号资源是如何建构叙事类短视频的语篇意义， 并指出不同模态间的相互作用及其对叙事过程的影响[8]， 但研究重点仍是模态功能， 并未剖析具体语境下模态和模态间相互作用的特征及其对短视频传播的作用。

从已有研究来看， 目前的新闻研究仍不够全面。 作为上述研究的补充， 本研究以央视《主播说联播》栏目为例， 展开对短视频语篇的研究， 结合语类理论和多模态功能文体学， 揭示融媒体新闻短视频的多模态文体特征。

2 《主播说联播》新闻短视频的多模态功能文体研究框架

2.1 多模态功能文体学

多模态文体学是21世纪初新兴起的文体学分支， 致力于研究语言模态与非语言模态在文学语篇和非文学语篇中意义建构的特征。 多模态文体学主要有两大研究方向： 一是以认知语言学为基础的多模态认知文体学， 期望借助认知的理论来解读非语言模态在多模态语篇中的作用； 二是以功能文体学为基础的多模态功能文体学， 重点关注多模态语篇中模态语法建构， 如： 图像[9]、 字体[10]、 布局和色彩[11]等模态语法建构。 张德禄率先提出多模态功能文体的综合理论框架， 着重研究了模态间关系， 为模态间协同关系的研究奠定了理论基础。[12]随后， 张德禄和穆志刚建立了多模态功能文体学分析框架， 重点研究了语言和图像模态， 并在连环画的实例分析中验证了此框架的可行性。[13]张德禄、 贾晓庆、 雷茜还将这一静态框架发展为动态多模态文体分析框架。[14]Norgaard等人明确指出多模态文体学不仅适用于文学语篇分析， 也适用于非文学语篇分析。[15]鉴于此， 本研究以多模态功能文体学为视角， 探究《主播说联播》栏目新闻语篇中各模态的调用规律和运作机制， 期望为融媒体语境下新闻传播提供参考。

2.2 《主播说联播》新闻短视频的语类结构

Halliday & Hasan提出“语类结构潜势”理论， 认为语类结构受情景语境支配， 由必要成分、 可选成分及重复成分构成， 其中必要成分及其顺序决定了某一语篇所属的语类。[16]White将新闻语篇的语类结构分为开篇和主体两部分。 开篇包括标题和导语， 主体又分为详述、 解释、 背景和评论四部分。[17]分析显示， 本文研究对象可分为开篇和主体两部分， 其中开篇部分包括标题和引言两部分， 主体部分分为详述和评论两部分。 新闻的解释和背景信息为详述部分， 评论部分为主播的评论。 鉴于此， 《主播说联播》栏目短视频的语类结构如下： [[标题]+[引言]]^[[详述]+(评论)]， 其中[]表示必要成分， ()表示可选成分， ^表示顺序。

2.3 《主播说联播》新闻短视频的多模态功能文体分析路径

本文以现有的功能文体学分析框架为基础， 结合融媒体新闻短视频的语类结构， 提出如图1 所示的多模态功能文体分析路径。

第一， 需用ELAN(5.9)标注并转写语料。 第二， 确定《主播说联播》栏目主要使用的六种模态， 分为语言、 语音、 表情、 手势、 字体和图片与视频模态。 第三， 应用模态语法和模态使用规律， 确定以上六种模态的分析方法， 具体分析标准如下： a.语言模态以句为单位转写， 输出文本， 应用系统功能语法的及物性系统、 语气和情态系统、 主位结构[18]分析输出文本； b.语音模态细化为重音、 停顿、 升调和降调； c.字体模态主要有大号字体、 阶梯式放大字体、 动态放大字体、 表情包、 颜色、 艺术字体等6种字体处理方式； d.根据McNeill对手势的划分(具象手势、 隐喻手势、 指示手势和节奏手势)[19]76， 结合本文研究对象， 增加强调手势和其他手势； e.表情模态分为微笑、 严肃、 悲伤和同情 4种表情； f.图片和插播视频以次数统计。 第四， 在融媒体新闻短视频的语类结构内部， 依据此分析标准， 标注并统计各部分所出现的模态， 找出失衡和失协特征， 联系语境， 进一步确定为前景化特征。 第五， 应用张德禄的模态间关系理论分析六种模态间的协同关系， 确定模态间关系的前景化特征。 第六， 讨论融媒体新闻短视频中各模态与模态间关系的前景化特征在新闻传播中所起的作用。

3 研究设计

3.1 研究对象

本文选取央视新闻新节目《主播说联播》作为语料。 《主播说联播》是主流新闻媒体在媒体融合背景下改变节目形态、 提升传播影响力的全新尝试。 栏目应用语言、 手势、 语音、 表情、 字体、 图片及视频等多种模态符号资源呈现每日要闻， 体现出鲜明的多模态文体特征。 《主播说联播》于2019年7月 29日同时上线微信公众号、 微博、 抖音等媒体平台。 本文依托新闻联播的微信公众号《主播说联播》专栏， 从2019年8月起至2020年10月15日前， 每月随机收集4个短视频及其标题， 共计60个短视频， 建立小型语料库。

3.2 研究方法及研究工具

本文基于现有的多模态功能文体分析框架， 结合本研究需要细化了模态类型， 增加了语类理论， 提出了针对融媒体新闻短视频的多模态功能文体分析路径。

本研究的研究工具为 ELAN 视频分析软件。 ELAN(Eudico Linguistic Annotator)是由马普心理语言学研究所开发的多模态话语分析软件， 可对语言、 语音、 表情、 手势等多种模态进行多层级同步标注、 排序、 转写、 修改。 同时， ELAN允许用户根据研究需要设定层级数量和顺序， 编订标注编码表。 本文旨在分析融媒体新闻短视频中的语言、 手势、 语音、 表情、 字体、 图像与视频的前景化特征， 将从语音特征、 表情特征、 手势类型、 字体类型四方面进行赋码编订(表1)： 语音特征包括重音、 升调、 降调和停顿； 表情包括微笑、 严肃、 悲伤和同情； 手势类型包括具象手势、 隐喻手势、 指示手势、 节奏手势、 强调手势和其他手势； 字体类型包括大号字体、 阶梯式放大字体、 动态放大字体、 表情包、 颜色、 艺术字体。

表1 语音、 表情、 手势、 字体赋码方案

本研究先利用ELAN以句为单位分割视频并转写语言内容； 再根据赋码方案标注语音、 表情、 手势和字体部分； 最后对图像与视频部分按出现次数标记分为I1、 V1。 标注后的文件(如图2)共分为6个层级， 即： 语言、 语音、 表情、 手势、 字体和图片与视频。 分割标记可供反复查看， 标记结果能够导出， 以备研究需要。

图2 标注文件示例

4 《主播说联播》短视频的多模态文体研究

4.1 开篇部分的多模态文体分析

开篇分为标题和引言两部分， 下文针对这两部分展开研究。 首先， 对标题部分的概念意义(见表2)、 人际意义(见表3)及语篇意义(见表4)分析如下： 物质过程、 言语过程和关系过程共同构成标题部分的主要过程， 数量上较为突出(分别为41%， 33.5% 及18.5%)， 并且主播和新闻事件构成主要的参与者； 陈述语气为主要的语气类型(89%)； 无标记主位是突出的主位类型(85%)。

表2 标题的概念意义分析

表3 标题的人际意义分析

表4 标题的语篇意义分析

高频率的物质过程、 言语过程、 关系过程、 陈述语气及无标记主位的使用成为标题部分的突出特征。 物质过程陈述新闻事件， 言语过程突出了该栏目的特点， 关系过程主要描述事物和事件的属性， 结合陈述语气和无标记主位客观地总结了新闻的主要内容， 形成了很好的前景化特征， 突出新闻内容和主播的评价， 使标题更加凝练。 另51篇新闻标题都以“主播说联播”开头， 成为突出特征， 表明栏目主题， 是较好的前景化特征， 有利于读者在每日众多推送中找到该栏目。 此外， 少量的疑问语气和特别文字版式的使用(如： 英语、 网络语言、 谐音字等)构成失协突出。 新闻标题以疑问的语气向读者抛出问题， 结合特殊的文字版式， 使标题更为生动有趣， 起到了很好的前景化效果， 吸引读者继续浏览， 也使该栏目更具特色。

第二部分为引言部分， 59篇新闻的引言都为“主播说联播， 今天我来说”。 分析结果显示： 言语过程、 陈述语气、 动态出现的大号字体“今天我来说”和主播的笑容构成引言部分的突出特征。 言语过程和动态出现的大号字体更能突出栏目的特点与类别。 同时， 主播面带微笑播送新闻。 二者成为很好的前景化特征， 提醒了观众正在观看的栏目， 也用微笑拉近了主播与观众的距离。 此外， 开篇部分整体主要采用平行型主位推进模式， 形成突出特征， 但开篇部分文字较少且重复内容较多， 不构成前景化特征， 此处不再讨论。

4.2 详述部分的多模态文体分析

详述部分共使用语言、 语音、 手势、 图片、 表情和字体6种模态， 对语言部分的概念意义(见表5)、 人际意义(见表6)及语篇意义(见表7)分析结果如下： 物质过程、 关系过程、 心理过程及言语过程(分别为52.8%， 27.1%， 7.5%， 7.6%)形成突出特征； 陈述语气构成主要的语气类型(96%)， 另有8个疑问句用陈述语气来阐述和疑问句的使用是为失协突出； 情态副词的使用(85.1%)是明显的突出特征； 使用大量的无标记主位(68.4%)并用延续型和平行型主位推进模式详述新闻内容的方式成为失衡突出。

表5 详述部分的概念意义分析

表6 详述部分的人际意义分析

表7 详述部分的语篇意义分析

高频率的物质过程很好地阐述了新闻内容， 是对标题的进一步论述； 关系过程表述事件以及事物间的关系或性质， 不同种类的关系过程展开对事件、 行为的论述， 将其本质及属性都纳入了新闻之中； 心理过程生动再现了参与者的情绪和内心世界； 言语过程也更为直接地表达了参与者的看法。 这些突出特征形成了很好的前景化特征， 使用大量的物质过程和关系过程能够清晰准确地传递新闻信息， 结合心理过程与言语过程强化了事件和事件参与者的主体性， 使新闻更加真实。 主播利用陈述小句并结合高情态的肯定副词肯定了新闻的内容， 是很好的前景化特征， 强化了新闻的可信度。 此外， 新闻应是信息的提供者而非索取者， 因此， 使用疑问语气是明显的失协特征。 同时， 主播应用陈述语气阐述了部分疑问句也构成了失协突出。 主播使用疑问语气向读者抛出问题， 促进读者思考与猜测， 引出下文内容和观点； 利用陈述语气提出问题， 表明对解决问题的信心。 这些起到了很好的前景化效果， 丰富了内容的表达形式， 增加了新闻的悬念。 新闻语篇建构中， 主播使用无标记主位以平行型和延续型主位推进模式讲解新闻。 无标记主位突出新闻事件参与者的特点， 便利读者阅读； 平行型主位推进模式从多角度详述同一事件和事物； 延续型主位推进模式有逻辑、 有条理地展开新闻叙述。 这些都是很好的前景化特征， 增进读者对新闻的理解， 体现新闻逻辑的严密性。

文字版式中， 新闻一律使用加粗的白色微软雅黑字体， 并对部分字体做放大处理， 有以下3种方式。 一是整体使用大号字体， 二是词语成阶梯式逐渐放大， 三是字体动态放大。 同时， 字幕也会使用颜色、 艺术字或用表情包代替部分文字内容。 这些都形成了详述部分的突出特征， 微软雅黑较其他字体同等模式下更粗且更清晰， 结合粗体， 使文字内容更加醒目； 多样化大号字体的处理方式突出了新闻的重点内容， 使其排版更加合理； 艺术字、 表情包及颜色的使用能够进一步突出新闻主题， 也使新闻整体更具设计感。 这些都起到了很好的前景化效果， 字体的放大处理使新闻整体结构鲜明， 重点突出， 起到提醒读者的作用； 艺术字体、 颜色及表情包使新闻更加符合短视频的特点， 紧跟网络潮流， 是对传统新闻严肃形象的变革。 同时， 新闻事件或人物的视频或图片的使用形成突出特征。 内嵌图片能够再现部分内容， 而小视频更是对新闻内容的直观演示， 更为生动和形象。 二者是很好的前景化特征， 增加了新闻的真实性和客观性， 更好地发挥了新闻的信息提供功能； 也方便读者认识新闻人物， 直击新闻现场， 给其带来了很好的新闻体验感。

据上文手势划分， McNeill将手势分为具象手势， 隐喻手势， 指示手势及节奏手势。 具象手势是对具体事物或行为的模仿， 隐喻手势表示抽象的概念或行为， 指示手势以身体的部分指向某对象， 节奏手势是指手部有节奏地摆动。 研究发现， 本文还存在两类手势。 一是强调手势， 指手势跟随语音重音重重下压， 用以强调所说内容。 二是其他手势， 这类手势并无明显的表意倾向， 往往是身体的惯性动作。 据上述划分， 详述部分的手势分析如下： 节奏手势， 隐喻手势， 指示手势共同构成突出特征。 主播以节奏手势有节奏地上下摆动， 跟随语言的句式或强调内容； 使用隐喻手势表达抽象的概念， 使其更为具体化； 利用指示手势指向观众和所说对象。 这些都起到了很好的前景化效果， 节奏手势往往助力新闻信念的传达， 强化话语力度和权威性； 隐喻手势使整个新闻更具画面感， 促进观众对抽象概念的理解； 指示手势增强观众的参与感； 三种手势共同构建了丰富的新闻画面和内容。

在实现新闻信息传递功能过的程中， 主播在播送积极内容时有明显的笑容， 在播报部分消极事件时露出悲伤和同情等表情， 其余时刻保持严肃表情。 较高频率的微笑和严肃表情是明显的失衡特征， 主播微笑传递积极内容能够感染观众， 表情严肃符合新闻常规， 说明新闻的权威性； 较少的其他表情也构成了失协突出， 这些都是很好的前景化特征， 严肃表情继续增进新闻的权威性， 微笑和其他表情体现了新闻播报方式的变革， 使观众更易产生共鸣。

本文还划分了重音、 停顿、 升调和降调四种语音特征， 分析统计得出重音和停顿的使用成为突出特征。 重音与具体的语言目的和语境密切相关， 能够突出新闻主次， 强调重点内容； 结合停顿增强新闻的逻辑性与层次性并设置悬念。 因此， 二者起到了很好的前景化效果， 丰富了语言的表现形式， 增强语言的感染力。

4.3 评论部分的多模态文体分析

评论部分共使用语言、 字体、 手势、 语音及面部表情五种模态。 对语言部分的概念意义(见表8)、 人际意义(见表9)和语篇意义(见表10)的分析结果显示： 物质过程， 关系过程和心理过程共同构成评论部分的主要过程(分别为52.9%、 30.8% 和7.6%)。 大量陈述语气、 情态副词和无标记主位的使用形成失衡突出(分别为97.2%、 66%和69.2%)。

表8 评论部分的概念意义分析

表9 评论部分的人际意义分析

表10 评论部分的语篇意义分析

评论部分主要是主播对新闻的客观评价， 传递新闻栏目的意见性信息。 大量的物质过程描述事件的后果、 影响和启示， 两种关系过程从属性和本质两方面评论事件， 心理过程以“我”为参与者表明媒体的态度和立场。 三种过程起到了很好的前景化效果， 清晰明了地传递了媒体态度， 更易使观众产生共鸣。 同时， 高频率的陈述语气和高情态的情态副词肯定了媒体观点的权威性， 起到了很好的前景化特征， 增加新闻感染力。 此外， 无标记主位的使用构成失衡突出， 表明评论部分主体的特点， 促进受众对媒体观点的理解， 是为前景化特征， 很好地实现了语言的语篇功能。 另外， 字幕设计的字体是该新闻栏目的整体特征， 在详述和评价部分并无差异， 二者持有相同的前景化特征， 此处不再赘述。

分析评论部分手势模态显示： 高频率的节奏手势及隐喻手势是明显的失衡突出。 隐喻手势能具体化抽象概念， 能在新闻尾声传递积极情感； 节奏手势使评论部分的语言掷地有声。 这些起到了良好的前景化效果， 有利于公众接受新闻观点和立场。

本研究还发现， 此部分中主播微笑的表情和重音的使用构成突出特征。 主播微笑表达对事件的支持， 为部分参与者加油， 呼吁公众； 使用重音突出重点内容， 实现语句的主要交际目的， 提醒观众。 因此， 二者是很好的前景化特征， 能拉近主播和观众的距离。

4.4 《主播说联播》栏目短视频的模态间协同关系分析

第一， 开篇和主体中， 语言和语音模态都为互补强化中的突出关系。 主播以语言模态为主， 通过重音、 停顿、 升调和降调等方式强调和突出新闻的重点内容， 使新闻整体层次分明。 第二， 语言和表情也是互补强化中的突出关系， 主播的表情变化传递情感是对文字信息的强化， 更好地表达了语言内容的情感意义， 易使读者产生共鸣。 第三， 语言和字体也是互补强化中的突出关系， 语言为主， 三种字体放大方式、 艺术字体、 表情包和颜色突出语言的重点内容， 使新闻结构分明， 更具设计感且符合当前新媒体的发展趋势。 第四， 语言和手势有两种关系。 一是互补强化中的突出关系， 如节奏手势和强调手势伴随语言， 增强语言力度。 二是互补强化中的主次关系， 如图示手势和隐喻手势， 语言是主模态， 两种手势是次模态， 两种模态共同建构同一概念。 最后， 语言和图片及视频模态为互补非强化中的协调关系。 主播播报新闻事件， 图片和视频展示事件参与者、 场景、 发生过程， 二者缺一不可， 更为全面且真实地传递了新闻。 鉴于此， 《主播说联播》栏目短视频的模态间关系主要为互补强化中的突出关系， 形成突出特征。 语音模态、 字体模态、 表情模态、 图示手势和隐喻手势突出重点语言内容， 设置悬念， 强化语言信息， 图示手势和隐喻手势很好地建构了新闻概念， 并且利用图片与视频传递更多新闻细节。 因此， 该突出特征起到了很好的前景化效果， 有重点、 有逻辑地建构了新闻的主要内容， 很好地实现了概念意义、 人际意义和语篇意义。

5 结 语

本文基于哈桑的语类理论与多模态功能文体学， 借助ELAN(5.9)分析《主播说联播》新闻短视频栏目， 提出了一个新闻短视频宏观语类结构下的多模态文体分析路径， 揭示语言、 文字版式、 手势、 表情、 声音与图片和视频模态在开篇与主体中的不同功能。 研究发现： 语言、 文字版式及表情模态能有效在开篇部分吸引观众目光， 拉近主播与观众的距离。 主体部分利用物质过程、 言语过程和关系过程， 有效地实现了新闻的信息传递功能； 利用陈述语气， 疑问语气及高情态副词加强媒体态度和内容的真实性； 根据新闻内容协调使用表情、 文字版式、 手势和语音等模态， 有利于用户抓住新闻重点内容， 感受主播传递的情绪， 增强新闻体验感并收获共情效果。 因此， 对新闻短视频进行功能文体分析有利于发现新闻媒体的语篇意义建构中各模态的功能， 可启发新媒体时代其他栏目的创新与发展。