智媒视域下语言标签的多模态意义建构

■ 周 冰

一、问题的提出

媒体信息技术的强势创新从根本上改变了信息的生产方式与传播方式。廖祥忠认为,融合媒体是媒体在传输平台和接收终端的融合,而智能媒体则是内容生产端的革命。①随着大数据算法和互联网技术全面浸入日常生活场景,传统媒体与新媒体交融并存,从接收端到传输端再到生产端的智能化重构时代即将来临。用户的感官体验维度不断丰富,社会连结方式趋于多样化,把握现实的成本代价不断简化。在互联网的下半场,语言模态和非语言模态的深度拟合使得“人的逻辑”②得以强化。

但是反过来看,在视听形式已经成为主流内容，而文字功能凝练为“检索关键词”或语言标签的今天,作为信息传播主体和信息接收主体的“人”又将受到何种影响？

透过智媒视域审视语言标签的多模态维度,有助于揭示内容生产端的智能化重构对于网络语义生成和受众心理认知的深度影响,为媒体转型时期智能传播方式与认知建构关系的探讨提供新视角。具体研究问题主要包含以下两个方面:在智能传媒技术的强势创新下,受众对语言进行认知的环境与方式将受到何种影响？海量多模态信息流对媒体与现实互动融合有何意义？

二、智媒时代的多模态认知:语言符号与非语言符号的合作与竞争

多模态研究是话语分析的一个分支,其理论基础是英国语言学家韩礼德(Halliday)在符号学理论下创立的系统功能语言学。系统功能语言学将广义的语言看作是一种符号体系,或者说是一种“处于持续扩展之中的意义潜势”③,而多模态研究则将符号拆解为语言模态与非语言模态,并认为它们同时为内容建构提供资源。西方学界研究的重点在于对两种关系的思考:不同符号之间的语法关系,以及文字和图像之间的关系。而在传媒技术日新月异的今天,后者将逐渐从二维分析走向三维分析、从静态分析走向动态分析。④从“物”的视角来看,新科技的出现推动新的语篇形式产生,正如斯科伦(Scollen)指出,多模态化的语篇正是社会经验的科技化表现。⑤从“人”的视角来看,媒体科技与语篇形式会形塑用户的认知模式。勒约汶(Leeuven)在探讨科技与语篇形态关系时认为,占据主导地位的媒体技术会很大程度影响读者在接收信息时的感知:例如在黑白片时代,彩色甚至会让人觉得“不自然”。⑥网络技术在过去20年的飞跃式发展,推动了媒体语篇形式与用户阅读习惯不断走向多模态化。

早期的互联网信息内容以文字为主,研究往往着重于分析非语言模态对语言的阐释性作用。例如耿敬北、陈子娟以特定QQ群中的聊天记录为研究对象,通过对文字与非文字模态的量化统计,分析文字与表情、图片、超文本的模态组合形式,认为文字在社区语境、交际内容建构与表达层面起主导作用。⑦这类研究通常对个案研究对象及其价值意义理解较深,但普适性相对不强。⑧

随着5G技术的推广,一方面,智媒视域中的文字、图片、视频等模态在网络新营销逻辑下深度拟合；另一方面,语言模态与非语言模态之间的竞争性趋势开始显现。今天除了有声书、无线广播等纯音频软件之外,主流系统的热门应用客户端大多开始内嵌直播平台或短视频,文字信息从大屏与小屏的视觉中心迁移到了屏幕顶端或底端,占屏比远低于关联图片或视频。抖音、快手等短视频应用在近年来热度骤升；微博、微信提升了用户图片发布数量,并增加了“视频号”的账号类别；个人博客(Blog)出现了照片博客(Plog)与视频博客(Vlog)的变体；淘宝、京东等购物类应用在首页显要位置及相关商品链接中设置直播入口与直播回放功能；大众点评、小红书等商户推荐类应用鼓励商家与个人发布图文、视频结合的文案与评价；携程旅行等旅游出行类应用以及支付宝、天天基金等理财类应用与用户的接触原本仅限于专门类服务,但自2020年以来同样推出了“携程直播”“基金直播”等板块,最大程度地实现了引流与流量的快速变现。诸如百度、搜狐等仍然以文字类为主的门户网站在互联网兴起之初是新媒体的代表,但在近年来的应用迭代中已逐渐向传统媒体形象靠拢。

多模态的语篇形式形塑了新一代网络用户多模态的阅读习惯与认知方式,这就对多模态语篇研究方法提出了新的挑战。事实上,从文本话语分析到多模态话语分析的发展,是智媒时代对语言学研究的必然要求,也是对语言认知机制的重新思考。

从语篇内容上来说,文字在传统媒介与在智媒视域中的地位与作用显然不同。传统媒介以文字为主线,有明确的内容主体；但智媒时代,用户对话语篇幅的容忍度在不断降低,以流量为主的商业模式促使语篇内容与用户阅读时间都呈现愈发明显的碎片化特征:无论是微博和推特曾经的140字限定,微信朋友圈和抖音的15秒短视频,多模态的信息发布模式,各类门户网站的“10万+爆款文章”,或是淘宝、京东等购物网站的销售文案以及各种口号标语,都要求在尽量精悍的文字中不断突显核心信息；在长文开头标明文章字数与预计阅读时长、图解电影等形式则是对用户阅读偏好的另一种适应逻辑。

从信息传播路径上来说,平面媒体及电视节目中的互动主要是一种从传播主体(即作者或主持人)到传播客体(即读者或观众)的单向互动。智媒技术则使多模态语篇的互动性更加多元化:新媒体平台用户既是内容的消费者,也可以是相同或类似内容的生产者与传播者；打上某个语言标签的内容不仅会被推送到特定群体的信息流中,也很容易在群体内与群体间被不断评论、转载、模仿。

三、沉浸:智媒视域中的用户认知环境

(一)信息传播逻辑:语言标签的多模态维度

如果认为智媒视域中的多模态研究是对信息流的研究,那从语言学上对语篇意义建构的探讨将陷入“人一次也不能踏入同一条河流”的不可知论之中。在语篇包含的各类模态中,语言标签可被视作研究多模态语篇意义建构的关键依据,原因有二:其一,语言标签本身虽然属于语言维度,但在算法主导下,语言标签是用户进入某一主题多模态语篇的主要途径。目前,除去购物平台和图片检索网站之外,大多数的内容平台尚不支持直接对图片、音频或视频进行检索,用户搜寻某一内容仍需借助关键词语；其二,人工智能也将语言标签用作信息归类整理计算的依据⑨,实现对用户画像与阅读偏好的过程化动态迭代,并相应对用户接受的信息流进行个性化设置。

匡文波认为,与传统媒体相比,新媒体的本质特征是技术上的数字化和传播上的互动性。⑩在新媒体平台上,用户可以作为多模态语篇的生产者,主动利用语言标签实现多模态语篇的创建:微博、抖音客户端支持用户编辑文字内容时,在关键词前加上#号,使语言标签从简单文字变为超链接,提升其阅读热度；其他用户只需点击语言标签即可进入相关话题的讨论页面,并观看该关键词链接的图片与视频,这就赋予了语言标签以社交功能；大众点评、小红书等推荐类应用在内容编辑页面主动向用户提供“+标签/话题/地点”按钮,同时向用户实时呈现所选标签下的讨论次数,这就在用户的潜意识中植入了“话题群体”的概念。此外,用户也可以作为语篇的受众,实时关注某一平台上频繁出现的语言标签,从而增强社会讨论的参与感:例如百度、微博等应用向所有用户展示实时热搜榜,而抖音、快手则根据用户画像推送“你可能感兴趣的话题”——这两者都是以语言标签为抓手,引导读者通过点击、阅读的方式增加相关内容的讨论热度与观看时长。

事实上,语言标签在人工智能推荐系统的算法引导下不断固化,对用户来说易于形成信息茧房。与此同时,文字、音乐、视频叠加的多模态语篇则使得用户在语言标签的引导下获得某种沉浸式的阅读体验。

(二)内容建构逻辑:从语义驱动到语境驱动

一般认为,文字表达生成并主导语篇逻辑。但这一认知机制在智媒时代逐渐受到挑战。

从纯语言层面来看,新媒体语言在内容和使用上都与普通语言有不同的范式:前者与语境的关联更为直接。崔希亮基于北京语言大学BCC语料库,认为新媒体语言主要包括“新词、新的用法,或者旧词被赋予新的意义,还有不合常规的缩略语、短时流行的话语形式、字母词”等等。自2006年起,国家语言资源监测与研究中心和商务印书馆共同发起“汉语盘点”活动,在发布“十大流行语”“十大新词语”“十大网络用语”的同时,公布由网友投票选出的“年度字词”。历年流行语有2016年度网络用语“洪荒之力”“葛优躺”“蓝瘦香菇”,2019年度网络用语“道路千万条,安全第一条”“雨女无瓜”等等。受现代语言表达习惯与营销逻辑影响,智媒平台上的语言较为简短凝练,其语境相对复杂,但语义内涵较为固定,同时因其新奇表达而极具传播力与感染力。为了传达这一语境,这类词的出现通常是与图像、动态表情包或视频等画面相结合而得以产生及广泛传播的。例如“蓝瘦香菇”实际只是“难受想哭”的南宁方言版本,但其因结合语言标签传播的语境而在基本语义之外富有调侃色彩。换言之,用户理解“蓝瘦香菇”等新媒体语言时,首先需要在认知中驱动词条关联的语境,再从情境中提取出相关语义；新媒体语言传播范围越广、越为人所知,意味着其包含的语境越广泛地嵌入大众的集体记忆,其语义本身反而被空心化。

从多模态维度来看,语篇的符号化特征在不断重复中得以强化,“爆款”思维主导内容的创作与衍生。以淘宝直播为例,其头部主播李佳琦的标志性口号“OMG,买它！”和薇娅的直播开篇语“废话不多说,先来抽波奖”都因其超高辨识度和个人风格而成为二人直播内容的标志性构件,并以此固化了用户在直播间购物时的认知。再以抖音为例,用户在发布一段短视频时,可以选择热门滤镜、热门配乐等填充视频内容,这就使用户在内容生成时进入某种热门的模式化的思维方式中；动态滤镜和配乐本身提供的情景与框架常常是视频内容的主导,“用户扮演着流水线上的工人,为内容的商业化提供零件”,反过来继续为热门模态积累流量。

综上,智媒视域下用户对内容的理解更多地受到语境驱动,而非语言内涵本身——某种程度上,这其实是语言理解的本质,多模态的语篇模式只是将之更加直观地呈现了出来。人类的认知系统在概念加工时处于情境仿真信息和语言信息共同作用之下,其中仿真信息指的是“基于情境的仿真”所带来的信息流,仿真资源包括外在感知(视觉、听觉、触觉、嗅觉、味觉)和内在感知等；概念加工虽是由情境仿真加工机制与语言加工机制共同完成,但情境仿真加工机制是概念加工的主要驱动。需要注意的是,叠加多模态维度的语言标签,在语境驱动上显然具备更丰富的视觉与听觉材料,这就意味着用户仅需要调动较少的认知资源就可以对复杂语境加以理解与再传播；热门语言标签在被频繁重复之后,用户在认知中形成某种条件反射式的理解范式,语义标签背后的深层内涵与传播过程中可能带来的信息失真反倒容易被忽略。

四、共鸣:语义扁平化与圈层划分

(一)语言标签+非语言模态的传播力

美国社会学家丹尼尔·贝尔(Daniel Bell)提出,“当代文化正在变成一种以视觉文化为主的文化,而不是一种印刷文化”。图像提供了一种“替代性经验,让没有亲身体验过的场景变得可感可知”,而存在于多模态语篇中的语言标签一方面是用户注意力的重要抓手,另一方面也是算法动态塑造用户身份画像的重要依据。爆款语言标签成为传播语篇的有力手段,但正因如此,多模态符号共同建构起的“符号真实”使用户容易脱离客观事实的土壤,推动后真相时代的到来。

语言标签为了贴合传播逻辑而需要具备“易于理解”“感染力强”等特征,这就决定了语言标签必然走向语义扁平化,用户基于语言本身去判断语篇内容合理性的认知资源相对有限,对“语篇—现实”二元关系的解读走向单一；“‘弱事实—强情绪’成为网络舆论的新型表达方式,身处其中的人们陷入情绪的漩涡并被其左右”,而多模态的语篇形式则使得情绪表达的象征意义越发浓厚。以2020年席卷美国的平权运动为例:在弗洛伊德事件以视频形式在网络曝光之后,“我不能呼吸”(I can’t breath)、“黑人的命也是命”(Black Lives Matter)等口号迅速以标签形式传播开去,并衍生出“#BLM”的缩写形式以及以弗洛伊德事件为主题的各类海报——其中占据各大社群网站并极具代表性的是“黑方块”(Black Square),英国《卫报》对此评论到:包括各界名人在内的全球数百万用户以“#BLM”标签标记一张纯黑的方块,来表达对黑人平权运动“沉默而团结的支持”。

(二)多模态语篇中的圈层划分

仍以BLM事件为例,英国《卫报》在上述报道中同样指出:在社交平台上发布“黑方块”的行为“引爆争论”,因为其他人认为这种行为是对平权运动内涵的极端“简化”,阻碍了对平权运动深层探讨。

扁平化的语言标签驱动的是一种非黑即白的二元选择逻辑:支持或反对、参与或拒绝参与、选择或不选择、转发或不转发、观看或不观看,等等。一方面,要从这种二元思维中驱动多元价值探讨,是违背传播逻辑的:在争议性事件的新媒体场景中,话语的合法性很大程度上取决于是否能快速引发多数的支持和共鸣；另一方面,BLM事件中,是否发布“黑方块”变成某种划分派别的直接依据,而用户在网络话语场域做的其他二元选择同理——这就意味着用户画像在搭建之初就处于多种圈层的动态交叠中,用户身份由多个语言标签共同建构而形成智媒时代“千人千面”的景象。每一个身份标签都标定了一个群体,同时也与其对立群体划清界限。换言之,语言标签可以凝聚群体力量,但从更大的范围来看,同样易于引发群体认同危机。

在智媒视域中,语言标签本质上是将语言逻辑内化为算法逻辑、将语义符号固化为语境之匙。在语篇形式多模态化的今天,调动多重感官营造的沉浸式阅读体验使得语言标签对圈层划分的推动作用得以进一步放大。

五、结语:智媒视域下语言标签的多模态研究思考

(一)重视语言标签聚焦的社会价值引导

从网络环境的建构来看,多种语言标签筑起了带有纷繁身份认同的碎片化符号世界,因此可以说:用户偏好与身份政治的产生并不以智媒技术为缘由,但却在海量二元选择中得以迅速凝聚,并追求在各自圈层中获得回应。

从意见表达的方式来看,在各类网络平台上,纷繁复杂的图片、视频、音频聚集在某个语言标签之下,成为其语义建构的多模态素材,使得特定表达富有感染力或煽动性。语言标签本身的交互性则使得多模态信息传播速度的几何式增长成为可能。

无论是用户对自身圈层的选择,还是对网络信息的阅读和评价,从个体角度上看都具有充分的自主性与自由度。但随着5G技术与现实生活的深度融合,对于互联网“乌托邦”式的想象显然已不切实际,在从“互联网”到“人联网”的转变中,相应的技术路线、产业发展和政策管理等“社会配套设施”也正在发生范式转变。语言标签是人工智能算法服务于资本管理逻辑的技术依据,因此用户在基于语言标签建构个性化网络话语生态的过程中,应当也必须留有资本监管与国家治理空间,以实现对社会价值的正确引导:无论是脸书对“仇恨言论”的管理,还是微博对“不实信息”的标记,都体现了这一点。

(二)重视语言标签触发的认知范式转变

在多模态信息的快速迭代下,从一方面来说,语言标签有助于快速大范围传播语境情绪,节省用户的阅读成本；但另一方面,需要注意的是,标签化的叙述与多模态的阅读趋势所带来的负面效果已经显现:诸如“YYDS”等新式语言标签正在排挤传统表达,互联网语言在富有创新性的同时,呈现出了一定程度的词汇匮乏化。因此在智媒时代,语言标签触发的认知范式使得用户表达更加千人千面还是千人一面,无疑是值得进一步思考的问题。

(三)拥抱变革:模态拟合呼唤学科融合

在网络与现实的不断融合中,信息的洪流成为日常生活的客观组成部分。无论是多模态技术为用户提供的便利,还是与技术便利伴生的负面影响,都是智媒时代信息传播的既定事实。传统的语言学研究工具已不足以刻画多模态语篇的语义建构范式,传播学的分析视角显然也亟待来自其他学科的支持与补充。

注释:

① 廖祥忠:《从媒体融合到融合媒体:电视人的抉择与进路》,《现代传播》,2020年第1期,第4页。

② 喻国明:《互联网发展的“下半场”:传媒转型的价值标尺与关键路径》,《当代传播》,2017年第4期,第4页。

③ 周海明:《论韩礼德的语言进化观》,《外语教学》,2019年第3期,第51页。

④ 朱永生:《多模态话语分析的理论基础与研究方法》,《外语学刊》,2007年第5期,第86页。

⑤ Ron Scollen.MediatedDiscourse.TheNexusofPractice.London and New York:Routledge.2001.p.15.

⑥ Theo Van Leeuven.IntroducingSocialSemiotics.London:Routledge.2005.p.168.

⑦ 耿敬北、陈子娟:《网络社区多模态话语分析——以QQ群话语为例》,《外语教学》,2016年第3期,第38页。

⑧ 王振华、瞿桃:《多模态语篇的评价研究:过去、现在与未来》,《外国语》(上海外国语大学学报),2020年6期,第49页。

⑨ 张炎亮、张超、李静:《基于动态用户画像标签的KNN分类推荐算法研究》,《情报科学》,2020年第8期,第12页。

⑩ 匡文波:《“新媒体”概念辨析》,《国际新闻界》,2008年第6期,第68页。