视听语言的技术叙事形态研究

孙宇龙

(中央民族大学图像研究所,北京 100081)

1 视听语言的技术发展特征及技术言语叙事

90年前,德国艺术家莫霍利·纳吉说,“未来的文盲将是对摄影一无所知的人,而不是不懂书写的人”;后来,美国电影导演乔治· 卢卡斯(George Lucas)也强调“如果没有掌握视听语言,未来的处境和文盲无二”。两段话涉及视听语言的技术叙事问题。当下,网络时代的“屏幕少年”(Screenager)用“屏幕语体”刷新了视听语言技术叙事的外延,“屏幕语言”泛滥于各种大大小小的显示屏。视听语言是一个复杂的言语构成系统,这里我们不探讨其概念与内涵,主要是从现象来探究其叙事形态及特征。

1.1 视听语言的技术叙事特征

从语言学角度看,视听语言的技术语言可归视听语言范畴,我们暂以言语标称,以区别视听语言类型的多样性。其技术言语主要有模拟技术言语(以胶片介质为主)、数字技术言语 (包括影像与声音)、媒介技术言语、网络技术言语、成像技术言语、屏幕技术言语六种类型 (当然,远不止此六种)。还包括正处于试验与研究阶段中的“计算摄影”影像技术言语以及“软件图片”影像科技的技术言语。前者注重以高新技术、纯硬件设备为支撑创作的影像技术言语;后者注重以固定流程为主的软件为支撑的影像技术言语。两者都以技术言语为核心进行表达。数字技术对视听语言的叙事影响主要有两方面,一是硬件设备的技术显性影响,主要体现在运用新技术、新设备,提升与改善影像的视听效果;二是软件设备技术的隐性影响,这是一种多功能多手段的综合性的技术影响,运用新技术新软件间接优化技术叙事功能。

图1 视听语言的言语构成与叙事表达

1.2 视听技术言语叙事形式:场景、情景、意境、声景叙事

技术言语叙事的构成。视听语言的技术言语叙事是以直观视觉画面叙事时空讲述影像故事的,视觉元素是影像叙事的重要因素。视觉元素与画面效果大多基于当时的技术条件,是人类科技创新的产物。胶片时代,传统影像完全由银盐化学技术支撑并创作出来的;其视听语言的叙事受制于多重因素,其中视听技术是重要的一个方面。当代数字技术与高新设备的出现,传统影像创作中无法还原的“视觉奇观”或耗费巨大的“景观”则开始由电脑生成的影像所替代,把现实中无法还原或难以创作拍摄的场景,用电脑形式生成制作出来。这在当代影像中已经屡见不鲜。静态影像中,完全脱离相机或影像设备创作的画面也已呈泛滥态势,只是坚守“真实”状态的纪实与报道影像暂时还没被攻陷。首先,体现在影像的镜头上,传统视听语言的技术要求同人眼视觉观看状态一样,讲究画面的“景深”及其观看效果,而随着数字影像分辨率与像素的提升,一些当代影像及影像画面,反其道而行之,追求全景深画面,让影像画面全清晰,从而在叙事上追求细节与隐藏的叙事由头;其次,是高速摄影的影像画面,以前受胶片成本与摄影设备技术能力的限制,影像的高速摄影总受一定限制,而当今数字设备的高速度已达每秒300帧甚至更高的速度,该技术呈现的视听效果与传统的胶片影像设备呈现的视听效果完全不可同日而语;再次,影像制作中,一些宏观场景或特大型场面的拍摄制作,可采用数字技术模拟图像场景或制作,预先设计或审视视听效果,从而降低影像的制作成本,或者完全用数字技术来制作影像而不用实际拍摄,让影像完全脱离了成像设备制作;第四,为提高影像制作效率或实现更加完善的制作效果,数字技术更加精准控制道具模型,灵活精准地完成影像中的各种高难度动作,使影像画面更具冲击力与表现力。技术的发展,虽然让视听语言的技术叙事有了巨大提升,带来的问题也是显而易见的,即我们是否还需遵循传统的视觉规则与习惯? 技术是为影像艺术的叙事特质与规律服务,还是完全寻求“视觉奇观”?

1.3 场景、情景与意境的内涵

三者内涵有所不同,也有交互。场景,指某一时空范围内的具体场面,一般实指具体对象,具有“形真”特点;情景多指某场合的具体情形与景象,具有“形真、情切”特点,重点在情;意境一般指的时空范围具体情形、情景的概括性综合抽象意境,多指文艺作品或自然景象中所表现出来的情调和境界,具有“形真、情切、意远、理实”的特点。三者之间,场景为实景,手法是写实的,重点在景;情景是虚实结合的,重点在情;意境是以虚为主,重点在意义与理念。三者间,意境最大,情景其次,场景最小。三者内涵不同其技术支撑表达的重点就有所不同。

2 视听语言的技术叙事形态及特征

2.1 场景技术叙事

“没有哪门艺术能够像电影那样精确和全面地描述物质世界,客观如实地呈现现实”。高清甚至超高清的技术的叠代,让视听语言的叙事更具魅力与冲击力。如VR、AR、MR、CR等技术手段的运用以及光场相机,计算相机的出现等。

图2 VR、AR、MR、CR 技术叙事关系图

“技术叙事”极大彰显出视听语言的“技术”属性,却永远是没有边界与止尽的。只要技术不停滞,视听语言的技术叙事就不会止步。虽然从技术层面可以很好地解决视听语言的叙事问题,但叙事仍要遵从视听语言的规律与特征。当代影像高新技术在一定程度上解决了影像叙事的“描绘”现实问题,甚至将真实描述推到了一个前所未有的高度,只有影像创意者能想像的真实或者能够虚构的“真实”技术都已经全部或“部分”地解决了。如VR、AR、MR、CR 等技术带来的对物理时空的全新感觉与认知:一是从视觉层面消解了二维与三维空间的阻隔,影像技术解决了对象处于任何时间与空间的可行性;二是拓展了影像视觉的边界,任何超出人眼视觉的影像都具有了可能性;三是视知觉的融通,影像的视觉、听觉与触觉及知觉的“通感”应用及交互性,影像变得可触可听可视可感;四是虚拟全景影像浸润,观看者完全处于虚拟环境中,影像主体与环境产生交流互动;五是影像创新性,影像在技术支撑下具有任何呈现与传播的可能性。总之,技术颠覆与重造了我们的视听认知。视听语言的技术叙事让人类进入一个全新的视听世界。尤其是“声景”技术叙事,最近形成的“声景”技术叙事已在视听语言中广泛运用。

2.2 “声景”技术叙事

2.2.1 听觉技术叙事

听觉具有情感塑造功能。贾克·阿达利 (Jacques Attali)的 《噪音-音乐的政治经济学》(Bruit,essai sur l'e conomiepolitique de la musique),对音乐、噪音性的听觉对象进行了经济、政治角度的探讨,作者认为声音比视听影像更具渗透、爆破力量。声学趋势研究的奠基者雷蒙德·默里·谢弗 (Raymond Murray Schafer)从20 世纪六、七十年代开始研究,并提出“声音景观”(Sound Scape)、“声学生态”(Acoustic Ecology)的理论及实践,认为“声音景观”是声音、视觉、听觉、空间、生态的多重结合,并且在视听叙事中起到了重要作用。

2.2.2 “声景”技术叙事

声景(Soundscape)是研究人、听觉、声环境与社会之间的相互关系的一种影像叙事技术言语。从语言学角度看,把声音当作一种塑造景物重感知的表达方式,以积极和谐的声音将声音环境看成是一种叙事资源与方式,而不是“噪音”。“声景”最早由芬兰地理学家格拉诺 (Granoe)于1929年用于实践。后来,美国城市规划师索思· 沃斯(South worth.M)使用声景描述城市使人与某个空间建立联系的声音属性。声景理念的普及始于加拿大作曲家雷蒙德·默里·沙弗发起的声景工程,沙弗使用“声信号”描述特定声景。沙弗与一些作曲家共同完成温哥华的声景录制,随后在1976年到欧洲开展相关活动。目前,国际上已有许多研究声景的国际联盟,国际标准化组织对于声景的定义为:个体、群体或社区所感知的,在给定场景下的声环境。2004年声景理念才引入中国。国家环境保护“十三五”科技发展规划纲明确指出:“要以提高城市声环境舒适度为目的,基于声环境对人主观感受的影响,开展声景观设计研究”。

2.2.3 声景的叙事功能与作用

声景用于视听叙事也仅仅是近几年的事,视听语言叙事受限于视觉性的思维框架,以声音媒介及其使用为主题的传播研究,倾向于关注社会情境中人对声音内容的接受过程,将具有空间性的声音压缩到平面世界空间中来讨论,忽略了声音环境本身的形塑、声音的空间性以及声音与人类感官的互动。而声音景观研究则从空间与听觉者的感官经验出发来考察声音环境,以及经由人的听觉方式 (包括解读声音文化意义的能力和听觉的体验倾向)而在内心形成的对此声音环境的印象。其具体功能主要有,一是声景是一种声音景观,将声音视作一种直接跟身体感官互动的感知与叙事方式;二是声景是一种空间叙事,塑造声音景观环境,拓展与联系各个声音媒介传播的情境与场所,从而表达空间的位置安排与权力关系;三是声景是一种环境叙事。

2.3 “情景”技术叙事

该技术叙事在情景剧与舞台剧中表现极为明显,“情景”技术叙事即技术表达服务于情感表达的叙事,是一个暂无严密理论支撑而相对区别的概念,但凡叙事就涉及到情感判断与理性分析,但当情感表达停滞于技术“天花板”时,就需要技术的创新来更好地服务于情景或意境叙事。1992年被称为“中国情景喜剧元年”,英达携梁左、王朔创作的国内首部情景喜剧《我爱我家》,创新了视听语言技术叙事的表达运用方式。而全景深镜头技术的面世也为视听语言技术叙事开拓了新领域。静态影像语言中,“计算摄影”与PS技术也为视听语言的技术叙事拓展了实践领域。而美国的《生活大爆炸》《破产姐妹》等系列情景喜剧也让无数中国网友沉迷于高新技术的技术言语叙事之中。

具体就情感叙事而言,《骇客帝国》中的“子弹时间”技术,改变了影片中对危机瞬间的影像描述,增强了观看的紧张感与危机感,这种技术手段的情感叙事是影像技术叙事的综合运用,要视场景与画面的具体情况具体设定。而电影 《阿甘正传》中用数字合成技术设计了“羽毛”的镜头引发了观看者对于命运的思考,这种技术叙事方法,在当代影视剧中已广泛运用。对于静态影像而言,戴翔的 《新清明上河图》运用多底合成技术,用当代场景替换原绘画的场景,既展现了当代社会的各种情态与繁华,也揭示了社会生存的本质。技术永远是为表达与叙事服务的,无论何种技术的运用,其手段永远在其次,目的是第一位,即用技术来增强情感效果。《阿甘正传》的导演罗伯特·泽米吉斯 (Robert Zemeckis)曾指出,“其实所有的电影元素都是特技,摄影机是、镜头是、麦克风也是,这一切是科技的艺术”。

2.4 意境技术叙事

意境叙事是一个宏大的叙事主题,最早应用于中国古典诗词与现当代文学领域中,意境技术叙事与情景技术叙事有较多关联,这里重点指的是由技术叙事服务于意境营造的叙事方法,也是中国传统文学在视听叙事领域的创新应用,主要应用于影像的意象、情志、哲思等抽象理念的表达。

早期电影《小城之春》是意境技术叙事应用得最好的案例。导演费穆在电影视听叙事中刻意追求意境的营造,秉承中国古典文学的抒情传统,弱化“故事”而转向“抒情”。画中画营造了独特的“空气”与氛围。当时的影片受制于技术叙事能力,也存在表达不通透的惋惜,而在当代影视剧中则运用得充分到位,如电影 《图雅的婚事》 《黄金时代》,就是运用技术叙事手法来进行意境营造表达服务的好案例。体现在静态影像中,画意影像是早期影像技术叙事的一种表现,到当代则完全运用数字与电脑技术或“VR”等技术营造一种只可能在想像中存在的影像画面,这种创作现象多、乱、杂。如静态影像《新清明上河图》《中国新景观》等。

3 视听语言的技术叙事发展倾向

3.1 视听叙事内容的UGC、PGC、OGC、MGC、AGC发展

网络环境下,影像与高新技术融合并衍生发展。体现在两方面:一是大数据将影像创作和传播消费聚合成新传播平台渠道,以在线门户网站为代表;二是视听产业资本与传播、消费跨环节融合出现众筹、UGC (用户生产内容)等创作现象,以专业媒介平台为代表。两者成为视听产业转型发展的突破口:影像门户网络以受众的影像消费大数据信息为基础,推行UGC、OGC (职业生产内容)、PGC (专业生产内容)、MGC (机器生产内容)创作模式,以及AGC(算法生产内容)创作模式;视听创作众筹平台实施跨越式整合,将产业融资与影像传播捆绑经营。从目前这几种方式的产业业绩与参与度看,网络及数字技术对视听产业经济的影响明显而深刻。

3.2 网络技术支撑与内容主导

网络影响了视听叙事的内容传播、数据资源、技术创新等诸多方面。“互联网+影像”实质是“网络技术+视听产业经济”组合成的新技术经济范式的表现形态,推动视听叙事由网络化发展向创意发展转化变革。技术经济范式下的视听叙事的网络化发展,影像本质没有根本变化,同黑白影像向彩色影像、胶片影像向数字影像转型一样,只是发展的新形式,数字与网络技术丰富了视听叙事的内涵,有技术创新,也有理念创新。从发展角度看,技术是视听叙事的外在因素与条件,但不是决定性因素。“互联网+影像”需要大数据、影像创意者的创意与想象力,关键还是内容表达,视听产业作为文化创意产业的组成部分,内容服务与用户的消费需求才是根本,“原创力才是文化产业的核心驱动力”。5G 时代或者“6G 技术”,视听叙事从“互联网+影像”向“影像+互联网”呈现工具性转变,进入以创意为特征的影像创意技术经济范式阶段。新技术经济发展范式下的视听叙事同传统影像、当代影像有了完全不同的内涵。无论哪一阶段,视听叙事内容永远是发展的主导。

其实,视听语言的技术支撑,决定了其言语的动态内涵。随着技术的进步,视听叙事发展永不停滞。未来,多元的视听语言必将分化,一方面大众化,一方面专业化,这关键取决于“场域”与“语境”,同样的视听叙事作品在不同的“场域”与“语境”下,将会被某种特定的意图“转化”,或许还会发生“质变”,而处在视听语言核心处的权力则始终是话语者们争夺的焦点。

注释

①拉兹洛·莫霍利·纳吉 (Laszlo Moholy Nagy1895-1946),德国20世纪最杰出前卫艺术家之一。

②屏幕少年 (Screenager)最早出现在道格拉斯·洛西科夫的《游戏未来 (Playing the Future)》,该书关注的是伴随个人电脑成长的一代儿童。

③屏幕语言是应用电子技术把语言变成视听结合的符号系统。科学技术改变了世界,也创造了一种新的语言形态。

④屏幕技术言语有四个特点:一是编播者依靠电子技术发出电信符号;二是电信符号主要是电声,同时辅以字幕,受众依靠听觉和视觉两种器官接受它;三是兼有跟语音和文字二者相似的特点和作用;四是远距离的、动态的、暂时的,但在一定条件下又是可重复的;即可听,可视,又随时消失,但可以重复听、看。

⑤安德烈·巴赞,《摄影影象的本体论》一文。

⑥VR,Virtual Reality (虚拟现实技术),即利用电脑技术模拟出一个立体、高度模拟的3D 空间,当使用者穿戴VR 显示装置时,会产生好像处在现实中一般的错觉。

⑦AR 是Augmented Reality (增强现实技术),也被称之为混合现实。它通过电脑技术,将虚拟的信息应用到真实世界,真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

⑧MR 有三重内涵:一是Mixed Reality:混合现实,结合真实和虚拟世界创造了新的环境和可视化效果,物理实体和数字对象共存并能实时相互作用,以用来模拟真实物体,如Magic Leap;二是Modulated Reality:调制现实,通过使用可穿戴计算机改变视觉信息,可看作真实世界和用户感知的内容之间的视觉过滤器;三是Mediated Reality:介导现实,与调制现实类似,以其他方式操纵人们对现实的感知能力。

⑨CR (Cinematic Reality影像现实),Google投资的Magic Leap提出,为强调与VR、AR、MR 不同,核心在于通过光波传导棱镜设计,Magic Leap从多角度将画面直接投射于用户视网膜,从而达到“欺骗”大脑的目的。

⑩国际学术界已建立系列跨学科、跨行业的研究联盟,如2006年成立的英国噪声未来联盟 (UK Noise Future Network),2009年成立的欧洲声景联盟 (Soundscape of European Cities and Landscapes),2012年成立的全球可持续发展声景联盟 (Global Sustainable Soundscape Network)等。国际标准化组织亦于2008年成立了声景标准委员会ISO/TC43/SC1/WG54,旨在制定评价声景质量的标准方法。

⑪ ISO 12913-1:2014 Preview Acoustics--Soundscape--Part 1:Definition and conceptual framework.International Organization for Standardization。引用日期2020年5月30日。

⑫ AGC (Algorithm Generation Content首字母的英文缩写)算法生产内容:大数据通过价值主导技术和人工手段,解决个性化不足问题;机器人全面入驻客户端,将传统的资讯阅读、网上评论转化为与用户聊天,实现资讯有效到达和提高用户黏性的作用。

⑬大数据通过价值主导技术和人工,解决个性化不足问题;机器人全面入驻客户端,将传统的资讯阅读、网上评论转化为与用户聊天,实现资讯有效到达和提高用户黏性。