张超
【摘要】在图像转向中,语图关系成为视觉文化研究的前沿问题。语言没有零度,图像同样如此。作为视觉文本的数据可视化,语图关系如何可视是深刻理解语图话语协作生产的窗口。文章分析了数据可视化中的四种语图关系:语言统摄、图像统摄、语图互补、语图协商,认为图像转向是一种修辞,语言和图像是共生关系。无论是哪种语图关系,其应用标准都应服从整个数据新闻文本表征现实的需要。
【关键词】数据新闻 数据可视化 语图关系 互文性
【中图分类号】G210 【文献标识码】A 【文章编号】1003-6687(2021)9-075-05
【DOI】 10.13786/j.cnki.cn14-1066/g2.2021.9.012
数据新闻诞生于图像转向(pictorial turn)的时代,数据可视化在数据与新闻的接合中纳入进来,既是功能所需,亦是文化使然。图像转向的深层文化逻辑表现为图像最终完成了对社会现实和个体的视觉化建构,世界在普遍而广泛的意义上变成了一个可见性的存在,[1]视觉成为一个意义生产和竞争的场所。[2](7)对数据可视化而言,数据表征的现实及数据间错综复杂的关系、规律借由视觉编码的组合表达出来,这个过程看似无偏倚,实际上用一种隐性的方式实现劝服性话语生产。[3]
与此同时,人文科学学术视野发生了变化,开始重视图像表征,图像成为中心话题。[4]在新闻传播领域,语图领域的相关研究多集中在业务操作层面,侧重图片新闻的语图关系探讨。与图片的写实图像对现实的仿拟、再现不同,数据可视化还能再造现实——将抽象数据转译为可被理解的视觉文本。语言没有零度,图像同样如此。作为话语生产的两种信息传播通道,研究语图关系有助于深刻理解语图话语的协作生产。数据可视化的语图关系如何?在图像转向下,图像一定居于霸权地位吗?这些关系在何种条件下形成,在话语生产中又扮演着什么样的角色?
在探讨上述问题前,本文对数据可视化和语、图做如下说明。数据可视化与数据新闻的关系可分为:整体与部分的关系,数据可视化是数据新闻文本的一部分;同一关系,数据可视化等于数据新闻。本文所说的数据可视化包括以上两类。数据可视化文本由标题、视觉编码、图例、注释、数据来源、署名和其他文字说明等构成。语指标题、注释、数据来源、署名和其他文字说明等语言部分,图指视觉编码和图例。
一、图像统摄
在图像转向下,一种代表性的观点是,图像在当今文化中居于霸权地位。当世界被把握为图像,成为反映、理解世界的主导方式时,语言从属于图像,产生图像统摄。在数据可视化中,图像统摄指图像依靠自身的表意系统主导着整个数据可视化文本的意义锚定。当然,图像统摄也是有条件的。
第一个条件是眼见为实,可能是对事件、现场的目击,也可以是一种信息、证据的间接在场。新的视觉文化最惊人的特征之一是它越来越趋于将本身并非视觉性的东西予以视觉化。[2](5)对数据可视化来说,存在数据转译成数据可视化的中介过程。虽然视觉编码对数据是再现的,但数据可视化因有数据,具有科学的气质,数据可视化被赋予科学、客观的灵韵(aura)。在外人看来,数据转译成数据可视化不是主观创作,而是一种值得信赖的、科学的知识生产过程。第二个条件是语境的确立。语境伴随着意义的识别与区分,其功能是对诠释过程的限定与引导,使人们能沿着某种共享的认知框架和领悟模式完成意义建构。[5]与语言一样,图像也依赖语境锚定意义。数据可视化只有将符号置于特定的语境关系中,才能避免意义的漂浮不定。第三个条件是基于文化的、惯习的视觉设计可被准确理解,作者在设计中尽可能使用了意义锚定技巧,实现图像的独立表意。此时语言可有可无,甚至可以缺席,图像成为锚定意义、引导思维的主要方式。
满足这三个条件,数据可视化就可以通过图像的言说,利用观者“烙印在心,制度的、政治的、意识形态的秩序”的方式诠释优势意义,最终完成对图像意义的优势解读。[6](152)
图像统摄的存在,一方面说明视觉性在影响文本意义阐释和解读中的重要性,如果图像所携带的意象回应的是一个概念问题,图像便具有了公共话语生产的修辞功能,以一种相对具象化的方式把握既定的概念,从而实现公众在视觉意义上的认同和对话。[7]另一方面图像统摄如果被滥用,利用人们对数据可视化的信任和眼见为实的心理,会在视觉文本中立性面纱的掩盖下,制造一种话语暴力。[8]在数据新闻生产中,有人会利用图像统摄有意、无意地对事实、真相进行扭曲,以证明自己的观点为真,如截取Y轴、违反常规设计等。
二、语言统摄
虽然图像一直想挣脱语言的束缚,成为一种主宰意义的力量,然而图像统摄并不总是发生,在特定条件下,语言会重拾支配地位,形成语言统摄。在何种情况下,语言统摄才会发生?
第一种情况,当数据可视化的视觉编码无法进行基本的表意时,语言统摄便会发生。与照片、绘画、电影、电视等以形象复制或表征现实的视觉文本不同,数据可视化通过视觉编码将数据映射成符合用戶视觉感知的可见视图。视觉编码主要由点、线、面、体等图形元素和位置、长度、面积、形状、方向、色调等视觉通道构成。视觉编码如果以图表的形式呈现,则需要语言锚定图形元素和视觉通道的属性(意义)。以柱状图为例,没有数字的标注和图例的说明,则是一个没有任何信息量的图形。在这一层面上,语言一定是居于统摄地位的。
此外,图表基础部分与标题、注释、数据来源、其他文字内容等构成了数据可视化文本的第二层面。在这一层面上,语言并不一定是统摄的,本文探讨的语图关系便是基于这一层面。
第二种情况,当图像意义出现漂浮时,语言统摄也会发生。对于本体事物而言,图像呈现出一种特有的自由属性,故图像表意过程中能指与所指之间并非存在绝对的对立与统一。[9]当数据可视化在释义上存在多义的可能,或在视觉传达上无法实现预期的表意目的,出于新闻文本对真实、准确、客观的要求,需要语言进行概括、释义或确认。
以全球数据新闻奖作品《博尔扎诺人民共和国》(People's Republic of Bolzano)为例(见图1),如果去掉图中所有文字,只留下两个人物和其他视觉符号,图像释义有多重可能:两人的右眉毛有一部分是一样的?还是右边男士的眉毛移植到左边男士的身上?然而图像的意义并非如此。
在意大利博尔扎诺地区,中国人占整个人口的0.6%。图中左边男士是博尔扎诺本地人,他在图中的面积被换算成该地区人口的整体,右边的中国男士则不参与这种换算,仅代表中国人,0.6%通过眉毛的大小换算出来。这个数据可视化在设计上很有创意,但如果没有语言锚定意义,就会引起歧义。
数据可视化中的视觉形象擅长呈现表面上的信息,而语言不仅可以说明字面上的意义,也可有弦外之音、言外之意。在这种条件下,语言依靠其自身指涉的确定性和意义表达的深刻性,统摄整个数据可视化文本的意义。
第三种情况,语言上升为话语层面,成为主导话语(dominant discourse)[10](74),在意义传达中没有质疑、不被挑战。这时,如果画面中的图像能指和语言能指发生冲突,人们往往按照语言的意指方式重新想象图像的意义。[5]
在《卫报》发表的《中国经济放缓对世界其他地区的影响权重》(How China's economic slowdown could weigh on the rest of the world)一文中,标题点明了数据可视化的主题。在导语中,记者用数据告诉读者中国进口下降对澳大利亚经济的具体影响。这则报道看似用数据说话,甚至有的国内媒体还以此从另一个角度说明中国经济对世界的影响力。如果将这条新闻放在当时西方国家的语境中,以上报道在话语上暗藏西方国家经济复苏缓慢、经济不稳定的“甩锅”逻辑。单纯将中国进口下降数据与各国GDP进行比较,似乎向读者暗示中国进口是各国GDP增长与否的唯一要素。在当时西方国家的主流舆论中,有一股很强的声音是中国要对西方经济形势“负责”。所以《卫报》导语中的文字不能简单地理解字面意思,实际上是当时情境下西方媒体的这类主导话语、偏见话语的新闻表达,具有更深层的话语涵义。如果数据可视化试图挑战这类话语,无疑会遇到巨大困难。《卫报》用气泡图将其他国家悬浮于空中,“中国”则像一个实心球一样拽着其他国家,制造了一幅中国“拖累”世界经济的意象,呼应了语言层面上的话语立场。
在语言统摄下,图像更多的是对语言命题的一种形象化表达,主要目的在于说明、证实、强化语言的命题与观点。图像转向的说法其实是一种修辞,图像自身的局限不能保证这种统摄地位一直存在。
三、语图互补
语图互补是指语言和图像利用各自优势,共同完成话语生产。在这一关系中,语图是平等关系,而非主导关系。语言和图像利用各自的意义阐释优势,协同完成整体文本的话语生成。语图互补分为两种情况:冗余和互文。
第一种是功能层面上的互补:冗余。冗余是信息或叙述的重复。在数据可视化中,语言和图像分别占据理性和感性两种符号传播通道:语言善于表达抽象的、思辨的内容,在提供直观的细节和复杂叙事上力不从心;而图像善于表达具象的、信息量大的内容,擅长复杂叙事。
用语言叙述时间跨度较长的事件,需要占据较大的篇幅/时长。在数据可视化中,一条时间线可以将几十年、上百年的信息纳入一张图表之中。在叙述空间内容的时候,语言要把空间中的现象或行动同时表现出来,只能采用话分两头的方式,不能同时既描写行动,又描写行动发生的环境,有时牺牲属于空间的信息。[11]而数据地图、仿真图可以在空间维度上叠加多维信息,形成不同地区的主题并置叙事。对于错综复杂的主体关系,数据可视化还通过社会网络分析图、树状图呈现。
当语言和图像陈述相同的命题时,从语义传达角度说是一种重复,但从受众的接受角度看,这种重复只体现在命题陈述中,由于语言符号和视觉符号的理解机制不同,给受众带来的阅读体验存有差异。
《华尔街日报》发表的《Libor蜘蛛网》(Libor:The Spider Network)分析的是18个金融机构、35个人在金融危机中对全球最重要的关键利率——伦敦银行同业拆借利率Libor作假中的社会关系。如果用语言表述,受众很可能会淹没于烦琐的文字表达中。如果用整体网络(whole network)图表表达,则清晰明了得多。不同主体间的关系用线条连接,织成一张网,将错综复杂的关系用极具视觉冲击力的方式展示出来。还可以通过交互,查看围绕特定主体的自我中心网络(egocentric network)。因此,在篇幅/版面一定的情况下,视觉文本提供的信息量要远大于语言文本,视觉文本善于复杂叙事。
第二种是内容上的互补:互文。互文性是指任何一种话语的影像或文本,不只依赖自己,还依赖其他影像和文本所携带的意义。[6](217)德里达认为,任何一个新文本,都与以前的文本、语言、代码互为文本,而过去文本的痕迹,则通过作者的扬弃而渗入他的作品。[12]語言和图像的互文一般是通过注释的形式完成的。这在数据可视化设计中是较为常见的操作手法。互文关系除了传统的在静态图上标注,还可以用超链接等交互手段实现。
四、语图协商
新闻话语是一种行事话语(performative discourse),用于说服读者相信其描述的内容为真,新闻业将解释转换成了真相,转换成公众能依此行事的现实。[13]在数据新闻文本中,语言和图像在表意上需要协调,不能出现类似于《这不是一只烟斗》的语图对立或语图争夺,但这也不意味着语图关系一定是和谐、互补的。
新闻叙事有框架,决定着什么被言说、呈现。框架是对被感知的现实进行某些方面的挑选,并使之在传播文本中凸显。[10](166)在新闻叙事中,叙事框架通过不同元素的组织变成事实,呈现给受众。[10](180)叙事框架提供了一个认识世界的方式:问题是什么?谁应该负责?解决措施是什么?
語图协商是指语言锚定的框架与图像锚定的框架是一种相互制衡的关系,这源于新闻报道准则的遵循、言外之意的实现或叙事焦点的差异,这是一种既想逾越,又想克制的“暧昧”状态。
美国佛罗里达州有《坚守阵地法》(Stand Your Ground),根据该法,任何人在任何地方认为自己受到攻击或者相信自己的生命、安全处于危险时都可使用武器。路透社发表《佛罗里达枪击死亡情况》(Gun Deaths in Florida)(见图2)时,在图表中的“2005”处加了注释,提醒受众从这一年起《坚守阵地法》开始实施。从标题和注释的语言框架看,这是一种客观的表达方式,没有预设立场,但如果从图像框架看,则包含明确的观点:该法实施后,枪击事件发生的概率是下降的。
虽然图像框架更引人注目,但这个案例的语图关系却不属于图像统摄,原因在于这张图表采用了反常规的设计,Y轴的数值增长方式由传统的由下到上变成了由上到下,导致受众理解存在歧义,削弱了图像自身的统摄能力。实际上该法实施后,枪击事件发生的概率总体是上升的。当然,在实践中也存在语言框架观点明确,但图像框架较为客观的语图协商关系。
为何会出现语图协商?笔者认为,这实际上是一种“客观仪式策略”。记者设定了制造不含偏见的新闻报道的程序,但程序在事实上却包含偏见。[15]这是一种看似客观实则偏见的讨巧的叙事策略。
需指出的是,语图协商的判定并不是绝对的、唯一的,而是相对的。受制于受众所处的社会语境、个人经验等因素,语图协商在受众的阅读环节可能直接被感知成语言统摄或图像统摄,因为“文本的意义是在阅读时产生的,而非在写作之时发生”。[16]
结语
数据可视化存在四种语图关系,在每个数据可视化文本内部,语图关系可能是多样的。图像转向下,语言和图像并非非此即彼、谁取代谁的关系,而是一种共生关系。无论是哪种语图关系,其应用标准都是服从整个数据新闻文本表征现实的需要。
参考文献:
[1] 刘涛. 环境传播:话语、修辞与政治[M]. 北京:北京大学出版社,2011:202.
[2] 尼古拉斯·米尔佐夫. 视觉文化导论[M]. 倪伟,译. 南京:江苏人民出版社,2006.
[3] 李京. 视觉框架在数据新闻中的修辞实践[J]. 新闻界,2017(5):9-15.
[4] 郑二利. 米歇尔的“图像转向”理论解析[J]. 文艺研究,2012(1):30-38.
[5] 刘涛. 语境论:释义规则与视觉修辞分析[J]. 西北师大学报(社会科学版),2018(1):5-15.
[6] 吉莉恩·罗斯. 观看的方法:如何解读视觉材料[M]. 肖伟胜,译. 重庆:重庆大学出版社,2017.
[7] 刘涛. 意象论:意中之象与视觉修辞分析[J]. 新闻大学,2018(4):1-9.
[8] 党西民. 视觉文化的权力运作[M]. 北京:人民出版社,2012:277.
[9] 张伟. 图像霸权的审美祛魅——论现代视觉文本的范式构建与互文表征[J]. 新疆大学学报(哲学·人文社会科学版),2015(4):107-112.
[10] 罗伯特·考克斯. 假如自然不沉默:环境传播与公共领域[M]. 纪莉,译. 北京:北京大学出版社,2016.
[11] 安德烈·戈德罗,弗朗索瓦·若斯特.什么是电影叙事学[M]. 刘云舟,译. 北京:商务印书馆,2005:105.
[12] 朱海燕. 西方互文性理论对读者中心论的影响与建构[J]. 名作欣赏,2018(24):163-164.
[13] 保罗·范登侯汶,杨颖,郭镇之. 批判修辞:一种新闻透明理论[J]. 全球传媒学刊,2016(4):83-96.
[14] Pamela Engel.This Chart Shows An Alarming Rise In Florida Gun Deaths After 'Stand Your Ground' Was Enacted[EB/OL].[2021-08-01].http://www.businessinsider.com/gun-deaths-in-florida-increased-with-stand-your-ground-2014-2.
[15] 苏抒扬.事实还是仪式?——新闻客观策略的局限性与对策[J]. 理论界,2013(1):155-157.
[16] 彼得·加勒特,艾伦·贝尔. 媒介与话语:一个批判性的概述[M]//艾伦·贝尔. 媒介话语的进路.徐桂权,译. 北京:中国人民大学出版社,2016:2.
Image Isn't Necessarily Dominant: Word-Image Relationship in Data Visualization
ZHANG Chao(School of Culture and Communication, Shandong University, Weihai 264209, China)
Abstract: In pictorial turn, the relationship between word and image has become the frontier in visual culture study. Word has no neutrality, so does the image. As a kind of visual text, how words and images interact provides scope to better understand the cooperative discourse production of words and images in data visualization. This paper analyses four kinds of word-image relationships in data visualization: words dominant, image dominant, complementary and negotiable. This paper holds that the idea of pictorial turn is actually a kind of rhetoric. Word and image form a symbiotic relationship. In each word-image relationship, the application criterion is subject to the need of representing reality of the whole data journalism text.
Key words: data journalism; data visualization; word-image relationship; intertextuality