张晗
[摘 要] 随着数据新闻、图表新闻的兴起,人们越来越多地接触新闻图表。本研究根据图表理解理论的MMII模型,采用实验心理学眼动追踪技术,考察数字阅读特别是手机界面下,“一图胜千言”的图表理解效果是否成立。研究结果显示,数字阅读中新闻图表比文字信息更容易吸引人们的关注;但新闻图表的认知加工负荷与文字相当;就阅读理解效果來看,柱状图和折线图优于文字信息,而饼状图劣于文字信息;当加入色彩作为自变量时,三类黑白新闻图表的阅读理解正确率均高于彩色新闻图表。
[关键词] 新闻图表 类型 色彩 数字阅读 眼动实验
[中图分类号] G230 [文献标识码] A [文章编号] 1009-5853 (2020) 01-0053-08
A picture is worth a thousand words : Eye Movement Experiment Research on News Chart Digital Reading
Zhang Han
(School of Communication,Shenzhen University,Shenzhen,518000)
[Abstract] With the rise of data news and graphic news, people are increasingly exposed to news charts. Based on the MMII model of the chart comprehension theory, this study uses experimental psychology eye tracking technology investigate whether digital reading, especially the mobile phone interface, is effective in understanding the effect of the“one picture is worth a thousand words”chart. Research results show that news charts in digital reading are more likely to attract peoples attention than text information. However, the cognitive processing load of news charts is comparable to that of words. In terms of reading comprehension, histograms and line charts are superior to text information, while pie charts are inferior to text information. When color is added as an independent variable, the reading accuracy of the three types of black and white news charts is higher than that of color news charts.
[Key words] News chart Type Color Digital reading Eye movement experiment
眼睛是心灵的窗户。早在2400年前,先哲孟子在《离娄章句上》中讲到“存乎人者,莫良于眸子”,意思是观察一个人,再没有比观察他的眼睛更好的方法。与中国文化注重伦理、推理和经验哲学不同,西方研究者坚持寻找一种记录和研究人类眼睛运动的实证方法,即眼动追踪技术。有关阅读中眼动的研究最早可以追溯到19世纪末法国学者拉马尔(Lamare),贾拉尔(Javal)以及休伊(Huey)的工作。早期的眼动研究,心理学研究者关注的主要是阅读过程中眼动的一些基本参数,直到最近20多年,随着认知心理学的兴起,心理学家开始关注眼动过程与认知机制的关联,通过分析眼动指标参数及特征说明对阅读信息的认知加工过程。
1 研究对象与理论问题
1.1 作为信息传递形式的新闻图表
图表,又称统计图,指图像化的数据,通常包含坐标系、位置、长度、角度、方向、形状、面积、体积、颜色、标尺等符号,用以表示大量数据以及数据之间的关系,让人们透过视觉化的符号,更快速地读取原始数据。随着数字化传播方式的兴起,信息传播中图表信息的数量不断增加,特别是以图表新闻、数据新闻等为代表的可视化信息,使得新闻传播的信息突破了文字——这一人们需要具备共同语言背景和长期文化积累才能实现意义传递的载体形式,并且推动信息“可视化”的含义从严格意义上的统计图表扩展至一种探索、展示和表达数据含义的方法,甚至逐渐成为一种新的媒介形态。
早在1980年代中期,随着我国报纸图片宣传工作的开展,“一图胜千言”成为全国新闻界的一句流行语[1]。在纸质阅读时代,“图”是指报纸上的新闻照片,优秀新闻照片的标准有三:一是新闻价值,记者、编辑拍摄和挑选图片的重要标准是传播新闻形象信息;二是形象价值,要有真实生动的新闻形象,直接反映事实的新闻形象语言,现场纪实性的特点;三是配以新闻因素的文字说明。“胜千言”的标准在于“新、真、活、美”的新闻形象。
2000年以来,信息技术、网络技术的发展和中央关于新闻宣传工作“三贴近”的要求,为我国新闻事业的发展注入了新的生机和活力,特别是作为传统媒体之一的报纸,在版面设计尤其是“图”的使用上出现了很多新变化[2]。以新华社为代表的新闻单位以“图文互动”为理念在全国“两会”等重大事件报道中一改过去文字稿和照片稿脱节的状况,用有限的版面资源以图表的形式再现新闻主体,使版面利用率大大增强,实现了资源配置的最优化。
图表新闻作为精确新闻的种类之一,是指用统计学、社会学研究方法融入传统新闻报道,用图表形式报道新近调查统计所得事实的一种形式,事实是指数据,而并非新闻要素的5个W及一个H [3]。常见的新闻图表类型有平面表(统计图)、柱状图、饼状图和折线图等。图表新闻的使用不仅提升了稿件的美观度而且满足了人们的阅读需求,让读者用较少的时间完成阅读过程,留下深刻印象,实现纸媒版面经营效益最大化和读者阅读时间支出最小化的双赢[4]。图表新闻为新闻工作者防止主观片面性提供了一种相对客观的形式,也成为信息时代受众在短时间内获得更多信息的载体形式。但很长一段时期,由于新闻界曾停留在报纸媒体应是以图为主还是以文为主的争论,学术界对新闻图表的研究多归在新闻编辑教材作为版面配置或新闻图片的一部分进行阐述,相关研究著作和论文数量较少、关注点单一、研究缺乏系统,总体而言,关于新闻图表的研究在我国还比较冷门[5]。
1.2 图表理解理论
图表呈现的信息更悦目、易观察、便于归因,图表不仅有突出的视觉和空间特征,而且有表征数量关系的数值和符号,人们是否能快速正确地获取并理解图表所传递的信息,已成为认知心理学家关注的重要问题[6]。根据人们加工图表的复杂程度可分为规则模型(rule model)、认知过程模型(cognitive process model)、计算模型(computational model)和层次框架模型(hierarchical framework model),结合新闻图表的一般认知特征,本研究采用认知研究过程模型中的图表理解理论。
早期研究图表和视觉理解的学者将人们的认知过程分为三个阶段,首先是视觉元素编码,比如识别线和轴,其次是图表信息转译,比如注意到图表中形态要素的区别与变化,最后是将图案和标签联系起来以解读图表传递的信息,比如决定该图表是否有价值[7]。图表理解理论的提出者哈佛大学史蒂芬·平克(Steven Pinker)教授认为,图表中的信息传递至视网膜,再达到人们的神经系统会通过两个阶段,视觉组列(visual array)和视觉描述(visual description) [8]。视觉组列指产生于视觉描述之前的对未加工信息的形象化理解模式,这一阶段的信息离理解图表含义尚远,人们会将视觉组列的信息提炼并将其与头脑中已有的知识结构相联系。视觉描述阶段,人们会产生对于各成分要素的分散感知,如面积、形状、位置、颜色、结构等以及空间关系等。从视觉组列到视觉描述存在视觉编码过程(visual encoding processes),即对符号再现或结构化的内在机制,这一机制可划分为四个步骤,匹配(match process)、信息归集(message assembly)、查询(interrogation)和推理(inferential processes)。后续的研究者认为,图表的不同种类、颜色、标注方式,以及人们已有的关于图表的知识也会对图表阅读理解效果产生影响[9]。
1.3 研究假设
毋庸置疑,数字传播技术使人们获取信息的方式发生了巨大的变化,人们获取信息不再热衷于纯粹的文字表达,而是越来越被图片吸引,通过图片获得视觉信息和感官享受,从语言艺术进入到视觉艺术,这一转型被称为“读图时代”的到来。特别是数字阅读的兴起,人们每天停留在电脑和手机上的时间大幅增长。
那么在数字阅读条件下,“一图胜千言”是否依然成立?人们对于新闻图表的信息接收与处理是否呈现出与纸质阅读相同的认知机制?影响新闻图表信息加工的各项因素是否在数字阅读条件下仍然适用?不同特征的数字化新闻图表阅读理解效果是否不尽相同,哪种形式更优?基于此,本文提出如下研究假设:
研究假设1 数字阅读条件下,新闻图表与文字信息的认识方式存在差异:
研究假设1.1 新闻折线图的眼动指标与文字信息的眼动指标存在差异;
研究假设1.2 新闻柱状图的眼动指标与文字信息的眼动指标存在差异;
研究假设1.3 新闻饼状图的眼动指标与文字信息的眼动指标存在差异。
研究假设2 数字阅读条件下,不同类型的新闻图表认知方式存在差异:
研究假设2.1 新闻折线图与新闻柱状图的眼动指标存在差异;
研究假设2.2 新闻饼状图与新闻柱状图的眼动指标存在差异;
研究假设2.2 新闻折线图与新闻饼状图的眼动指标存在差异。
研究假设3 数字阅读条件下,新闻图表的阅读理解效果与文字信息的阅读理解效果存在差异:
研究假设3.1 新闻折线图的阅读理解效果与文字信息的阅读理解效果存在差异;
研究建设3.2 新闻柱状图的阅读理解效果与文字信息的阅读理解效果存在差异;
研究假设3.3 新闻饼状图的阅读理解效果与文字信息的阅读理解效果存在差异。
研究假设4 数字阅读条件下,颜色因素影响新闻图表的阅读理解效果:
研究假设4.1 彩色折线图与黑白折线图的阅读理解效果存在差异;
研究假设4.2 彩色柱状图与黑白柱状图的阅读理解效果存在差异;
研究假设4.3 彩色饼状图与黑白饼状图的阅读理解效果存在差异。
2 研究方法
眼睛是人类信息加工过程中最重要的输入系统,眼球运动能够即时反映信息加工过程、大脑活动和思维活动[10]。为了看清楚某一个物体,眼睛必须保持一定方位才能在视网膜上清晰成像,这种停留被称为“注視”(fixation),阅读时的信息主要是在注视期间获得。当我们注意的目标发生转移,眼睛将从一个注视点移动到另一个注视点,这种现象称为“眼跳”(saccade)。通过研究眼睛的基本运动,研究者可以对人的认知活动规律加以探索[11]。但是眼球运动速度非常快,典型的注视一般持续200—300毫秒,而眼跳更是仅有30—50毫秒的时间。眼动追踪技术的不断发展和国内外相关领域的眼动实验成果,为心理学眼动实验介入数字阅读媒介使用过程的直接测量提供了可能。二十多年的阅读领域的眼动研究的五大关键词为阅读(reading)、眼动(eye movements)、眼动控制(eye movement control)、信息(information)和频次(frequency),研究结果主要基于英语语言阅读,主要来自西方心理学家的工作[12]。
2.1 研究设计
本研究使用Tobii Pro T60 XL采样率为60Hz的屏幕式眼动仪(简称眼动仪)。眼动仪集成在24寸宽屏显示器中,使用Tobii pro studio軟件3.4,还包括戴尔15.6英寸笔记本一台、标准鼠标一只、软件配置为windows7。一体式眼动仪适合注视点持续时间和时间效度较高的研究,有利于获得大视角的高准确度用户眼动行为数据,确保测试环境无干扰,获得用户眼动行为数据。
为验证研究提出的假设,本项目设计两组眼动实验,从国内三大门户网站的数据新闻频道:网易数读、搜狐数字之道、新浪数据新闻选取新闻图表素材,为了控制变量,减少干扰因素,对实验材料进行简化处理,增加标题和数据标注。9张实验材料在模拟黑色iPhone7 Plus手机端界面中呈现,因为中国是iPhone最大的销售市场,并且黑色手机框可以降低阅读的干扰,文字材料采用常见易读的10号方正雅黑字体,行距1.23倍。
实验一采用单一控制变量,自变量为新闻信息形式即文字或图表,因变量为眼动指标,测试材料模拟手机端屏幕界面,放置文字和不同类型的图表数字阅读材料,利用眼动仪记录眼动指标,含首次进入时间、阅读注视点个数、访问时间和次数、热点图。
实验二自变量为新闻图表的颜色,彩色和黑白,因变量为阅读效果,使用模拟手机端屏幕界面,放置相近主题的彩色和黑白的折线图、柱状图和饼状图,在被试观看完材料后立即进行问卷问询,检验不同新闻图表的阅读效果。
在被试者方面,由于眼动实验属于心理学研究方法的范式,样本规模少则20人,多则80人,且以大学在校生为主[12] [13] [14]。本实验招募实验被试35人,双眼裸眼视力4.9及以上,无色盲,文化程度为在读本科以上,并选取其中4人进行预实验。在职业选取上考虑突破以往的在校大学生主体,增加企业白领、管理人员、教育工作者等,以提高实验结果的可推广性。
2.2 研究过程
预实验。4名被试者参与预实验,主要目的之一是发现测试材料可能存在的问题,其二是尝试估算每份材料的一般阅读时长以进行眼动仪设置。预实验过程结束后被试者反映,个别实验材料在屏幕显示中的清晰度不够,课题组调整了字体及测试图片的大小,并将每份阅读材料时长定为20秒。
前 测。对33名被试进行问卷调查,了解被测者基本信息、平时的阅读习惯和图表接触情况,以便排除阅读行为和阅读素养差异较大的被试,同时获得被试的人口学和阅读行为数据。获得有效被试数据30份,其中24人为在校大学生,6人为不同职业的工作人士,前测结果显示,被试者平时均通过电脑或手机阅读新闻图表,一半的被试阅读新闻图表的频率为一周多次,三分之二的被试者习惯用手机阅读新闻,每天用手机阅读的时长平均为1.7小时。
正式实验。被试者在填写完成前测问卷后,请被试者进入眼动仪实验室,坐在椅子上,适应环境后,主试讲述实验的相关要求、注意事项,调整最佳实验距离64cm。眼动仪屏幕显示指导语后正式开始实验,被试者要完成3段文字,3张彩色图表,3张黑白图表的阅读,每段实验材料放映时间持续为20秒,其中彩色图表和黑白图表同类型交叉显示。被试者完成阅读后,移步于实验室旁边房间完成后测问卷。获得有效被试数据30份。
后 测。后测问卷共18道题,分别考察被试对9张实验材料中数据的回忆程度和理解效果,每张图表设计数据回忆(具体数值)和理解效果(大小、多少等对比关系)的问题,测试阅读理解效果。
3 研究发现
3.1 数字阅读条件下,人们对新闻图表和文字信息的认知加工方式不同
实验通过眼动追踪技术记录分析成人数字阅读文字信息和新闻图表的过程,记录被试的眼动指标和特征,取每位被试眼动指标的平均值。
新闻图表比文字信息更容易引起阅读关注。眼动实验中,首次注视点进入时间指被试用了多长时间第一次注视到一个兴趣区,数据显示三种新闻图表,无论彩色还是黑白,该指标均低于同主题的文字信息,比如彩色折线图的首次注视点进入时间为0.060秒,黑白折线图为0.0260秒,而同主题文字信息为0.138秒,柱状图和饼状图也显示同样的特征,说明新闻图表比文字更容易引起阅读关注。
新闻图表的信息加工复杂程度与文字信息相当。首个注视点持续时间代表信息加工的复杂程度,时间越长表明被试阅读时需要更多时间来加工信息,而这一指标在文字信息与彩色或黑白的新闻图表上没有显著差异。在“总注视时间”这一指标上三类新闻图表与文字信息加工所需时间十分接近,只有柱状图所需时间较同主题的文字信息稍长。注视点个数指在测试材料的兴趣区组中的注视点个数,反映被试的关注程度,在这一指标上,彩色和黑白的饼状图所需关注度较文字少,折线图和柱状图的关注程度与文字信息相当(见表1)。
3.2 数字阅读条件下,各类新闻图表的认知加工方式不同
注视轨迹是眼动仪记录下来的注视点出现顺序,以此推测人们的信息加工方式,在眼动仪上生成动态的avi格式图像,这里因呈现方式所限,仅展示静态截图。热点图是根据被试每一个注视点关注时长生成的直观图像,能直接反映眼球的关注情况。
根据实验结果(见图3),彩色柱状图类型的新闻图表注视点出现顺序基本是杂乱的,有从标题开始也有从数值或标注开始,但注视时间最长也就是人们最关注的是标题和数值,且加工信息所需时间最长的除标题外,是横轴标尺和数据值,且黑白比彩色柱状图关注度高。
新闻折线图的眼动轨迹,呈现先关注数据变化、后注视新闻标题的特点。在彩色折线图中,峰谷更受人关注,而黑白折线图中峰顶关注次数最多。热点图显示,彩色折线图中,人们依次注视到了标题、数据值和横坐标轴等注视点,黑白折线图里人们只给予数据的峰顶以较高的关注度(见图4)。
新闻饼状图的结构与柱状图和折线图存在差别,其眼动指标也显示不同的规律。轨迹图显示,除标题和各标示数值外,图内的部分和图形中心点也出现注视点,视觉关注的热点区主要在各数值处,且对数值的关注程度高于新闻图表的标题(见图5)。
3.3 数字阅读条件下,两类新闻图表的阅读理解效果优于文字信息
本研究主要通过人们对文字信息和同主题新闻图表的阅读理解正确率检验即后测问卷来检验。问卷就数据的极值和数据系列进行提问,经过统计发现,柱状图的阅读理解正确率远高于文字信息,折线图的阅读理解正确率稍高于文字信息,而饼状图的阅读理解正确率却远低于同主题的文字信息,但新闻图表的平均正确率整体高于文字信息。
3.4 数字阅读条件下,黑白新闻图表的阅读理解效果优于彩色新闻图表
实验结果证实了研究假设4,即黑白新闻图表与彩色新闻图表阅读理解正确率存在差异,将色彩作为自变量,三种类型黑白图表的正确率均高于彩色图表。黑白的饼状图正确率为65%,高于彩色饼状图18%个百分点;黑白的柱状图正确率为81%,彩色图表阅读理解正确率略低5个百分点;黑白折线图阅读理解正确率在三种图表中最高,为85%,高出彩色折线图20%。总体来看,人们对于黑白新闻图表数据极值、数据系列的记忆和理解高于彩色图表,可能的原因是黑白新闻图表的干扰小,更容易理解和记忆。
4 研究结论
在数字媒介环境下,传播学的受众研究取向、心理学的行为研究范式和实验分析方法在数字阅读这一问题中产生了视域交叉、逻辑链接与测量可能。阅读的变迁是随着人类文明的进步而前进的,对阅读的考量本身也是对人类自身进步的考量。
最初,阅读是指“理解书写或印刷符号的能力”。而今,随着数字媒介的发展,阅读更包含从电子屏幕等高科技界面上获取编码信息的能力。国内学者关于数字阅读的研究成果已关照到宏观和中观的层面。对数字化时代国民阅读现状的研究显示,国民阅读率下降已成为不容忽视的现实;对传统纸质阅读和数字阅读的对比研究表明,数字阅读与传统阅读虽在阅读效果、选择动机、使用偏好等方面差异显著,但二者不可替代、共存共生;关于某些特定群体(如中学生、大学生)阅读现状与对策的研究显示,数字阅读的阅读主体、阅读内容和阅读范式(“深阅读”与“浅阅读”)均发生了显著变化;关于阅读形式和载体的开发与使用研究更多集中在手机媒体的数字阅读;更有学者呼吁加强青少年数字阅读素养教育的研究。整体来看,现有研究基本回答了“人们为何选择数字阅读”,但尚未科学地解釋“人们如何进行数字阅读”的问题。
本研究通过心理学眼动实验的方法,发现在数字阅读特别是手机阅读过程中,传统报纸新闻“一图胜千言”的传播规律发生了变化。
第一,新闻图表比文字信息更容易引起人们关注,且新闻图表需要的认知投入程度与文字信息相当。从传统媒体的新闻图表转换为数字媒体的新闻图表,经历了从实体图表向数字代码转换的过程,无论从数字化的编码过程,还是图表的吸引的注意力以及需要的信息加工认识负荷,的确一图胜千言。
第二,不是所有的图都能“胜千言”。新闻图表的轨迹图和热点图基本验证了从视觉组列到视觉描述即扫视到对各分散要素逐一注视的过程,并且柱状图、折线图和饼状图不同的认知加工规律。一图胜千言很大程度上是指更深层次的阅读理解层面,在阅读正确率方面,柱状图胜千言的效果最明显,折线图其次,但饼状图的阅读理解正确率不如文字信息,也就是说饼状图胜千言是错误的。
第三,如果加入新闻图表常见的颜色影响因素,实验结果显示,三类黑白新闻图表的阅读理解正确率均高于彩色新闻图表,也就是说从认知效果的角度而言,实际上“黑白图胜千言”。
综上,由于研究经验和样本数量等的局限,本文尚有许多需要进一步深入研究之处,比如对MMII模型中视觉编码过程四阶段即匹配、信息归集、查询和推理进行眼动过程的检视,抑或从被试是否被告知认知任务、个体的不同认知风格等因素方面分析,有助于我们更加全面地了解数字阅读条件下新闻图表的认知规律。
传播最大的效果在于影响了理解和思考的习惯,改变人们对世界的观念[15]。采用认知心理学的方法研究数字阅读,积累人们在数字媒介使用过程中的宝贵数据,不但可以为构建汉语言文字的数字阅读理论提供科学的研究基础,促进编辑出版学与阅读学的转型发展与范式变革,还有助于我国的新闻出版业摆脱基于编辑习惯和眼科知识的经验传统,为数据新闻、数字阅读的产品研发和市场推广提供心理与认知测量的科学依据。
注 释
[1] 马棣麟.“一图胜千言”析[J].新闻大学,1986(12):69-71
[2] 朱剑敏.“图”在平面媒体新闻传播中的角色换位与提升[J].新闻战线,2004(8):61-63
[3] 马飞孝.图表新闻初探[J].新闻大学,1999(秋):48-51
[4] 王贵钢.图表新闻的阅读成本[J].传媒,2014(3):104-105
[5] 刘丹. 读图时代下我国报纸新闻图表的发展趋势研究:以《南方周末》为例[D].广州:暨南大学硕士学位论文,2011:33-38
[6] 任衍具,傅小兰. 图表加工的理论模型[J].心理科学进展,2006(1):23-31
[7] Bertin, J. Semiology of graphs[M]. Madison, WI: University of Wisconsin Press, 1983:56-62
[8] Pinker S. A theory of graph comprehension. In: R Freedle (Ed.), Artificial intelligence and the future of testing[M]. Hillsdale, NJ: Erlbaum, 1990:73-126
[9] 王晓平,胡娇. 图表理解的认知机制及其教学策略[J].江西教育科研,2007(8):103-105
[10] Inhoff, A.W.,& Rayner, K.Para foveal word processing during eye fixations in reading: Effects of word frequency[J]. Perception & Psycho-physics, 1986,40:431-439
[11] Rayner, K.Eye movements in reading and information processing:20 years of research[J]. Psychological Bulletin, 1998,124:372-422
[12] 喻国明,汤雪梅,苏林森,等. 读者阅读中文报纸版面的视觉轨迹及其规律:一项基于眼动仪的实验研究[J].国际新闻界,2007(8):5-15
[13] 葛岩,郑雪梅. 眼睛是心灵的窗口:基于眼动追踪技术的网页可用性测试[J].现代传播,2012(2):106-111
[14] 李晓静. 社交媒体用户的信息加工与信任判断:基于眼动追踪的实验研究[J].新闻与传播研究,2017(8):49-67
[15] [加] 麦克卢汉著;何道宽译. 理解媒介[M].北京:商务印书馆, 2000:24-25