叶新东 陈卫东 许亚锋 杨刚
[摘 要] 本研究采用古文《师说》作为实验的素材,对24名在校大学生(男女各12人)采用纯文字和运用思维导图两种呈现方式来呈现古文。在利用思维导图呈现方式中,设计了可视化的图形策略,利用眼动仪和Tobii Studio配套软件分析学习者浏览不同策略可视化图形时的眼动轨迹特点和结合声音数据分析浏览效果(对两组声音数据,将声音效果从语速、重复率与错误率等三个维度进行分段分析)。眼动数据分析可以发现,思维导图和纯文字在注视时间、注视热图、注视点顺序上都有很大的差异。声音数据分析也可看出有思维导图呈现方式比纯文字呈现方式更有利于实验者获取信息,并且更有助于观察者记忆。另外基于眼动轨迹和注释热图的分析研究还表明,在记忆的首尾效应方面,纯文字呈现方式存在首尾效应,而思维导图呈现方式首尾效应不明显。
[关键词] 思维导图; 古文; 呈现方式; 内容识记
[中图分类号] G434 [文献标志码] A
[作者简介] 叶新东(1976—),男,浙江温州人。副教授,博士研究生,主要从事新技术、新媒体与教育的研究。E-mail:yxd@wzu.edu.cn。
一、引 言
屏显示技术的发展使得可视化环境得以进一步改善,丰富多彩的数字屏幕使各种图形、图像形式互为激荡汇流,我们已经进入了一个读图时代。图形、图像等视觉信息因其生动直观、信息承载量大、启发思维等特点改变了我们知识获取的方式。同时随着脑研究的爆炸式激增,神经科学的研究领域开始被研究者所涉足,人们开始从研究外在的可视化形式转向把可视化与人的大脑思维相结合,或者说把知识可视化向思维可视化层面提升。研究者们开始探寻一种与脑的最佳自然学习和思考方式相一致的知识学习取向。对于可视化的研究,伴随着计算机技术的发展,经历了从数据—信息—知识可视化的研究历程。随着基于计算机的工业设计的兴起和脑科学的发展,这一研究开始向适合人的思维的可视化视角发展,同时也从计算机科学领域向与其他学科的交叉领域渗透,包括心理学、教育学、管理学等学科。
在认知科学领域,很多研究已经关注可视化与知识理解和记忆的相互关系。GeneBellinger、Durval Castro和Anthony Mills认为理解(Understanding)支撑着数据到信息和知识的转换,理解并不是一个独立的层次。[1]赵国庆等从可视化对象、可视化目的、可视化方式和交互类型等四个方面对数据可视化、知识可视化、技术信息可视化与知识可视化进行了比较。[2]其中,针对智慧(思维)可视化的方法、技术的相关研究也颇多,主要集中在用何种结构的图形图像显示知识更符合人们的思维方式,受化学中元素周期表的使用、外观和逻辑的启发,Ralph Lengler和Martin Eppler整合了形式多样的视觉表征,依据各类视觉表征的相关性和不同点对技术进行“编号”、“上架”。[3]
对于可视化所带来的理解和记忆的良好效果,也被诸多研究证实。Holley等认为对知识和信息结构的可视化能帮助学习者应对复杂和非良构的知识内容 。[4][5]Jonassen等认为可视化能够帮助学生去理解相关内容和资源的创意、思想和知识,方法是通过提取、建构、组织和调整,描述、评价、定位以及进入、传播知识内容。[6]可视化可以利用人类自有的发现模式进程。[7]因为Laseau指出:从远古时代,人们即广泛地使用视觉方式来表达思想,[8]而Lakin & Simon认为一个图表或示图(Diagram)有时可以胜过一万字,这说明人类本身所具有的视觉思维这个重要特性。[9]人们能够提取视觉和空间的工作记忆,[10] [11]这表明它使用涉及人类工作记忆不同子系统的认知加工过程的多重代码,更有利于支持学习过程 。[12]个人的知识和信息内在结构的可视化外在表达可以帮助人们搜寻和认知加工知识内容的结构元素。[13]在学习和解决问题的过程中,可视化克服工作记忆中存储的信息容量和时间的限制可以帮助学习者解决问题,表明了可视化会降低认知负荷。[14]为应对复杂的认知任务的要求,可视化扩大个人的记忆能力。[15] [16]
上世纪60年代英国心理学家东尼·博赞(Tony Buzan)研究达芬奇、爱因斯坦等“天才人物”所留下的手稿时,发现图像、图形、符号构成了这些手稿的主体,由此发明思维导图这种学习方式。可视化已经被证实是应对复杂知识和丰富信息情境下知识理解和记忆的有效策略。思维导图这个可视化策略和工具在引入中国以来也受到了中国教育研究者的关注,相关应用也很好地得以开展,但是对于思维导图在中文教学中认知层面的研究还是缺乏的。本论文研究的目的是试图通过使用眼动仪探寻不同的可视化呈现对知识理解的不同表现,寻求思维导图内容呈现符合视觉思维的不同证据。
本研究利用中文古文作为研究素材是由于中文古文教学在中文语言教学中是一个难点,同时古文文章对于学生的理解和记忆来说是一个非良构的语言结构和表达,更能够测试可视化在复杂知识和非良构知识表达中的作用。研究首先通过分析学习者对不同呈现内容的识记效果,了解不同呈现方式对记忆影响。然后通过分析可视化图形浏览注视点时间的分布规律、区域注视偏好、可视化图形内容等因素对学习者眼动行为的影响,确定不同可视化图形的眼动行为特点,寻找影响识记效果的眼动证据。希望为可视化内容呈现策略设计提供建议和帮助。
二、实验设计与实施
(一)实验假设
1. 使用思维导图呈现中文古文更有利于实验者获取内容信息,提高记忆效果。
2. 思维导图呈现中文古文能够提高实验者对文章结构的把握,缓和记忆过程中的首尾效应。
(二)实验方法
1. 实验对象
被试者为24名高校在读生,其中男生12名,女生12名,文科生和理科生各12人,年龄20~23岁,身心健康,智力正常,视力或矫正视力正常,母语为汉语,均为右利手。志愿参加实验,并签署知情同意书,实验后获取一定的报酬。
2. 实验材料
本研究采用中国经典古文《师说》作为实验的素材,此古文不分文理科学生在中学时代都接触过。实验素材采用两种呈现方式,一种是纯文字的呈现方式,类似于中学教材中的内容呈现方式;另外一种是使用思维导图来呈现古文,根据思维导图特点使用并设计了可视化的内容结构方式,通过提炼关键字并加粗、设置颜色,附加与关键字相关的图片,段落之间用不同颜色的分支展示,分支之前加上提炼的段落大意,将古文形象地展示在被试者的眼前。实验材料为两张不同呈现方式的古文《师说》图片,也就是纯文字呈现和思维导图呈现。实验素材从内容上保持一致,从结构和呈现形式上存在显著差异,如图1所示。
3. 实验设备
实验采用瑞典Tobii公司制造的非头戴式眼动仪。这款眼动仪的被试者不需要戴眼镜或接触,使用远程的方式,眼动仪看起来像一台普通的显示器,给被试者创造一个自然的环境。被试者能够自由地浏览,并会经常忘记他们眼动行为正在被记录。眼动仪可以直接观察记录被试者内在的认知加工过程,使实验数据更加真实可靠。眼动仪的配套软件Tobii Studio能够对每个页面的播放时间进行设置,确保每个页面的测试时间。在实验中,实验设计者能够通过屏幕观察被试者的眼动行为,从客观上确保眼动仪能够收集出被试者的注视点分布、兴趣区域、注视时间等数据。实验的视觉刺激材料通过眼动仪上的屏幕予以呈现。
4. 实验过程
本实验主要采用图片感知范式(Picture Perception Paradigm)呈现图片,刺激呈现在17寸眼动仪液晶显示屏上,显示器分辨率为1024×768像素。实验开始时屏幕中将显现指导语,告知被试者实验要求,让被试者坐在眼动仪前,将眼动仪调整到使用状态,并对被试者的双眼进行定位和校准,一分钟后导入预存的实验材料古文图片,实验材料古文《师说》内容以图片样式呈现,呈现方式为纯文字图片或者是思维导图形式的图片,将纯文字呈现方式的图片区域分为三个(见图2),思维导图呈现方式的图片区域也分为三个(见图3),一个被试仅提供一种方式呈现材料。呈现时间为10分钟,要求被试者注视屏幕对材料内容进行记忆。10分钟过后显示白屏。进入效果测试时间,要求被试者背诵所呈现的古文,并通过录音设备将背诵的声音录制下来。背诵结束,完成一个样本的实验,以此重复完成24个样本实验,样本分配为纯文字呈现12人,6男6女;思维导图呈现12人,6男6女,同时考虑文理科人数均衡。
在整个实验环境中,保持室内光线柔和,被试者独坐于安静房间内,并与电脑屏幕相距约80cm,实验时排除尽可能多的外界干扰因素。
记忆效果测试使用语速、错误率和重复比率等三个参数,选取这三个参数是根据对中学语文教师的咨询和访谈,教师普遍认为从学生背诵课文的角度看,这三个参数能够主要体现学生对此部分内容的理解和记忆。语速是指每分钟背诵的文字数量,错误率是指背诵错误文字的个数除以总文字个数,重复比率是指重复文字的数量除以总文字的数量。
三、实验数据与分析
(一)全文记忆效果测试结果
1. 语速
思维导图呈现方式组的语速平均为每分钟156.75±25.670个,纯文字呈现方式组的语速平均为每分钟125.75±18.917个。思维导图呈现方式组的平均语速比纯文字呈现方式组的平均语速高,独立样本t检验得t=3.368,p=.003<0.05,显示思维导图和纯文字的呈现方式的平均语速的差异显著。
2. 错误率
思维导图呈现方式组的错误率均值为0.33513±0.0255662,纯文字呈现方式组的错误率均值为0.155511±0.1049686。思维导图呈现方式组的平均错误率比纯文字呈现方式组的平均错误率低,独立样本t检验得t=-3.912,p=.001<0.05,显示思维导图和纯文字的呈现方式的错误字数率的差异显著。
3. 重复比率
重复比率是指被试在背诵古文过程中,对已背诵过的文字由于不确定或者对后续内容不确定的情况下重复已背过内容的字数与文字总字数的比。思维导图呈现方式组的重复比率为0.011221±0.0061778,纯文字呈现方式组的重复比率为0.136772±0.0913312。思维导图呈现方式组的重复比率比纯文字呈现方式组的重复比率低,独立样本t检验得t=-4.684,p=.000<0.05,显示思维导图和纯文字的两组呈现方式的重复比率存在显著差异。
(二)文章内容分段记忆效果测试结果
1. 纯文字的呈现方式
对纯文字呈现方式下朗诵声音数据进行分段分析,并同样从语速、重复率、错误率等三个维度进行比较。
语速均值从第一段到第四段分别为:157.83±31.86、119.50±28.39、151.25±30.52、162.17±33.05,语速整体比较如图4所示,作为文章中间部分的第二段成为语速最慢的部分。通过独立样本t检验,以中间部分第二段作为对象分别与其他段落进行比较,第二段与第一段比较得t=3.112,p=.005<0.05,显示两段语速存在显著差异,第二段的语速比第一段的语速慢;第二段与第三段比较得t=-2.639,p=.0015<0.05,显示两段语速存在显著差异,第二段的语速比第三段的语速慢;第二段与第四段比较得t=-3.392,p=.003<0.05,显示两段语速存在显著差异,第二段的语速比第四段的语速慢。
错误率均值从第一段到第四段分别为:0.006858±0.0091、0.136758±0.0985、0.007183±0.0121、0.00015±0.0005,错误率均值整体比较如图4所示,作为文章中间部分的第二段成为错误率最高的部分。通过独立样本t检验,以中间部分第二段作为对象分别与其他段落进行比较,第二段与第一段比较得t=-4.549,p=.000<0.05,显示两段错误率存在显著差异,第二段的错误率比第一段的高;第二段与第三段比较得t=-4.523,p=.000<0.05,显示两段错误率存在显著差异,第二段的错误率比第三段的高;第二段与第四段比较得t=4.805,p=.000<0.05,显示两段错误率存在显著差异,第二段的错误率比第四段的高。
重复比率均值从第一段到第四段分别为:0.019667±0.0255、0.108525±0.0732、0.008333±0.0102、0.0003±0.0010,重复比率整体比较如图4所示,作为文章中间部分的第二段成为重复比率最高的部分。通过独立样本t检验,以中间部分第二段作为对象分别与其他段落进行比较,第二段与第一段比较得t=-3.972,p=.001<0.05,显示两段重复比率存在显著差异,第二段的重复比率比第一段的高;第二段与第三段比较得t=4.698,p=.000<0.05,显示两段重复比率存在显著差异,第二段的重复比率比第三段的高;第二段与第四段比较得t=5.124,p=.000<0.05,显示两段重复比率存在显著差异,第二段的重复比率比第四段的高。
2. 思维导图的呈现方式
对思维导图呈现方式下朗诵声音数据进行分段分析,并同样从语速、重复率、错误率等三个维度进行比较。
语速均值从第一段到第四段分别为:175.17±35.88、177.83±40.45、164.83±42.99、154.33±40.76,语速整体比较如图5所示,四段文字在背诵时的语速无明显差异。通过独立样本t检验,以中间部分第二段作为对象分别与其他段落进行比较,第二段与第一段比较得t=0.171,p=0.866>0.05,显示两段语速不存在显著差异;第二段与第三段比较得t=0.763,p=0.454>0.05,显示两段语速不存在显著差异;第二段与第四段比较得t=1.418,p=0.170>0.05,显示两段语速不存在显著差异。
错误率均值从第一段到第四段分别为:0.013764±0.0167、0.018552±0.0212、0.000748±0.0009、0.001496±0.0029,错误率均值整体比较如图5所示,四段文字在背诵时的错误率显示不同的差异特点。通过独立样本t检验,以中间部分第二段作为对象分别与其他段落进行比较,第二段与第一段比较得t=-0.614,p=0.546>0.05,显示两段错误率不存在显著差异;第二段与第三段比较得t=2.904,p=0.008<0.05,显示两段错误率存在显著差异;第二段与第四段比较得t=2.758,p=0.011<0.05,显示两段错误率存在显著差异。
重复比率均值从第一段到第四段分别为:0.015111±0.0164、0.041592±0.0543、0.002992±0.0039、0.002095±0041,重复比率整体比较如图5所示,四段文字在背诵时的重复比率显示不同的差异特点。通过独立样本t检验,以中间部分第二段作为对象分别与其他段落进行比较,第二段与第一段比较得t=-1.617,p=0.120>0.05,显示两段重复比率不存在显著差异;第二段与第三段比较得t=2.455,p=0.022<0.05,显示两段重复比率存在显著差异;第二段与第四段比较得t=2.512,p=0.02<0.05,显示两段重复比率存在显著差异。
(三)来自眼动轨迹的证据
1. 思维导图呈现方式的浏览各区域
通过分析思维导图呈现方式的三个区域的注视时间分配均值,得到了被试者的区域浏览时间分配百分比(如图6所示)。
由图6可知被试者在三个区域上的注视时间分配百分比差别还是比较小的。为了进一步检测被试者注视时间差异性比较,使用SPSS进行方差检验后得到了以下结果:方差齐性检验得F=.291,p=.750>0.05,提示方差齐性。由表1可知, F值为1.863,p=0.175> 0.05,提示这三个区域的注视时间不存在显著的区别。
使用LSD法多重进行比较,由表2中数据可以看出区域之间的相伴概率都是大于0.05的,所以认为三个区域之间差异不显著。
2. 纯文字呈现方式的浏览各区域
通过分析纯文字呈现方式的三个浏览区域的注视时间分配均值,得到了被试者的区域浏览时间分配百分比(如图7所示)。
由图7可知被试者在三个区域上的注视时间分配百分比还是有差异的。为了进一步检测被试者注视时间差异性比较,本文用SPSS进行方差检验后得到了以下结果:方差齐性检验得F=.310,p=.736>0.05,提示方差齐性。由表3可知, F值为23.967,p=0.001< 0.05,提示这三个区域之间至少有两个区域存在显著的区别。
使用LSD法进行多重比较,从表4可知区域一与区域二、区域三的相伴概率都小于0.05,显示区域一与其他两个区域之间存在显著差异;而区域二与区域三差异不显著。
(四)来自注释热图的证据
某样本纯文字呈现方式的注视热图如图8所示,可以明显地看出,被试者在图片上的注视时间在区域上的分配是不同的,整体区域的注视时间分配很不均匀,主要集中在一、二两个区域。某样本思维导图呈现方式的注视热图如图9所示,大体上所有区域的注视时间无太大起伏,分布比较均匀。从这两张图中我们还可以看出,思维导图呈现方式的注视热图中红色部分相对较少,纯文字呈现方式的红色部分则相对较多。也就是说思维导图呈现方式中长时间注视的区域较少,纯文字呈现方式中长时间注视的区域较多,这也说明人们平时比较喜欢浏览开头部分,也就出现了首尾效应。但是可以通过采用适当的图形策略加强每一块内容的感官刺激以改变人们浏览的习惯,提高记忆效果。
四、实验总结
从实验数据分析得出思维导图和纯文字的呈现方式在语速、错误率、重复比率上存在显著性差异,也就是总体上可以得出使用思维导图呈现《师说》要比纯文字呈现《师说》的效果好,更容易记忆。这与相关研究是符合的,Naps等人的研究表明在一定条件下的可视化可以增强学生的学习,[17]而思维导图利用关键字提取和不同颜色显示,图示化展示关键内容情境,并结构化知识内容的方法,都是为学习者提供增强视觉记忆加工的可能性,对于提高内容的识记有正面的影响。在思维导图呈现内容的过程中,人脑自始至终处于一种激活的状态,并且不断地对进入当前工作记忆中的内容(图形、颜色、线条和文字等)和长时记忆中的有关内容进行联系,使工作记忆中的信息和长时记忆中的信息较快地进行交换,形成更为良好的记忆效果。
从实验数据可以得知,纯文字的《师说》呈现方式的第二段与第一段、第三段、第四段在语速、错误率、重复率上存在显著性差异,也就是第二段的记忆效果要比其他几段的记忆效果差。也就是说出现了首尾效应。这与早期H·艾宾浩斯,使用无意义音节为材料进行实验所发现的著名保持曲线有一定相似性。[18]而纯文字的呈现由于中国古文的理解与中国现代文的理解是不一样的。古文的词和句对于现代学生而言有点类似与无意义的文字组合,所有出现类似效应有一定理由。从实验数据可以得知,思维导图的《师说》呈现方式的第二段与第一段、第三段在语速、错误率、重复率上存在不同的显著性差异,没有出现显著的首尾效应。这与H·艾宾浩斯的实验发现的远隔联想和系列位置效应两种现象可能存在一定相关。他认为学习一个系列性材料时,每一个项目都与其他任何一个项目建立联想,即不仅与邻近项目建立联想,而且与远隔项目建立联想,并认为影响远隔联想强度的一个主要因素是学习程度。[19]思维导图恰恰促进了材料间的联想,随着材料的多通道刺激,学习程度会加深,这样使远隔联想的范围逐渐减小,而思维导图的结构化呈现内容使系列位置效应偏于减弱。思维导图呈现方式首尾效应不明显。这也恰恰符合20世纪50年代末的信息加工理论。许多心理学家逐渐倾向于以信息加工理论解释系列位置效应,认为对系列的任何部分,只要加以注意,或采取一定的信息加工策略都容易记住。[20]
来自眼动轨迹和注释热图的研究也表明了出现以上结果的学生的内在表现。纯文字的呈现方式,被试在三个注视区域中的区域一与其他两个区域之间存在显著差异,而区域二与区域三差异不显著。这与注视热图直观显示的结果是一致的。而在思维导图的呈现方式中两种分析方法都得出三个区域的注视时间不存在显著的区别。说明思维导图结构化信息的作用明显使得对信息内容的注视时间均匀化,思维导图呈现内容打破信息内容线性呈现的局限,使认知资源的投入趋向均匀,使学习者对信息内容形成一个整体大局的认识。这样对消弭首尾效应有一定用处。
[参考文献]
[1] Bellinger,G., Castro, D., & Mills, A.. Data, Information, Knowledge,and Wisdom[DB/OL]. [2010-8-1].http://www.systems-thinking.org/dikw/dikw.htm.
[2] 赵国庆,黄荣怀,陆志坚.知识可视化的理论与方法[J].开放教育研究,2005(1):23~27.
[3] Lengler,R., & Eppler,M.J..Towards A Periodic Table of Visualization Methods for Management[A]. Proc of the Conference on Graphics and Visualization in Engineering (GVE 2007)[C]. Clearwater, FL, U.S.A,2007.
[4] Holley, C.D., & Dansereau, D.F.. The Development of Spatial Learning Strategies[A]. C.D. Holley & D.F. Dansereau (Eds.), Spatial Learning Strategies. Techniques, Applications, and Related Issues[C]. New York: Academic Press,1984.
[5] Jonassen, D.H., Reeves, T.C., Hong, N., Harvey, D., & Peters, K.. Concept Mapping As Cognitive Learning and Assessment Tools[J]. Journal of Interactive Learning Research,1997, 8(3/4): 289~308.
[6] Jonassen, D.H., Beissner, K., & Yacci, M.(Eds.). Structural Knowledge. Techniques Forrepresenting, Conveying, and Acquiring Structural Knowledge[M]. Hillsdale, NJ: Lawrence Erlbaum Associates,1993.
[7] Ware, C.. Information Visualization: Perception for Design (2nd Edition)[M]. San Francisco,CA: Morgan Kaufman,2004.
[8] Laseau, P.. Graphic Thinking for Architects and Designers[M].VNR, New York,1989.
[9] Larkin, J.H., & Simon, H.A.. Why a Diagram is (sometimes) Worth 10.000 Words[J]. Cognitive Science, 1987,(11):65~100.
[10] Baddeley, A. D.. Human Memory[M]. Boston: Allyn & Bacon,1998.
[11] Logie, R. H.. Visuo-Spatial Working Memory[M]. Hove: Lawrence Erlbaum Associates,1995.
[12] Mayer, R. E.. Multimedia Learning[M]. Cambridge, UK: Cambridge University Press,2001.
[13] Wiegmann, D.A., Dansereau, D.F., McCagg, E.C., Rewey, K.L., & Pitre, U.. Effects of Knowledge Map Characteristics on Information Processing[J]. Contemporary Educational Psychology,1992,17(2):136~155.
[14] Sweller, J., & Chandler, P.. Why Some Material Is Difficult to Learn[J]. Cognition and Instruction,1994,12 (3):185~233.
[15] Cox, R., & Brna, P.. Supporting The Use of External Representations in Problem Solving: The Need for Flexible Learning Environments[J]. Journal of Artificial Intelligence in Education,1995, 6(2/3):239~302.
[16] Larkin, J.H.. Display-based problem solving. In D. Klahr, & K. Kotovsky (Eds.), Complex Information Processing. The Impact of Heribert Simon[M]. Hillsdale, NJ: Lawrence Erlbaum Associates,1989.
[17] Naps, T.L., Roessling, G., Almstrum, V., Dann, W., Fleischer, R., Hundhausen, C., Korhonen, A., Malmi, L., Mchally, M., Rodger, S. and Valazquez-Iturbide, J.A.. ITiCSE 2002 Working Group Report: Exploring the Role of Visualization and Engagement in Computer Science Education[Z]. SIGCSE Bulletin,2003,35(2):131~152.
[18] Easley, H.. The Curve of Forgetting and the Distribution of Practice[J]. Journal of Educational Psychology,1937, 28(6):474~478.
[19] Ebbinghaus, H.. Memory: A Contribution to Experimental Psychology[M] .New York,1964.
[20] 张学民.实验心理学(修订版)[M].北京:北京师范大学出版社,2007:115~118.