国内网络学习评价研究的可视化分析:现状、热点与前沿

柴艳妹,李珍珍

(中央财经大学信息学院，北京 100081)



国内网络学习评价研究的可视化分析:现状、热点与前沿

柴艳妹,李珍珍

(中央财经大学信息学院，北京 100081)

随着网络教学模式的日渐盛行，网络学习评价的研究也在不断深入，其研究成果对网络学习资源开发、课程教学平台建设以及教学规划决策等都具有重要的指导作用。为了深入探索国内网络学习评价研究的整体情况，本文选取2002年至2015年期间CNKI数据库收录的相关文献，并利用CiteSpaceIII软件分别从论文发表量、论文作者、研究热点和迁移过程，以及前沿术语这四个角度绘制了知识图谱，分析了国内网络学习评价研究的现状、热点及前沿，总结和归纳了该研究领域的整体状况、存在的问题以及未来发展趋势。

网络学习评价知识图谱可视化分析

一、引言

自上世纪九十年代末远程教育在我国出现以来，网络学习评价成为考核这一新型教育模式成效的重要方法，也是网络学习服务质量管理的核心，并引发不少学者从不同的角度对其开展研究。张倩苇等[1]对网络环境下学习评价新模式进行了探索，提出了多元评价标准，指出要注重学习的教育性评价和发展性评价。赵蔚等[2]根据电子学档案设计和开发了网络学习评价系统，重点探讨了学生基于聊天室或电子公告板进行在线讨论学习的评价体系。冯义东[3]基于多元智能理论，从评价内容、评价实施、评价主体、评价方式及学习结果分析等5个方面展开了网络学习评价的研究。李绍中[4]利用BP神经网络实现了一种智能化的网络学习评价模型，该评价模型准确率较高，能为网络学习评价提供可靠数据。唐肝翌等[5]则将云模型与ANFIS结合，利用云模型替代模糊神经网络的隶属度函数，构成ANFIS云推理网络并应用到学习评价中，取得了较好的效果。除此之外，还有其他学者分别研究了评价内容、评价原则、影响因素等相关内容。

但至今尚少有学者对网络学习评价的整体研究状况、热点以及前沿进行梳理和总结。因此，本文将采用CitespaceIII可视化软件，根据2002年至2015年间CNKI所收录的相关文献进行可视化研究，基于科学知识图谱分析国内网络学习评价的研究现状、热点及前沿，以期客观地反映我国网络学习评价研究的发展情况，发现现阶段该研究领域存在的问题以及未来的发展趋势。

二、数据来源与分析工具

由于网络学习评价是一个相对较小的研究领域，因此为了确保数据的可靠性和准确性，本文采用CNKI数据库作为数据来源。与CSSCI 数据库相比，CNKI数据库所包含的学科范围更为广泛，所收录的文献数据也更为全面。本文以“网络学习评价”、“在线学习评价”、“e-learning学习评价”、“开放学习评价”和“远程学习评价”为主题在CNKI数据库上检索，经过手工筛选最终得到397篇有效记录。数据检索时间为2015年6月10日。

本文的研究和分析基于科学知识图谱。科学知识图谱是近年来在科学计量学和文献计量学领域新兴的热点之一，它在引文分析理论和信息科学与技术的基础上，从动态发展的知识结构入手，通过可视化的图像直观地将知识和信息中的前沿领域和学科制高点展示出来[6]，并揭示出单凭个人知识累积无法直接获得的学科结构特征与发展态势[7]。随着各学科研究的不断深入和交叉融合，从宏观上把握学科内的研究动态和发展趋势，以及学科间的潜在联系变得日益重要，因此，科学知识图谱有着广阔的应用前景。

绘制科学知识图谱的软件有十余种，常用的有SPSS、Bibexcel和Wordsmith Tools等，这些软件各有优势。本文采用的可视化分析工具是由美国Drexel大学信息科学与技术学院陈超美博士开发的CiteSpace软件。该软件基于Java平台，可通过强大的共引分析功能生成科学知识图谱，以直观地展现科学知识领域的信息全景，分析某一科学领域中的关键文献、热点研究和前沿方向，并利用分时动态的可视化图谱形象地展示出科学知识的宏观结构及其发展脉络[8]，被国际文献计量分析领域公认为最具特色的可视化软件。

为了展示国内网络学习评价的发展过程和前沿内容，本文采用了CiteSpaceIII提供的共词分析和突现性检测功能。共词分析是文献计量领域的常用方法，其主要思想是找出在文献中同时出现的关键词汇，并根据其共现频数来判断词汇之间的关联程度，关联程度越大，则这类词汇所反映的研究主题或方向受关注程度越高，越有可能成为某个学术领域的研究热点。所谓突现性检测，指的是探测研究术语或相关文献被引用频数的变化率，这是一种依靠频数的变动趋势来确定前沿领域的有效方式。当某些术语或文献在一段时期内的被引频数突然增加时，这些研究内容极有可能是该研究的前沿问题，代表着这一领域的发展趋势和方向。

三、网络学习评价研究现状的可视化分析

(一)论文发表数量分析

本文以2002年至2015年CNKI所收录的国内关于网络学习评价研究的文献数据为基础，绘制了我国在这个研究领域内发表文献数量的年代分布图，如图1所示。为了保证每一个年份的数据完整性，图中只显示了2002年至2014年的发表情况，并画出了线性趋势线，用虚线来表示。

图1　我国网络学习评价研究论文发表数量年度统计

根据图1可知，网络学习评价研究诞生于本世纪初，他是伴随着我国远程教育起步而相应出现的。2002年开始迅速进入成长期，到2008年随着教育部对高校远程教育的进一步推进，该领域的研究达到一个小高峰，之后回落并平稳上升。2012年随着MOOC的兴起，吸引了大量学者将研究兴趣转移至这一更加新颖的教学方式，使得该领域的研究论文数量稍有下降，之后又进一步上升。预计在2015年，这一领域的研究文献数量将会继续增加。值得注意的是在整个发展过程中每一年的论文数量出现了波动现象，这和研究热点变化及部分短期学者不断加入或离开有很大关系。

(二)论文作者分析

本文从论文作者的角度分析了2002年至2015年之间网络学习评价的研究情况，结果如图2所示。图中每个节点代表一个作者，节点越大说明该作者发表的论文数量越多，作者之间的连线代表作者之间的合作关系，连线越粗，则作者之间的合作次数越多，孤立的节点则表明该作者没有合作关系。本文选取前14位发文量较多的作者进行分析，如表1所示。

图2　论文作者发文量和合作关系知识图谱

作者篇数作者篇数钟志贤7王燕3刘革平4鲍明捷2朱德全3李绍中3王丽娜3赵蔚3张豪锋3魏霞3朱祖林3杨亭亭3桑新民3鲜思东3

图2所示的网络中有相当多的孤立点，这表示该领域内的研究人员之间的合作情况较少。事实上，该网络中共有362个节点，却只有146条连线，充分说明了近年来相关研究基本处于随意和分散状态，大部分作者独立完成研究，仅有一小部分研究人员合作程度相对较高，但合作时间仍以短期为主，并未形成稳定的长期合作关系。表1中的论文数量一方面直接反映了现阶段我国对于网络学习评价的研究力量相当薄弱，几乎没有高产、核心的作者，另一方面本文通过进一步了解，发现学者们对于这一领域的研究不具有连续性。例如，发表论文数量最多的钟志贤教授，是最早研究网络教育的学者之一，现任江西广播电视大学副校长，江西师范大学远程教育研究所所长。他从2007年开始关注远程教育评价，围绕绩效评估、量规、学习契约和电子学档等评价方法进行研究，2009年之后将研究重点转移至远程学习者的管理与自我认知。由此可见，大部分学者只在很短的时期内关注了网络学习评价，并没有对其进行长期的研究，不具备稳定性。

四、网络学习评价研究热点的可视化分析

研究热点指的是在一定时间内某一研究领域的学者共同关注的焦点。分析网络学习评价研究的热点有利于引导我国网络教育事业取得更多的进展，并为今后的发展方向提供理论依据。本文利用CiteSpaceIII提取数据集中的关键词进行研究热点的分析，因为关键词可反映出文章的核心和精髓，是文章思想的凝练。

运行CiteSpaceIII生成关键词共现图知识图谱，可以发现该领域的研究热点和方向，如图3所示。图中每个节点代表一个关键词，节点越大说明关键词出现的次数越多，节点中的不同颜色表示不同的年份。一个节点在该网络中的重要程度可由“中间中心性”来表示，中间中心性数值越高，则该节点连接网络中其它节点的作用就越强。具体计算方法为：网络中经过某点并连接这两点的最短路径占这两点之间的最短路径线总数之比[9]。图3中具有紫色圆环的节点即为中间中心性大于0.1的节点，称作关键节点，往往代表着研究内容发生了变革性的转折。

本文分别以出现频数和中间中心性为标准选取前10位高频和高中间中心性的关键词分析网络学习评价的研究热点。去除“网络学习评价”、“学习评价”、“评价”等基本同义的关键词，并综合考虑频数和中间中心性，归纳出我国的网络学习评价研究热点主要集中于评价指标、数据挖掘、学习过程及电子学档等方面。

图3　网络学习评价研究关键词共现图

序号高频关键词高中心度关键词关键词出现频数关键词中间中心度1学习评价87学习评价0.552网络学习60网络学习0.443网络学习评价47远程教育0.334远程教育39网络学习评价0.245自主学习20评价指标体系0.186评价指标19评价指标0.177电子学档19学习过程0.158层次分析法17电子学档0.149评价指标体系15网络环境0.1210数据挖掘14数据挖掘0.10

网络学习的评价指标伴随着网络教育的兴起而出现，其研究过程始于网络教学评价指标和网络课程质量标准的研究，逐渐向形成网络课程评价指标体系过度并深化，该领域的学者先后对网络学习交

互行为、基于学习契约和MOODLE的网络学习、网络环境中项目式学习、学习绩效以及虚拟学习社区的构建了详尽的评价指标体系，极大地完善了网络课程教学质量的评估标准。

数据挖掘技术已在金融、生物医学、电子商务等众多领域得到了广泛应用，从2004年开始学者们将数据挖掘与网络学习评价结合起来，主要用于网络学习评价系统的设计与实现、挖掘网页记录中的学习数据作为构建学习评价模型的信息来源、找出并分析影响学习成效的潜在因素等。由于该技术从数据中挖掘出的信息具有全面和客观的特点，因此能够更加科学地反应出学习者的学习情况，推动了网络学习评价的合理化和规范化发展。

图4绘制了网络学习评价研究热点的时序迁移图，图中展示了2002年以来研究热点的发展脉络。结合上述研究热点的概要分析可以发现，早期的关键节点与其后的研究热点之间存在着紧密的联系。2002年至2005年是网络学习评价的发展初期，国内的研究人员着重对评价系统、评价指标、评价模式等进行了初步探索，因此这一时期的研究工作尚处于基础理论阶段。2006至2010年，研究热点则集中于数据挖掘、层次分析法、过程性评价等更为具体的评价方法和模型，还出现了针对网络学习行为的评价研究以及更为详尽的评价指标体系，这表明国内的相关研究已经从理论基础研究阶段发展至有效的应用研究的阶段。从2011年至今，该领域已针对模糊评价、评价体系等热点有了更深入的研究，并出现了更多新颖的评价方式，如同伴反馈、情境性评价等，而这些评价方式更加侧重于技术与应用层面。综合来看，网络学习评价正在不断呈现出多元化的发展态势。

图4　网络学习评价研究热点迁移时序图

五、网络学习评价研究前沿的可视化分析

陈超美[10]将研究前沿定义为一组突现的动态概念和潜在的研究问题，它可以是临时形成的某个研究课题及其基础研究问题的概念组合，也可以是在研究过程中突然兴起的新主题或理论的研究发展趋势[11]，对于把握该领域的研究方向具有重要意义。

本文利用CiteSpaceIII对数据中的关键词进行突现性检测，提取出网络学习评价研究的前沿术语。经过调整阈值以及检测参数，最终得到图5所示的网络学习评价研究前沿术语知识图谱。

表3　网络学习评价研究前沿术语统计表

图5　网络学习评价研究前沿术语知识图谱

CiteSpaceIII提供了“涌现值”的概念，即根据关键词出现频数来衡量术语的突现程度。涌现值可代表在某一段时期内研究人员对某个研究主题的关注度急剧增加，涌现值的大小反映了研究人员对该研究主题的关注程度增加了多少。图5中标示的红色的节点所表示的术语即为前沿术语，也可以将其视为前沿留下的印记。根据涌现值从高到低进行排序，可以得到表3所示的前10位前沿术语以及相应的持续年份。

综合图5和表3可知，“电子学档”、“量规”、“模糊综合判断”、“层次分析法”、“评价指标”等代表了不同时期内的研究前沿问题，可以更深入地从整体上将中国网络学习评价前沿概括为以下两个方向：

1.网络学习质量的研究

从“学习评价”、“自主学习”等涌现值较高的前沿术语可看出，国内的相关研究人员对网络学习效果较为关注。远程教育、在线教育等网络学习实际是一种自主学习的模式，网络教学评价是确保网络教学质量的有效方法。网络学习质量的研究在前文所述的研究热点中已经有所体现，这说明研究前沿的突现与研究热点的发展是一致的，对于远程教育质量的保证与远程教育质量评价体系的研究正在逐渐趋于成熟。

2.网络学习评价方法的研究

通过“电子学档”、“模糊综合评判”、“评价指标”、“层次分析法”和“数据挖掘”等高涌现值的前沿术语可以看出国内网络学习评价研究领域的重点和难点主要集中在评价方法的研究。观察这些前沿的持续时间可以发现，对于评价方法的探索贯穿了该研究领域发展的全程，从最初的“电子学档”、“量规”等较为基本的评价方法，发展至“模糊综合评判法”、“数据挖掘”等较为复杂的评价方法，最后发展为“评价体系”、“评价指标”、“评价模型”等系统的评价体系，这是一个不断完善的过程。预计在未来较长的一段时间内，在成熟的评价体系完成之前，评价方法仍然是该研究领域的前沿，值得期待的是将会有更多多元的评价方法的出现。

六、总结

本文以CNKI为数据源，借助知识可视化软件CiteSpaceIII对网络学习评价领域的文献进行研究，通过对年度文献发表数量、作者、关键词的可视化分析，探索2002年至今十几年来网络学习评价研究的现状、研究热点以及研究前沿。本文发现：(1)随着我国网络教育的发展，对于网络学习评价的研究也在逐步深入，论文发表数量有不断增加的趋势，然而国内的研究人员在该领域缺乏连续性，合作关系也较少，尚未形成集中的、活跃的、持续的研究状态。(2)该领域的研究热点发展经历了最初的理论基础研究阶段、偏重于应用的研究阶段以及发展至今的技术与应用阶段，整体来看我国的网络学习评价研究呈现出从低级到高级的发展趋势，符合事物的发展规律。(3)在研究前沿方面，前沿与热点的发展相对应，并经历了从网络学习质量研究向网络学习评价方法研究的转变，这预示着我国的网络学习评价研究正不断成熟，形成体系。

本文虽然使用可视化软件客观地分析了相关的文献数据，但仍然存在一些局限性：首先，本文收集的数据量较少，需要进一步地扩大以避免数据量带来的不利影响；其次，在研究热点的分析中，根据词频和中间中心度来判断该领域的研究热点，具有较强的主观色彩，这一点尚需进一步探讨；最后，本文由于CNKI数据记录的限制，只利用了其中的作者和关键词进行可视化分析，对于该领域的分析不够全面。期待以后的研究人员能够突破数据集的数量和内容的限制，并利用更多工具和方法对网络学习评价研究进行更全面的探索，推动我国教育事业的发展。

[1]张倩苇, 桑新民. 网络环境下学习评价新模式的探索[J]. 中国远程教育, 2002(2)：53-55.

[2] 赵蔚, 姜强. 基于电子学档的网络学习评价系统设计与开发[J]. 开放教育研究, 2004 (4): 59-61.

[3] 冯义东. 基于多元智能理论的网络学习评价[J]. 现代远距离教育, 2007(2): 55-57.

[4] 李绍中. 基于BP神经网络的网络学习评价模型研究[J]. 广州职业教育论坛, 2012 (1): 20-25.

[5] 唐肝翌, 卢桂馥, 周鸣争等. 基于ANFIS云推理的网络学习评价[J]. 西南师范大学学报：自然科学版, 2014(1).

[6] 梁秀娟. 科学知识图谱研究综述[C]. //图书馆杂志. 2009:58-62.

[7] 侯海燕. 基于知识图谱的科学计量学进展研究[D]. 大连理工大学, 2006.

[8] 侯剑华, 胡志刚. CiteSpace 软件应用研究的回顾与展望[J]. 现代情报, 2013 (4): 99-103.

[9] Chen C. The CiteSpace Manual[EB/OL]. http://cluster.ischool.drexel.edu/～cchen/CiteSpace/CiteSpaceManual.pdf,2014,2015-11-11.

[10] 陈超美, 陈悦, 侯剑华等. CiteSpaceⅡ: 科学文献中新趋势与新动态的识别与可视化[J]. 情报学报, 2009 (3): 401-421.

[11] 陈立新, 刘则渊, 梁立明. 力学各分支学科研究前沿和发展趋势的可视化分析[J]. 情报学报, 2009 (5): 736-744.

[12] 陶彦玲, 杨改学. 网络教学质量及评价[J]. 现代远距离教育, 2004 (5): 39-41.

(责任编辑：平和光)

Visualization Analysis of Chinese Online Learning Evaluation Research: the Status, Hotspots and Frontier

CHAI Yanmei，LI Zhenzhen

(SchoolofInformation,CentralUniversityofFinanceandEconomics,Beijing100081,China)

As the online learning model is increasingly gaining popularity, researchers and scholars begin to concern themselves with the online learning evaluation. The results of research are crucial to the design and development of e-learning resources, the construction of teaching platform, and the planning and decision of teaching. To gain better insight into the overall situation of Chinese online learning evaluation research, this paper utilizes CitespaceIII software to visualize the literature about Chinese online learning evaluation research collected from CNKI from 2002 to 2015.This paper analysis the status, hotspots, and frontier of Chinese online learning evaluation research By drawing out the knowledge domains maps of annual published articles, authors, co-keywords. Furthermore, the existing problems, the current situation and the developing trends are summarized in this paper.

online learning evaluation; knowledge domains map; visualization analysis

2015-11-11

中央财经大学教改课题“基于MOOC理念的新型在线课程教学模式创新与应用研究”(课题编号：020650514003)；中央财经大学教师教学发展中心教学方法研究课题“网络课程教学效果评估标准研究——以《计算机应用基础》为例”(课题编号：JFY201419)；北京市教育科学“十二五”规划一般课题“基于 MOOC 理念的新型在线课程教学模式研究与实践”( 课题编号：DJB14187)。

柴艳妹(1978-)，女，博士，中央财经大学信息学院副教授；研究方向：机器学习、在线学习分析。李珍珍(1990-)，女，中央财经大学信息学院硕士研究生；研究方向：MOOC教育。

G43

A

1005-5843(2016)07-0121-05

10.13980/j.cnki.xdjykx.2016.07.024