基于大数据的数字化资源共享门户研究

章凡 周波 徐风国 王诗平

摘 要：我国各类教学机构创建了大量的优质网络教学资源，在现有网络资源平台的基础上，建立数字化资源共享门户，充分利用大数据、数据挖掘、物联网等网络技术，实现更高效的数字化资源共享。

关键词：数字化资源；资源共享；数据挖掘；资源共享门户

中图分类号：G271 文献标志码：A 文章编号：1673-8454（2016）07-0012-03

一、引言

随着网络技术的普及和不断发展，为我国教育信息化建设带来了机遇和挑战。《国家中长期教育改革和发展规划纲要（2010-2020年）》[1]十九章第六十条提出：“加强优质教育资源开发与应用。加强网络教学资源库建设。引进国际优质数字化教学资源。开发网络学习课程。建立数字图书馆和虚拟实验室。建立开放灵活的教育资源公共服务平台，促进优质教育资源普及共享。创新网络教学模式，开展高质量高水平远程学历教育。”在国家政策的要求和信息化技术飞速发展的时代背景下，高校和教学机构纷纷建立网络共享平台和网络教学资源，其中不乏优质的教学资源，在一定程度上实现了资源的互通共享。然而各单位单独开发，缺少整体规划限制了优质资源的共享，如何提高网络资源的利用效率，实现更高效的实现网络资源共享是我们面临的挑战。

二、大数据的概念及高校数字化资源共享研究现状分析

1.大数据的概念

全球知名咨询公司麦肯锡（Mckinseyand Company）于2011年5月发布了《大数据：创新、竞争和生产力的下一个前沿领域》报告[2]，该份报告中首次提出“大数据”的概念，并在报告中指出“数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来”。然而，至今没有一个官方的定义。但各种表述存在的共同点是：大数据并非传统意义上的海量数据， 大数据有“4V”特点： Volume（容量）、Variety（种类）、Velocity（速度）和Value（价值）。Volume 指巨大的数据体量与完整性，数据量从TB级别跃升到PB 级别。Variety 指类型繁多，在海量、种类繁多的数据间发现其内在关联。Velocity指大数据要求处理速度快。Value 指大数据的洞察力和价值，需要将信号转化为数据，将数据分析为信息，将信息提炼为知识，以知识促决策和行动[3]。

2.高校数字化资源共享研究现状分析

西方现代大学城发展于美国硅谷模式。硅谷模式的核心是将大学和科技研发联合在一起。斯坦福大学校长特曼于1951年提出“技术专家社区”构想，明确指出大学不能办成纯学术的象牙塔，而应该兼有科研和技术转让特性，并依此理念创办了斯坦福工业园。随着科技事业的发展，硅谷不但成了世界首屈一指的电子工业中心，而且形成了包括斯坦福大学、圣克拉大学和圣何赛大学以及9所专科学校、33所技术学校、100多所私立专业学校的西方现代大学城[4]，其显著特点是“产学研”一体化。

美国全国教育统计中心（National CenterforEducational Statistics）的一项调查显示，参加调查的4130所高校中，56%的二年制和四年制大学在2000-2001年开设了远程教育课，其中90%的公立二年制大学、89%的四年制大学开设了远程教育课程。这些二年制和四年制大学总共大约开设了127400门远程教育课程，在2000-2001学年注册学生人数达到308万人。在调查中发现，57%的大学领导相信网上教学的学习效果可以达到和面授课程一样好，一批盈利性的网络大学如凤凰城大学（PhoenixUniversity）、卡佩拉大学（Kappella Universiyt）[5]等如雨后春笋般发展起来，且规模不断扩大。

国内各高校在资源共享上做出了许多有效的尝试， 如实现课程互选和学分互认制度，2002年6月6日，浙江大学、上海交通大学、西安交通大学三校率先签署“课程互选、学分互认、联合办学”合作协议书，实现不同区域间名校优质教育资源及信息的共建、共享、共管、校际间课程互选、学分互认；并向西部高校输送优质教育资源， 实施联合培养计划[6]。

三、建立资源共享门户，提高网络教学资源共享质量

我国在数字化教学资源共享上已经取得了一定的成绩，然而近年来大数据、云计算等现代化信息技术不断发展，将这些先进的技术与数字化教学资源共享进行结合，进一步完善我国数字化教学资源共享的策略及方式是我们研究的方向[6]。云计算技术利用云存储管理及建立各种定制化的服务可以为数字化资源平台提供网络化应用，学习者在应用这些网络化应用学习的过程中产生了海量的数据，这些数据很难用关系型数据库表达清楚，大数据能够利用Hadoop技术以内存检索技术以及数据实时反应技术对这些数据进行深层次的处理，对学习者未来可能出现的情况进行预测，从而为学习者定制学习计划和推送个性化的数字资源，提供个性化服务。

1.资源共享门户模型

在现有的数字化资源基础上，建立资源共享门户模型，如图1所示。

（1）采集分析层是数字化资源的数据来源。通过对已经存在各种优质数字化学习资源进行采集，如精品课程，精品资源共享课，各类不同类型的网络教学平台，数字化资源平台拥有的教学资源，以及用户在这些平台的使用过程中产生的网络学习行为数据等。这些数据来源非常分散，对这些基础数据的筛选整合提炼分析工作至关重要，数据挖掘技术可以提取资源的元数据，对这些关系化，非关系化数据，结构化半结构化及非结构化数据进行深层次的分析和挖掘，并通过MapReduce编程模型管理这些数据，提高数据挖掘分析的效率和速度。

（2）管理层是对采集分析层得到的数据。利用云计算技术对其进行再次分析处理，并对数据进行安全，性能以及权限的管理。经过数据采集，在管理层进一步提炼资源的关键特性，形成资源的详细描述，建立统一的标准化资源的标签，将所有的资源数据存储于云服务器中进行高性能计算，进行深度数据挖掘，计算数据之间的关系，重新建立索引，进行资源分类，再次分解组合，再将这些索引以云服务的方式嵌入到数字化资源共享平台中，所有的资源将更加便于获取。数据的管理体现在各种资源的数据安全、数据处理性能以及数据权限上。各种资源平台的资源的公开性及公开程度，以及免费与否，都要能够控制，在数据采集和数据处理的过程当中既要考虑到数据挖掘分析时的效率速度，同时要保证这些资源的安全，不能产生数据信息泄露，并且不同的用户可以访问的资源权限要进行限制。

（3）数据应用层为数字化资源平台提供网络化应用。让学习者更充分，高效率地运用各类资源。当用户有特定的资源搜索需求时，可将采集到的网络行为数据进行计算，计算出当前用户的上下文状态，然后再利用云服务中存在的索引和用户当前的上下文状态进行二次计算，因采集的数据量大且计算速度快，计算出的结果能够精确反应当前用户的需求，这样便进一步缩小了用户资源搜索的范围，用户可稍加筛选就可以找出想要的资源，甚至想要的资源通过用户界面直接推送给用户，这样能够降低很多搜索资源的时间成本，从而提高资源共享的效率。根据大量学习同一门课程同学在学习过程中的学习数据，综合计算的结果作为参考，可以指导学生了解参考哪些课前预习资料对课程帮助较大，结合某个学生的当前学习状态水平，预测该学生可能会遇到什么问题，对于该生来说哪些是重点，哪些是难点，做课后习题的量达到多少才能达到最佳效果，根据学生的实时学习情况指标达到阈值发出预警提醒等等，这样将避免很多不应该发生的后果，另外通过数据采集和分析预测机制，可以全面地对课程内容，教学进程等一系列教学关键因素和步骤进行数据分析计算，对学习进行评估及预测，能够建立针对每个学习者不同情况定制学习策略方案指导，对每一个学习者都有着很好的指导性意义。

2.资源共享门户建立过程

通过采集各种网络教学资源平台的所有数据（包括课程数据，用户数据，教学行为数据及成绩数据等），将大量教学数据存储在云端，并且通过高性能计算技术根据需要将数据进行提取分析，形成统一的数据接口。在不同的资源平台当中，资源所属的类别多种多样，标准的题库、Word资料、PPT、视频资源等等，可将所有的资源数据存储于云服务器中进行高性能计算，进行深度数据挖掘，计算数据之间的关系，重新建立索引，再将这些索引以云服务的方式嵌入到网络资源共享平台中，便于调用。

将所有网络教学平台的课程内容，教学进程产生的实时数据共享并统一存储，对其进行计算分析，得出的结果可以用于教学内容及过程的指导。根据大量上同一门课程的授课教师在教学过程中的共享数据综合计算的结果作为参考，可以指导教师在教学过程中合理的安排教学进度，控制课堂互动频率、课后作业类型以及课后辅导资源。

四、资源共享门户的应用实施及关键点

数字化资源共享门户在高校中的应用及实施的基础是需要一个高性能计算及数据中心，依托数据中心存储丰富的数字化资源，通过高性能计算平台对用户的日常学习行为进行大数据分析，得出用户可能最需要的数字化资源，从而为学生的网络学习提供良好的支持环境。在拥有数据中心和高性能计算平台的基础之上，需要建立一套完善的数字化资源应用平台。平台采用B/S架构，通过富客户端脚本优化请求响应速度及用户体验，采用Web Service形式将具体的服务封装起来，在平台涉及到相应业务逻辑的地方进行调用，提高了数字化资源共享门户的扩展性，以后可以很好地将数字化资源共享平台进行跨平台、跨设备（如手机平板等移动设备）应用。在数据方面，所有的资源数据存放在数据中心，采用oracle数据库的RAC技术以及大容量存储对数据进行处理，由专门的数据维护服务供应商提供数据维护服务，保证了数据的可用性及安全性。在平台的安全性方面，可采用微软最新研制的“可验证保密云计算（Verifiable Confidential Cloud Computing）”加密技术进行加密，微软的加密专家称之为“VC3”，VC3利用英特尔指令集建立一个“保密箱”（Lockbox），供运行MapReduce的客户在云里使用，保密箱可在未修改的Hadoop上运行，为数字化资源共享平台提供了可靠的安全保障。

数字化资源共享门户实施过程中的关键点在于，平台为不同的资源平台建立了一个类似数据中心的平台，不同资源平台数据的结构，以及数据的关系会存在着很大的差异，具有分散，异构的特征，若无法解决数据的差异性及兼容性问题，数据共享难度会非常大。大数据利用Hadoop分布式计算技术为非结构化数据构建统一格式的视图，并在针对数据的不同特性建立快速索引、内存索引，将不同的数据形成统一化标准化的对外访问接口，有针对性地解决了不同数据资源平台非结构化数据的统一访问的问题。

五、结语

随着信息技术的飞速发展，数据量急剧增长，大数据的时代已然来临。合理利用大数据技术来提高网络教学资源贡献质量，实现教学资源的全面共享，必将是日后发展的趋势。本文对大数据的概念、网络教学资源共享发展的现状进行了详细描述，介绍了大数据的特征，分析了利用大数据进行教学资源共享的关键问题，通过大数据的数据分析数据处理，来感知用户的上下文状态，对用户进行指导和预测等，进一步提高网络资源共享的实用性。如何利用大数据更大程度的提高网络教学资源共享的质量，是我们未来继续研究的方向。

参考文献：

[1]国家中长期教育改革和发展规划纲要（2010-2020年）[EB/OL].http：//news.xinhuanet.com/ziliao/2015-11/06/c_128401869_17.htm，2015-11-06.

[2]James Manyika， Michael Chui， Brad Brown .Big data： The next frontier for innovation competition and productivity[M].Insights & Publications. http：//wenku.baidu.com/link？url=WArW_02gcTYCwAYLvLc6zJn8JiBw-5kDA1Sg2poOVYon1vyLcYFtoBMIUOkfIzshOOyq137jf UcOJM-qFUGo-5JGW1WBA_DgrkLXhwcAIJu，2015-11-27.

[3]刘洋.大数据时代科技信息资源共享平台的发展[J].林业科技情报，2014（1）：66-67.

[4]Stepen D.krasner ed.International Regimes[M].NY：Cornell University Press，1983.

[5]吴国文，蒋纯.大学城高校资源共享与协作发展模式探索[J].计算机教育，2013（23）：81-83.

[6]李世美，韩庆兰.我国高校教学资源共享影响因素及模式探析[J].南通大学学报（教育科学版），2009（25）：12-15.

（编辑：王晓明）