基于大数据分析的分布式学习平台构建

李圣楠

（天津开放大学 天津市 300350）

1 引言

1.1 研究背景

数字时代的到来，智能设备的普及化，互联网的飞速发展，使得人们的生活方式发生了巨大改变，学习平台的搭建为教与学创造了便利条件，随着用户规模逐步扩大，海量用户学习行为为大数据分析提供了基础，同时也提出了更多要求，如何更好地利用这些数据帮助不同类型的用户更为方便快捷地获取所需要的信息，也成了亟待解决的问题，了解资源建设情况、内容、类型、点击次数、观看时长、观看人数等资源使用情况，可以为教师资源建设主体、内容、形式等提供有效参考；了解学生登录时间、点击模块、学习时长、互动情况等分析学生的学习行为习惯，可以为学生推荐适合的学习资源，更好实现因材施教；了解学生登录时间、登录次数、学习时长、练习情况、考试情况等，教师登录时间、登录次数、点击模块、资源上传情况等则可以为学校管理方式的提升提供有力的数据支撑。既有利于学校教学管理，也能够为教师教学提供更多的选择，为学生自主学习提供便利，有利于信息的发布和传播，同时便于用户之间的资源共享，达到更好地学习效果。

大数据分析对平台数据存储量和计算需求有更高的要求，传统单机服务器收硬件条件限制，无法提供海量存储空间，也难以实现快速计算，因此，本文引入分布式技术，以便更好实现数据分布式存储，既提高了平台性能，也提升了用户体验。

1.2 相关概念界定

1.2.1 大数据分析

大数据分析是对庞大且复杂的海量数据进行分析，通过大数据分析可以从不同角度发现更多问题和规律，以便为决策者提供有效的数据支持。随着数字时代的来临，人们对数字产品的依赖程度越来越高，人们面对的信息规模越来越庞大，数据越来越多，大数据分析应运而生。它既是时代的产物，也是时代的推动者。大数据分析技术是一门比较综合的技术，包含数据存储技术、数据挖掘技术、数据可视化等。完成大数据分析过程，最终实现数据应用，一般需要经过的步骤如图1所示。首先要收集海量的原始数据，有的通过网络爬虫爬取，有的则是获取平台内的数据库、日志等信息，这就是数据收集过程；接着，将收集到的数据进行预处理，包括数据清洗、数据集成和数据转换等操作；之后，对经过预处理的数据进行存储，数据分析根据需求不同，难易程度有很大的差异，复杂数据分析还需要构建数学模型、通过数据进行训练不断完善模型，通过评估来检测分析效果；最后，通过图形化方式，实现信息的有效表达，帮助用户认识和分析出更多信息。

图1：大数据分析基本流程

1.2.2 个性化推荐

个性化推荐是在大数据分析基础上，为用户提供个性化定制的信息服务。个性化推荐应用领域非常广泛，最常见的如购物平台，根据用户近期搜索和浏览推荐他们可能喜欢或近期需要的产品，本文中主要用于推荐用户需要的资源库资源，包括视频、图书、音频等各类学习资源。最常用的个性化推荐算法是协同过滤算法，本文采用的推荐算法是协同过滤算法与知识图谱相结合的方式。协同过滤算法是通过矩阵来计算邻居之间的相似度，默认两者相似度越高则喜好越相同，最终结果就是推荐相似度最高的邻居的喜好。具体推荐过程如下，假设系统需要通过协同过滤算法为用户1推荐资源，首先通过矩阵计算用户1与其他用户的相似度，通过计算得出用户2为数据库中与用户1相似度最高的用户，用户1喜欢资源1，资源2和资源5，用户2喜欢资源1，资源2，资源4和资源5，协同过滤法默认相似度高喜好越相似，用户2喜欢资源5，那么则为用户1推荐资源5，推荐过程如图2所示。知识图谱是2012年谷歌推出的，通过结构化方式直观展现知识服务，设计初衷是为了优化搜索引擎，这里应用知识图谱表示学生知识点掌握情况。

图2：协同过滤法推荐过程示意图

1.2.3 分布式

分布式就是分散在不同区域的方式，在计算机领域中通常是指分布式系统，即可以实现分布式处理的软件系统。随着需要处理的信息越来越多，单机或集中式计算无论是计算速度、硬件造价、计算结果准确率已经远远无法满足计算需求，分布式系统的设计很好地解决了这些问题。

实现分布式的基础是互联网，通过互联网，不同的设备可以协同完成某项服务，比如数据存储、数据分析、数据计算等，平台通过一定得耦合方式将这些分散处理的数据结果耦合在一起，抛开性能不谈，从用户的角度来讲，感觉不到和单机运算有任何不同。可见，分布式处理可以解决单机设备处理所产生的速度慢、维护成本高、准确率低等问题。多设备同时工作，可以获得更快地处理速度，有效降低了维护成本，也更能避免线性处理造成的出现错误需要全部重新处理等问题，加快了互联网的发展。

2 学习平台主要建设内容

2.1 系统支撑基础平台

建设支持大数据的基础平台，采用分布式文件系统、非关系数据库等大数据技术，构建基于虚拟化的数据中心服务器集群、基础安全、和网络环境，为核心应用构筑稳固、高效的运行平台。支持大数据读写和高并发访问，满足100万人注册1万人并发访问。

2.2 统一认证的门户网站

为访问学习平台的用户提供统一的访问入口，集成线上教学及管理应用服务。支持用户根据自己的实际需要个性化的定制专属自己工作界面，支持多种终端（PC、移动端）接入，支持用户分权限接入使用，支持用户绑定手机号、学号、教工号、微博、微信等。

2.3 一体化管理平台

针对学生、教师、管理员、系统管理员四类用户，提供教、学、管、考、评一体化系统功能。学生用户功能主要包括：注册、登录、课程学习、课程签到、作业提交、课程测试、课程评价、学习互动、学分兑换、信息查阅、信息收发、个人主页、课程制作与上传、设置等，教师用户功能主要包括：课程创建、课程查询、课程审核、学分设定、资源上传、作业发布、数据分析、信息发布、通知信息推送等。结合微信小程序实现课堂实时点名、测试、交互问答等功能。管理员用户功能主要包括：统计数据查看、报表生成、考核体系、通知推送等。系统管理员功能主要包括：课程导入、用户管理、学生管理、班级管理、系统日志、权限分配。

2.4 课程资源库

建设课程资源库，包括课程视频教程、课程参考图书、课程教学大纲、课程重难点解析、课程音频资源、课程课件等，支持不同类型资源上传、编目、浏览、下载等功能，支持用户分权限接入使用，实现资源的共建共享，同时根据大数据分析平台分析数据为用户推荐适合的资源，实现学生学习的个性化推荐功能也是此平台一个重要特点。

2.5 数据分析平台

从决策层、管理层、操作层对学生、教师、学校、机构等数据进行收集和分析，提供学生学习情况、教师辅导情况、学校发展情况等主题分析及综合报表，实现系统数据可视化。支持定制并导出报表、饼状图、直方图、趋势图、GIS分析等不同的数据展现形式，为平台的完善、个性化推荐、资源建设等提供辅助决策分析。

3 系统结构设计

根据建设目标和内容，将系统结构体系分为基础网络层、数据信息层、应用层、服务层与用户层，系统结构如图3所示。

图3：系统结构示意图

3.1 基础网络层

基础网络层主要包括核心网络通信设备、网络安全设备、网络接入设备、服务器、数据存储设备、操作系统、数据库系统、中间件、机房及相关设备等。

3.2 数据信息层

数据信息层主要包括教学、管理与服务过程所产生的各类数据，有用户基本信息、数据文件档案、软件代码、数据信息编码，各种业务数据、音频与视频以及多媒体格式的数字信息资源，数据采用分布式存储方式。

3.3 应用层

应用层包括门户网站、学习平台、资源库、数据分析平台等。

3.4 服务层

服务层是基于应用系统基础上的信息资源服务与学习支持服务等各种在线服务，面向服务对象，以提供各种服务为其核心内容，如信息自助查询服务与主动推送式服务，虚拟学习社区的知识共享服务，个人数据信息空间服务，技术工具使用的支持服务等。

3.5 用户层

用户层主要包括各类学习者、管理人员、专兼职教师、社会公众用户、院校、学习中心、合作单位、政府机构等用户。

4 学习平台功能设计

学习平台为访问其的用户提供统一的访问入口，网站集学习平台、数据分析、资源库等功能为一体，同时集成线上教学及管理应用服务。支持用户根据自己的实际需要个性化的定制专属自己工作界面，支持多种终端（PC、移动端）接入，支持用户分权限接入使用，支持用户绑定手机号、学号、教工号、微博、微信等，如图4所示。

图4：学习平台总体功能示意图

4.1 学生学习平台功能设计

4.1.1 学生注册

学生可通过两种渠道进行注册，移动端注册和网页端注册。注册信息存入基础数据中心，同时生成学分个人账户。非注册类用户在访问网站或移动端时采用快速注册方式，实现用户注册。

4.1.2 实名认证

注册学生通过填写身份证号码，进行实名认证。原有的注册学生信息保留注册名和密码导入到云平台的基础数据中心，学生进行实名认证。

4.1.3 学生学习与学分累积

学生在网上或移动端学习数字资源后可产生学习记录，通过学分银行转换记入个人学分账户；线下学习通过学生手机签到或手工代签到的方式，实现学习记录登记，并转化成学分记入个人学分账户。

4.2 教师教学平台功能设计

4.2.1 课程创建和报名

教师通过电脑端创建课程。学生报名参加课程时，注册学生可直接网上报名，非注册学生通过信息登记（或导入）实现课程报名。

4.2.2 资源创建

教师可以上传网络制作课程资源、课件等。经由上级管理员审核通过后，允许上传。

4.2.3 信息通知

教师可通过移动管理平台向学生发送日常通知。

4.3 管理平台功能设计

在平台上实现权限导入形成基础用户数据库；建立学分规则；建立实践基地信息，建立内部通讯体系，查看各类报表，实现网上绩效考核。

4.4 资源库功能设计

资源库支持各种类型资源上传、编目、浏览、下载等功能，按照文本、视频、图片、PPT等多资源类型进行分类细化管理，支持用户分权限使用。实现资源的快速上传、检索、归档并运用到教学中，实现资源的多级分布式存储，实现与门户网站、学习平台、大数据分析平台系统之间无缝联接。共享平台主要功能如下。

4.4.1 课程资源管理

课程管理教师可以管理课程资源，包含课程学习指导、教学大纲、课程章节信息、课程习题库、视频、文本等。由课程教师上传课程学习指导、教学大纲等课程说明信息，之后设置题库，题库包含了题目信息和章节信息，类型包含单项选择、多项选择和判断题，每道题目除了包含题干、选项等必备信息之外，还有习题解析、习题附件。习题解析是对题目涵盖的知识点进行解析，方便学生学习。

管理教师随后在各个章节中上传课程教学资源。所有教学资源以及课程的章节共同构成了课程资源地图。

4.4.2 论坛管理

每一门课程对应一个课程论坛，管理员就是该课程的管理教师。在课程论坛里，学生可以根据学习情况发帖提问，课程责任教师和同学均可以回帖。课程责任教师可以对发帖进行置顶、置精华、删除、编辑。学生如果是习题练习过程中遇到问题发帖，教师还可以通过该帖子的“查看习题”链接查看相关内容。

4.4.3 查看选课学生信息

显示选择该课程所有的学生，教师可以查看学生的学习数据（例如发帖数、回帖数、在线时间、浏览资源数），并给某个或某些学生留言。教师还可以选择出优秀的学生，系统可根据一定规则将排位靠前的优秀学生显示在门户首页的优秀学员列表中。

4.4.4 个性化推荐

个性化推荐功能是平台的特色功能之一，前面已经介绍了协同过滤的基本算法，推荐最相似用户的偏好。另外通过知识图谱实现对学生知识点掌握情况的呈现。知识图谱的描绘主要依靠学生学习行为统计和习题集练习情况、线上考试答题情况等。对于某一门课程习题集与知识点相关联，知识点与学习资源相关联，学生做习题的过程通常会出现一些错题，默认出现错题的地方是知识点没有掌握好的地方，这些知识点需要重点学习，将这些知识点的关联资源作为推荐资源推荐给学生。

4.5 数据分析平台

数据分析平台分为平台基础数据分析及大数据分析两部分。

4.5.1 基础数据分析系统

系统功能包含课程学习行为统计表、学生学习行为统计表、教学行为统计表。

（1）课程学习行为统计

该功能以教学单位为主线，统计一段时间内各个教学单位的学生对不同课程的学习行为。学习行为数据包含了登录人数、登录人次、在线时间、资源点击数、学生发帖总数、学生回帖数、学生主贴数，以便督促该校学生进行学习。

（2）学生学习行为统计

该功能以学生个人为线索，统计一段时间内学生报名课程的登录次数、在线时间、资源点击量、发帖数、主贴数、回帖数，以课程作为分组依据，方便管理员查看。

（3）教学行为统计

该功能以课程为线索，统计一段时间内学习该课程学生的数据。为了能够提高查询效率，该功能的统计指标支持可定制，定制指标包括基本情况、论坛交互情况和资源发布与使用情况，基本情况包括课程基本信息、任课教师情况和学生登录情况，论坛交互情况包括教师发帖情况和学生讨论情况，资源发布与使用情况包括教师资源上传情况、教师资源应用情况、学生资源应用情况。

4.5.2 大数据分析系统

大数据分析系统从决策层、管理层、操作层对学生、教师、学校、机构等数据进行收集分析，提供学生基本信息、教师基本信息、学校发展基本情况等主题分析及综合报表，实现系统数据可视化。支持定制并导出报表、饼图、直方图、趋势图、GIS分析等不同的数据展现形式，为管理工作提供辅助决策分析。如图5所示。

图5：大数据分析平台功能示意图