大学云架构与大数据处理建模研究*

2015-11-21 11:38杨陟卓
中国教育信息化 2015年1期
关键词:日志数据处理管理系统

杨 威,杨陟卓

(1.山西师范大学网络信息中心,山西 临汾041004;2.山西大学计算机与信息技术学院,山西太原030006)

大学云架构与大数据处理建模研究*

杨 威1,杨陟卓2

(1.山西师范大学网络信息中心,山西 临汾041004;2.山西大学计算机与信息技术学院,山西太原030006)

本文简要介绍了大学云架构与大数据处理的目的与意义。以山西师大园区云为例,概要介绍了大学云架构的方法,提出了一种支持大数据处理的校园云模型。重点讨论校园大数据处理建模,大数据分析在学生成长、教师发展,以及提升学校服务能力等方面的作用。

云计算;大数据;学生成长;教师发展;智慧校园

一、引言

大学云(Universities Cloud)是一种采用云计算技术,对教学、科研、行政、后勤等各种业务流程办理和职能服务的园区云,也是学校各级部门可靠的基础信息化服务平台。大学云服务将产生大量的各种数据,云计算目前是大数据处理的基础技术[1],采用云计算处理海量数据,提高管理与决策水平,是大学云架构的重点工作。

显然,云计算、大数据等技术已成为高校生存与发展的基础。大学云架构采用统一标准[2],不仅利于各种业务网络与应用系统互连互通,避免产生“信息孤岛”,也利于避免计算、存储及网络资源重复建设[3],节约资金及提高收益,还利于大数据处理,改善办学绩效及增强高校创新能力。

因此,大学云架构的关键问题是全面整合资源,优化云计算模型。也就是构建一种支持资源集约、信息共享、应用协同,以及大数据存储管理及检索使用的大学云。最优架构的大学云,是云计算、大数据与教育信息化的融合。这种融合,一方面规定了智慧校园高层划分及各部分间的交互[4],另一方面决定了智慧校园应用系统的实施能力和发展空间。本文以山西师大园区云建设为背景,重点讨论大学云架构与大数据处理建模等问题的解决方法。

二、大学云计算体系结构与功能

大学云是智慧校园建设的核心部分,是一个复杂的系统工程。该工程侧重六个方面:第一,优化整合学校各种管理信息系统和协同办公系统,建立统一基础数据库、数据交换系统、统一信息门户及统一身份认证等[5],消除信息孤岛。第二,完善高校决策支持系统的模型库、数据库和知识库建设,通过大数据分析,实现学校发展的智能决策。第三,优化整合网络课程、精品资源共享课和视频公开课及微课等资源,构建网上网下有机协同的智慧学习环境。第四,优化整合饭卡、洗浴卡、水卡、门禁卡、借阅证、上机卡等校园各类卡片,实现校园一卡通。第五,完善图书馆资源数字化管理,支持师生泛在数字化阅读与在线讨论。第六,优化整合多媒体视听教学与微格教学设施,支持MOOC的开发与应用。按照以上要求,大学云计算体系结构与功能,如图1所示。

图1 大学云计算体系结构与功能

从图1可以看出,大学云主要由基础设施、资源平台、应用平台和服务门户构成。基础设施包括了各种服务器、存储器、网络设备(交换、路由、安全等)和操作系统及工具软件等设施。采用虚拟化软件 (如VMware vSphere 5.5),对云基础设施进行集群架构与管理[6];按照业务所需资源量,将虚拟服务器与虚拟存储器弹性适配与调度[7],由此形成大学云资源平台。在资源平台部署校园应用软件,包括教务管理系统、学生管理系统、科研管理系统、教工管理系统、资产设备管理系统、财务管理系统、后勤服务管理系统、图书文献管理系统、教学信息化与网络学习系统、协同办公系统、平安校园监管系统、校园一卡通系统、统一身份认证系统、上网行为管理系统、网络运维支持系统等。这些校园应用系统,构成了大学云应用平台。

大学云应用平台,通过数据交换系统(多个虚拟主机)接口,将各种数据库与各种应用系统适配连接,实现了资源集约、信息共享及应用协同。云应用,一方面通过面向师生信息服务接口,建立了一站式校园信息服务门户。师生可通过该门户,依据本人权限进行各种功能操作。另一方面,通过面向大数据分析与智能决策服务接口,建立了一站式校园决策支持门户。学校各级领导(或相关责任人),依据本人权限进行各种大数据分析操作。通过大数据分析,实施教学、科研与后勤服务等事务处理的决策支持。

三、校园大数据特征与处理方法

随着大学云建设与应用,大量数据来源于管理信息系统数据库与日志库、图书文献库与日志库、校园一卡通数据库与日志库、网络行为与管理日志库、平安校园视频库与日志库、多媒体及微格教学视频库与日志库、网络学习资源库与日志库、办学决策知识库和模型库及决策支持日志库等。数据类型繁多,主要有文本、数值、图形、图像、标签等。数据处理速度快,如管理信息系统数据库、一卡通数据库等,数据处理均有较高时效性。很多数据表现出低价值密度,如各种视频库、日志库等。这些数据完全符合大数据的4V(Volume,Variety,Velocity 和Value)特征[8]。

校园大数据可分为结构化数据与非结构化数据两类。结构化数据主要包括各种管理信息系统数据库(关系数据模型)、能够变换为关系数据表单的各种日志库。非结构化数据主要包括图形图像、音视频(微格教学视频、精品资源共享视频课、微课程视频、校园监控视频等)、Web文档(HTML与XML网页)、课件文档(浏览器可打开的Word、PPT、PDF等)、工作文档(如年度计划、工作总结、项目研究、成果报告等电子文档)。结构化数据处理,常用数理统计模型与算法 (如回归分析,最小显著差数法、最小显著极差法等)。非结构数据处理,常用文档语义表示与索引、文本处理与分析[9]、内容摘要等工具。校园大数据处理建模,直接影响着学校发展决策的水平。

四、支持学生成长的大数据分析

在校园云的环境中,如数字化迎新、数字化学习(网上选课、学籍管理、网络学习、在线讨论等)、数字化生活(校园刷卡吃饭、洗浴、用水、进门、借书、上机、体育运动,以及社团与学术活动等)的每一个过程中,均有大量的数据记录了学生成长。如图2所示。对这些数据进行深入分析,对学生成长及改善学校决策绩效[10],具有以下作用。

(1)学生入学与学习数据分析。整合学生入学情况和在校学习情况等数据,深入分析与了解不同生源地、不同单科成绩、不同专业、不同个性特征的学生在校期间学习表现,为招生部门优化招生措施提供决策支持。

(2)学生专业学习数据分析。整合能够反映学生在校的学习、研究和参加活动(如课程学习、校园学术活动等)等多种数据,持续、系统地分析每个学生的专业学习行为、课程测验与作业完成、课程考试成绩、项目申请与结题、学习兴趣与意见等数据,深入了解学生专业学习中的问题,为学习绩效改善提供个性化服务,为优化人才培养方案提供决策支持。

图2 支持学生成长的大数据处理模型

(3)学生在线学习与图书借阅数据分析。完善“在线学习管理系统”的学习轨迹记忆功能,能够跟踪学生的学习轨迹。深入分析学生在观看课程视频、网络课程学习、网络资源浏览、在线讨论发言、完成电子作业等项目上花费的时间差异。为优化网络学习资源开发与购置提供决策依据。统计学生访问图书馆、借阅图书与文献等数据,分析学生网上、网下学习时间分配情况,分析网络学习资源与馆藏图书文献资源配置情况,为优化电子与纸质资源最佳互补提供决策依据。

(4)学生就业与深造数据分析。整合专业教育、教育实习、校园招聘、社会招考、考取研究生、用人单位反馈意见等各类数据,深入剖析专业人才培养方案、学生就业或考研意图及市场对人才需求等数据,优化人才与市场对接机制、完善专业课程学习与考研对接机制,与为学生考研提供个性化指导服务,为毕业生提供个性化就业指导服务。

五、支持教师发展的大数据分析

教师是学校发展的中坚力量,教师的教学、科研能力高低,直接关系到专业人才培养质量与水平。在校园云的环境中,教师的教学、科研活动密切与数字化关联,如人事档案管理、综合教务管理、科研管理等系统,这些系统均记录了教师发展的大量数据。建立支持教师发展的大数据处理模型,是提升教师能力、促进教师发展的有效途径。如图3所示。

图3 支持教师发展与提升学校服务能力的大数据处理模型

(1)教师基本数据分析。建立健全教师入职与从业档案数据库。深入分析教师的学历教育背景、学习专业与学缘状况(学士、硕士、博士的毕业院校,以及专业衔接与研究方向等),教师从事专业与学习专业的关系(一致、相近、跨专业等),以及教师专业职称与学习专业、从事专业及兴趣爱好之间的相关性等,优化教师招聘策略与措施,为学校人力资源部门招聘教师提供决策支持。

(2)教学信息化数据分析。按照教师信息化教学情况,整合综合教务管理系统、课堂教学日志(学生填写)、听课日志(领导和专家填写)等相关数据。深入分析教师制定课程教学计划、编写教案、课堂教学、实验教学、编写教材、制作课程资源、承担校本研究课题、获得教学成果与奖励等数据,了解教师教学能力发展中的优势与不足,为提升教师教学能力提供个性化服务。优化教师教学考核机制,为学校修订教师及课程组教学能力提升措施提供决策支持。

(3)科研与服务社会数据分析。深入分析教师承担科研项目(题目,级别、主要研究问题、方法措施,结题、结论等)、发表论文(题目、刊物级别、检索、社会反响等)、出版著作(名称、出版级别、发行量、社会反响等)、获得科技成果奖励、学术荣誉,以及进行的学术报告和外出学术会议等数据。深入分析教师科研能力、技术专长与社会兼职、承担横向课题、服务领域及业绩等之间的相关性,了解教师科研与社会接轨,促进生产力发展的情况。优化教师科研考核机制,为提升教师科研能力提供个性化服务,为学校修订教师及团队科研能力提升措施提供决策支持。

通过以上三方面数据分析,优化高校个人与团体的教学、科研绩效考评机制。为教师职称评聘提供考评依据,为学校修订师资队伍建设的政策与措施提供决策支持。

六、支持提升服务能力的大数据分析

校园后勤服务、资产设备使用,图书文献使用,以及网络使用等领域,均与学校服务师生的能力密切相关。而服务能力提升直接与领导干部执行力相关。如图3所示。因此,在这些领域开展大数据的分析,可助推学校服务能力提升。

(1)领导干部管理数据分析。完善党政干部管理系统功能,深入分析干部任职时间、职务变动、年度计划、工作总结、工作业绩、取得成果与奖励等数据。优化干部考核机制,为学校选拔、培养青年干部提供决策支持。

(2)校园后勤服务数据分析。后勤服务是智慧校园的重要组成部分,动态采集校园生活、安防、环保、资源与能耗等各个方面的数据,建立后勤服务保障系统。通过该系统,深入分析校园日常水电计量数据与水电节约数据,挖掘节能空间,完善节能管理措施。深入分析楼宇、房屋、设备、道路等日常修缮维护资源消耗与费用开支等数据,参考经验,完善修缮管理措施。深入分析学生刷卡吃饭与餐饮管理数据,普查学生餐饮问题,如饭量持续减少是否身体不适、每日三餐与每周营养搭配是否符合科学饮食,饭菜价格波动是否合理等问题,及时优化健康餐饮管理措施。深入分析师生在校体检与医疗数据,普查师生身体不适,及时提供进一步医疗建议。深入分析平安校园(所有楼宇内外、公共场所、道路、校园进出通道等)视频数据与操作日志数据,依据事件发生,普查电子眼密度与位置是否符合平安校园的需求,及时提供电子眼维护与增补建议。

(3)资产设备使用数据分析。建构资产设备管理系统,完善仪器设备台帐与使用日志管理,深入分析教学、科研仪器设备(含材料)用于学生实验、师生科研和协同创新攻关实验中,仪器设备使用完好与损害数据、够用与缺少数据。深入分析专业课验证、设计和综合实验项目实施与仪器设备使用率数据。深入分析实验室占地面积与配套设施使用率数据。综合以上三类数据分析结果,优化实验室建设、仪器设备维修与更新管理机制,为资产与设备科学、合理使用提供决策依据。

(4)图书文献使用数据分析。整合校图书馆和学院、所资料室的图书文献资源,构建图书文献阅读管理系统。通过学科资源服务系统,聚合与分享海量学科信息资源,精细化筛选适合读者需要的资源。采用RFID装置、红外感应器和激光扫描器等技术构建智能书架与书桌,智能抓取数据,进行读者行为学分析,获取其阅读喜好,为读者推荐感兴趣的资源。综合以上两类数据分析结果,优化图书文献流通管理机制,提高图书文献有效使用率,为满足读者需求购置图书、期刊等资源提供决策依据。

(5)网络行为数据分析。整合校园网流量控制、网络管理、安全管理、用户管理、上网行为管理及Web服务器等日志数据,建立网络综合日志管理系统。深入分析各类行为数据,包括用户访问外网的各种协议占用带宽、持续时长数据,用户连接与断开网络数据,用户访问网址、内容与持续时间数据,网络交换、路由设备工作正常、故障及恢复时间数据,网络交换与路由设备、服务器与主机系统等安全服务、遭受攻击及修复时间数据,以及服务器运行的行为数据。综合以上多种数据分析结果,优化网络运维管理机制,优化网络协议带宽分配策略,优化网络安全管控措施,优化节能管理措施,为校园网技术升级、增强网络可用性提供决策依据。

七、结束语

我们在大学云架构与大数据处理方面进行了有益的初步尝试。但仍有很多问题需要研究,如数据安全保护、个人隐私保护,挖掘关联规则[11]、构建预测模型等,我们要从深层次推进智慧校园可持续发展,使师生能够如影随形地感知与体验教育信息化的魅力。

[1][8]窦万春,江澄.大数据应用的技术体系及潜在问题[EB/OL].http://www.cnki.net/kcms/detail/34.1228.TN. 20130627.1215.002.htm l.2013.06.

[2]何京翔.为云计算和大数据重塑数据中心[EB/OL]. http://www.chinacloud.cn/upload/2014-06/14060211 339145.pdf.2014.06.

[3][4]杨威,刘彦宏.高校智慧校园建设中的关键问题与对策[J].中国教育信息化,2013(23).

[5]湖南青果软件有限公司.山西师大数字校园建设方案[D].2011.11.

[6][7]杨陟卓,杨威,王赛.网络工程设计与系统集成(第3版)[M].北京:人民邮电出版社,2014.9.

[9]Zhizhuo Yang,Heyan Huang.Chinese W ord Sense Disambiguation based on Context Expansion[C]. Proceedingsof COLING-2012.

[10]沈富可.高校智慧校园的核心价值探索[EB/OL]. http://free.eol.cn/edu_net/edudown/eduedu/shenfuke.pdf. 2014.6.

[11]杨陟卓,黄河燕.基于异构关系网络图的词义消歧研究[J].计算机研究与发展,2013(2).

(编辑:王晓明)

TP393

A

1673-8454(2015)01-0016-04

山西省高等学校科技项目(20110015)资助。

猜你喜欢
日志数据处理管理系统
基于James的院内邮件管理系统的实现
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
基于低频功率数据处理的负荷分解方法
一名老党员的工作日志
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
扶贫日志
雅皮的心情日志
基于LED联动显示的违停管理系统
雅皮的心情日志
停车场寻车管理系统