基于大数据分析的学生综合测评系统设计与实现

殷文俊

(滁州城市职业学院，安徽 滁州 239000)

在大数据时代背景下，需要处理的各种数据或信息量非常大，必须要借助于相关的技术和手段来对大量的数据实施整合和管理，同时各项活动的开展和各种决策的制定往往离不开大数据的分析，因此大数据分析逐渐成为研究者关注的焦点问题.在高校学生管理工作中，以大数据为前提，构建针对大学生的综合测评模型，及时对大学生各方面的状况进行汇总，将测评的结果作为大学生评优评先的参考.

传统上对大学生综合素质的测评主要侧重大学生的学习成绩，这使得大学生综合测评指标单一，测评结果存在很大的片面性[1].对大学生进行综合素质的测评必须全面考查大学生的德育、实践、智育等多个方面的指标，通过多项指标的综合分析来对大学生的综合素质进行评价，这导致大学生综合测评所需要的数据量十分庞大[2].基于大数据分析的大学生综合测评系统能够更好地对大学生在校的各项状况进行综合统计与分析，使得大学生可以更为科学有效地规划自身的学习方向和学习目标，同时也可以有效反映出大学教育存在的问题，为进一步改善教育教学提供参考.

1 学生综合测评系统需求分析

1.1 学生综合测评系统总体需求

高等教育的快速发展使得高校的招生规模不断扩大，高校学生的数量快速增加.大数据的应用使大学生综合素质测评成为可能，建立在大数据分析基础之上的大学生综合测评系统从总体上应该满足两个方面的要求[3]：

(1)数据的整合统计.学校教务处、图书馆、学生处等都会产生和学生日常学习以及生活相关的数据，且不同的数据往往是保存在不同的数据库中，没有很好地融合在一起.建立学生综合测评系统要将不同部门的数据进行提取，按照统一的格式整合在一起，实现对数据使用“1+1>2”的目的，同时要对数据实现统计分析，例如，了解学生的学习成绩与进入图书馆次数之间的关系等.

(2)挖掘数字间的逻辑关系.大数据分析的价值体现在从大量的数据中找出规律，因为自然界各种事物之间存在内在的逻辑关系，通过充分地挖掘内在的逻辑关系，为教育部门提供决策[4].例如，大学生每天的早饭时间和大学生的学习成绩，看起来毫无相关，但是经过大数据分析也可能发现存在内在逻辑关系.

按照对大学生综合测评系统总体需求的分析，大学生综合测评系统设计和开发的业务流程图如图1所示.

图1 大学生综合测评系统业务流程图

1.2 学生综合测评系统功能需求

大学生综合测评的数据是大学生日常生活形成的数据，借助Hive、Spark等大数据处理的工具进行处理，得到学生统计信息、学生图书馆活动信息、学生宿舍活动信息以及学生一卡通消费信息，通过数据挖掘等技术对学生进行综合测评[5].

(1)学生统计信息分析功能.通过学生统计信息分析功能了解学校学生的性别分布、年龄分布、民族分布、生源地分布、学生课程成绩分布、学生资助信息等，借助于该模块更加清楚地了解当前学生的整体状况.

(2)学生图书馆活动信息分析功能.图书馆是学生课余学习的主要场所，通过了解学生借阅图书的种类可以更好地反映学生的兴趣，了解学生进入图书馆的时间和数量可以更好地反映学生在校学习的部分规律，借助于该模块可以更加清楚学生对自我提高的需求[6].

(3)学生宿舍活动信息分析功能.宿舍是学生生活的主要场所，有的学生将课余的绝大部分的时间花费在宿舍，而有的学生不喜欢留在宿舍.通过了解大学生出入宿舍的时间、次数以及夜不归宿情况来全面了解大学生的日常生活整体情况.

(4)学生一卡通消费信息分析功能.一卡通是学生消费的重要工具，使用一卡通可以在餐厅买饭，可以在学校的超市购物，可以去洗澡等.大学生使用一卡通的消费情况一定程度上反映了学生的经济状况、消费的习惯、活动的轨迹等.例如，对一卡通消费信息的分析可以了解学生的生活规律，当前大学生早餐消费一卡通比较少，这说明部分学生没有吃早餐的习惯，同时也反映了大学生早晨起床普遍比较晚的情况.

图2 大学生综合测评系统用例图

(5)学生综合测评分析功能.学生综合测评分析功能是通过学生的学习成绩信息、图书馆活动信息、宿舍活动信息、一卡通消费信息等全面了解学生的在校学习与生活情况，从而对学生进行综合评价，为学校的管理决策制定提供参考[7].学生、教师以及管理人员都可以在自己的权限范围之内查看相关的信息，用于指导自身的工作、生活、学习.大学生综合测评系统的总体用例图如图2所示.

2 学生综合测评系统设计

2.1 学生综合测评系统功能模块设计

(1)学生统计信息分析模块设计.学生信息统计展示采用SQL语言，例如，使用sum完成对学生总数的计算、不同性别学生总数的计算、不同民族学生总数的计算，等等，通过查询的方法来了解每一种属性学生的人数，同时通过柱状图、饼状图的形式展示出来，使得学生、教师、普通用户以及管理人员对其一目了然[8].学生个人的基本信息包括学生的学号、姓名、性别、民族、家庭住址、所在院系、专业、考试成绩、邮箱、电话等内容.

(2)学生图书馆活动分析模块设计.图书馆是学生课余时间学习的重要场所，各大高校安装了图书馆门禁，学生必须刷卡才能进出图书馆.记录学生出入图书馆的信息可以更加全面了解学生日常借阅图书信息、在图书馆学习时间等信息.对学生图书馆活动的分析主要包括：学生在一天中进出图书馆的总体趋势，同时将该趋势通过折线图的形式显示出来；每一个学生进出图书馆的信息、借阅图书的信息，了解学生的学习动态.对学生图书馆活动分析主要包含学生的学号、学生的姓名、学生进出图书馆的时间、学生借阅的书籍名称、学生借阅的书籍数量等信息.

(3)学生宿舍活动信息模块设计.宿舍是学生生活的重要场所，同时也是部分学生学习、娱乐的场所.考虑到学生的安全，各大高校安装了门禁，学生必须刷卡才能进出宿舍楼.对学生进出宿舍楼信息的分析以一天为单位，同时统计夜不归宿学生的名单，将夜不归宿学生的名单借助JSP中的Servlet模块发送给宿舍管理员[9].对学生宿舍活动分析主要包括学生的学号、姓名、年级、院系、进出刷卡时间、进出刷卡次数等，以此了解学生每天在宿舍的时间以及每天非休息时间在宿舍的时长等信息.

(4)学生一卡通消费信息模块设计.一卡通是大学生在校期间消费的主要支付工具，大学生可以在学校设置一卡通设备的地方进行消费.了解学生一卡通的消费信息可以客观地了解学生的家庭经济状况，为判断学生的家庭经济状况提供参考，辅导员在对大学生家庭贫困程度认定的过程中也可以很好地参考这一信息.对学生一卡通消费信息分析主要包括学生的学号、姓名、交易时间、交易地点、交易金额、充值金额等信息，通过对不同性别、不同籍贯、不同户籍人数的分析，更加全面了解学生的消费能力，同时借助于柱状图、曲线图来了解大学生的消费习惯，为帮助大学生形成良好的消费习惯提供参考.

(5)学生综合测评模块设计.对大学生的大数据进行分析要具有速度快、能力强的特点，同时去发现学生数据中所包含的未知价值信息.采用数据挖掘技术、Apriori算法等，分析各种数据之间存在的内在逻辑关系.例如，了解学生进出图书馆次数和学生学习成绩的相关性、学生吃早餐时间和学生学习成绩的相关性、学生的家庭状况和学生学习成绩的相关性等.在学生综合测评时，要从学生的个人基本信息、图书馆信息、宿舍活动信息、一卡通消费信息中提取特征量，对数据实施标准化和归一化处理，确定学生综合测评的评价指标，利用逻辑回归等数据处理技术来对学生进行分类，从而更加客观、全面地了解大学生的在校综合状况，最终给出测评的结果，如优、良、中、差、不及格等.

2.2 学生综合测评系统数据需求设计

在对大学生综合测评系统功能需求分析的基础上，必须针对各模块之间的关系建立抽象的数据模型，也称之为概念模型，为数据库的设计提供指导.科学合理地利用学生的基本信息、图书馆活动信息、宿舍活动信息、一卡通消费信息来最终对学生实施综合测评[10].本文对于学生综合测评系统的E-R图如图3所示.

图3 大学生综合测评系统E-R图

由图3可见，大学生综合测评系统存在一对一、一对多等类型，针对高校学生综合测评系统所涉及的实体、关系进行说明.大学生在大学期间会学习多门课程，对于每一门课程而言都有一个详细的记录表，因此在学生的学习成绩和学生之间是一对多的关系.学生图书馆信息，对于每一个学生而言，其都有唯一的通行证，这使得学生和进出图书馆之间是一对一的关系.学生宿舍信息，对于每一个学生而言，结合门禁记录的详细信息可以更好地了解学生进出宿舍的信息，这使得学生和进出宿舍之间是一对一的关系.学生的消费信息，对于每一个学生而言，其在一天会在不同的时间、不同的地点消费，因此保存有学生多个消费的信息记录，消费记录表包含了学生在学校期间的各种消费信息，这使得学生和消费信息之间是一对多的关系.

3 学生综合测评系统实现

3.1 大数据平台搭建

大学生综合测评系统投入使用，服务器放置在学校网络中心，学校的用户在校园网内部通过局域网访问该系统，外网用户借助于浏览器输入系统的网址就可以实现登录.从外网登录系统之后，对于不同的账户有不同的权限，在权限范围内查看相关的信息.大学生综合测评系统物理部署情况如图4所示.

图4 大学生测评系统物理部署

由图4可见，大学生测评系统采用的是B/S模式，该种模式对于数据的查询方便，业务的拓展更加容易，系统的维护更加简单，同时共享性也比较强.系统采用Java语言开发，数据的管理采用Mysql数据库，对于大数据的处理采用Spark，网站采用Apache的tomcat服务器，这样所有的用户，不论是教师用户、学生用户、普通用户，还是管理员用户，都可以通过普通的浏览器实现在线浏览.

3.2 学生数据整合与数据接口实现

采用大数据环境下的Spark工具软件进行处理需要将数据库中数据转换到HDFS中来.使用Sqoop数据传输工具将数据从MySQL数据库导入到HDFS中，实现MySQL数据库和主流数据库的兼容.针对学生的日常行为所产生的视频文件，通过调动HDFS的API接口将其储存在HDFS的文件系统中，编写Java代码来操作Hadoop API接口，实现数据的上传、下载、删除等功能.

对学生综合测评涉及大量的结构化数据库，要对各种数据实施整合加入学生信息共享数据库.将学工系统、教务系统、后勤管理系统、图书管理系统通过数据整合加入学生信息共享数据库中，将视频数据、发表的微信微博数据等借助于HDFS的API接口整合到学生信息共享数据库中.学生信息共享数据库中的数据通过Sqoop转换，将关系型数据库转入Hadoop的HDFS文件系统中.将HDFS文件系统中的数据进行ETL预处理、抽取与加载，借助Spark实现大数据的分析和建模，最终采用网页技术来实现分析结果的可视化.学生数据整合及处理流程如图5所示.

测评系统采用Java数据库连接技术来实现数据接口，采用Java语言编写独立于数据库管理系统的类与接口，这样可以更加方便地使用SQL语言来实现存取和操作数据库.使用JDBC技术(Java数据库连接技术)操作Mysql数据库首先要加载JDBC驱动程序，建立和不同数据库之间的连接，然后发送SQL语言，处理返回的结果，最后是关闭相关的连接.当数据库被成功连接之后，采用Super类中的exesql方法来执行SQL语言，从而完成对数据的操作.

图5 学生数据整合与处理

3.3 大数据统计分析实现

3.3.1 学生信息统计展示 借助于学生综合测评系统可以十分方便地了解当前在校大学生的基本情况，从而对学校有一个全面的了解.按照数理统计知识，统计不同指标的人数，画出对应的柱状图、饼状图.图6给出了该校大学生年龄分布情况的柱状图.

图6 学生年龄分布统计图

3.3.2 学生图书馆活动信息展示 图书馆是学生课余学习的主要场所，通过对学生各时间段进出图书馆人数的分析可以在一定程度上了解学生的生活规律.采用计数功能统计不同时间段进出图书馆的人数，然后做出不同时间段和进出人数的折线图.图7为该校2019年9月10号从早晨7:00到晚上21:00各个时间段的进出图书馆人数变化情况.

图7 各个时间段学生进出图书馆统计图

由图7可见，学生主要是在早晨7点至9点之间去图书馆，在11点至13之间外出吃饭和吃饭之后继续来图书馆学习的学生人数比较多，在19点以后学生纷纷离开图书馆，呈现出下降的趋势.

3.3.3 学生宿舍活动信息展示 宿舍是学生休息的主要场所，同时也存在部分学生吃喝玩学均在宿舍，也有部分的学生存在夜不归宿.采用筛选功能将夜不归宿的学生进行筛选，给出夜不归宿学生名单.借助于大学生综合测评系统，大学生宿舍管理人员结合大学生进出门禁刷卡情况就可以非常轻松了解夜不归宿名单，大大减轻了人工查寝的工作压力.通过统计学生的刷卡信息，将刷卡信息保存在EXCEL表中，通过Java的File实现对文件的上传下载，同时通过JSP中的Servlet编写javaMail程序，将夜不归宿的名单发给各个院系的辅导员，及时掌握学生的动态.

3.3.4 学生一卡通消费信息展示 学生一卡通消费情况在一定程度上反映了学生的经济状况.一般而言，一卡通消费金额比较多的学生家庭条件较好，而一卡通消费金额比较少的学生家庭条件相对较差.统计学生在某个时间段的消费金额，计算平均值，画出学生一卡通消费统计柱状图，具体如图8所示.

图8 学生一卡通消费统计

在认定学生家庭贫困程度的时候，可以将每一个学生一卡通的消费金额与人均消费金额的差别作为参考，进而发放贫困生补助.

3.3.5 学生综合测评信息展示 学生综合测评主要包括两个方面：一方面是对学生个人基本信息的显示，如图书的借阅信息、一卡通的消费信息；另一方面是学生行为模式的相关性挖掘，如学生学习成绩和学生出入图书馆的次数之间的相关性，学生的性别和学习成绩的相关性，学生专业基础课成绩和学生所在院系的相关性，等等.进行相关性分析采用相关系数来衡量，相关系数越大，其相关性越强，相关系数的计算公式为：

(1)

式(1)中，Cov(x,y)为x和y的协方差，Var(x)为x的方差，Var(y)为y的方差.

通过分析学生成绩和学生出入图书馆次数的相关性可知，学生的成绩和学生出入图书馆次数之间正相关，即学生去图书馆的次数越多，那么，其学习成绩也相对越好，这和实际是相符的.学校为了有效提高学生的学习成绩，必须加大对图书馆的建设，为学生提供良好的学习环境，吸引更多的学生经常去图书馆学习.

4 结论

本文借助大数据技术设计了高校学生综合测评系统，验证了基于大数据分析的大学生综合测评系统的效果，使得高校大学生综合测评管理更加完善.通过大学生的基本信息、大学生进出图书馆信息、大学生进出宿舍信息、大学生一卡通消费信息，了解大学生的在校行为，同时探究大学生的成绩与进出图书馆、进出宿舍以及一卡通消费之间的相关性，为学校管理部门作出科学化的学生管理决策提供参考.