基于校园一卡通的数据挖掘及可视化设计

摘要：为了更直观、全面、高效地了解一卡通系统运行及用户用卡状况。以所在单位为例，设计和实现了一卡通大数据挖掘及可视化系统。基于一卡通交易信息、终端设备位置、地理位置图等信息，采用Python为主要工具配合各开源模块设计了数据挖掘和结果可视化平台。实验证明该系统能够帮助多角度多形式地了解一卡通系统运行状况、用卡习惯等，进而提高决策水平。该系统可为高校大数据深度应用提供参考。

关键词：一卡通;大数据;数据挖掘;可视化;地理信息系统

中图分类号：TP391.1      文献标识码：A

文章编号：1009-3044（2021）31-0100-02

Design of Data Mining and Visualization System Based on Campus Card System

YAO Li-juan

（Chengdu Textile College， Chengdu 611731， China）

Abstract： For more intuitive， comprehensive， and efficient understanding of the health of the campus card system and the trading conditions， take our college as an example， a big data mining and visualization system was designed and implemented. Based on card trading information， terminal equipment location， and combined with GIS information system， this scheme implemented data mining and visualization system， based on the python analytics platform. This system could establish a multi-angle and multi-form understanding of the health of a card system， then improve the level of decision-making. This system could provide reference for the deep applications of big data in colleges.

Key words： campus card system; big data; data mining; visualization; GIS

1 背景

隨着高校信息化建设日益深入，各种教务、后勤、服务、采购等系统的建立，教育信息化水平有了大幅度的提高。校园“一卡通”系统是智慧校园[1]的重要组成部分，以信息卡作为数据载体。一卡通作为传统的身份识别介质，由于和“人”进行了有效绑定，因此可以通过各种终端设备，在上下课考勤、门禁出入、注册报到、刷卡消费等场景中普遍得以应用[2]。由于，对校园卡应用数据进行分析和挖掘[3-4]，可以对用卡者的消费行为、生活习惯、出勤情况和校园的公共服务情况、教学状况等方面进行规律分析。进而通过这些信息，校园各部门管理者可以指导教学方案、教学质量、课程安排、道路规划等方面的调整。其中数据可视化技术可以让用户通过视觉感知，更清晰直观、方便快速地抓住数据的信息，辅助管理者做出高效的决策。

因此校园卡应用数据的挖掘和分析、可视化成为智慧校园下一步发展的关键环节。本文基于采用python分析平台[5]设计和实现了一卡通大数据挖掘可视化系统[6]。运用数据挖掘技术对校园卡应用数据，结合终端设备位置，对一卡通系统运行状况进行了可视化展示。

2 基于一卡通系统的数据挖掘

2.1 一卡通系统的数据特点

本校已经建成了一卡通物联网平台，推动一卡通服务向移动化、多元化服务转变，促进学校教学、管理、生活的信息化、智能化、自动化。本文使用的数据来自本校校园一卡通所产生的交易流水数据，主要包括以下数据见表1。该数据存储在Oracle数据库中，通过python接口程序读出去除隐私数据后，以文本格式文件分日期存放。

2.2 基于scikit-learn的数据挖掘

scikit-learn是基于python语言的一个开源的机器学习工具包。它通过python的模块NumPy， SciPy和Matplotlib等库实现高效的算法应用，并且涵盖了几乎所有主流机器学习算法，包括回归 （Regression）、降维 （Dimensionality Reduction）、分类 （Classfication）、聚类 （Clustering）等。Sklearn 采用流水线机制实现了对全部步骤的流式化封装和管理，因此代码量显著减少，非常适合数据挖掘算法原型开发。sklearn中的大部分函数可以归为估计器（Estimator）和转化器（Transformer）两类，通过pipline可以很方便地建立大数据处理流程。

2.3 基于python平台的可视化

Django 是一个由 Python 编写的一个开放源代码的 Web 应用框架。Django 开发之初就严格按照 MVC 设计规范，引入MVC设计模式。Django负责处理网站开发中通用的部分，因此利用django可以以专注于编写应用程序，非常适合本项目可视化这种低强度的web应用。

对于图表的显示，项目采用EChart js图标库，该库是纯Javascript，兼容大部分的浏览器，底层依赖轻量级的Canvas类库，可以利用js和ajax技术可以非常容易地提供生动、可交互，数据可视化图表。图表定义采用xml能满足该平台的需求，而且有充分的可扩展性。

对于地图部分，为了以后拓展校园地图方面的进一步应用，项目采用了mapbox gl js作为地图支持框架。Mapbox GL JS有着出色显示效果的前端地图框架，并且其前端代码是开源的，实现了丰富的交互功能。Mapbox的地图，可以多层叠加，采用geojson等可以非常方便对关注地点进行自定义。系统通过构造校园平面图可以方便在其上实现丰富多彩的数据展示和交互功能。

2.4 基于docker的计算平台部署

数据挖掘是一项数据驱动的技术，围绕数据各个部门可以根据不同的需求开发各自的应用。各个应用产生新的数据又可以驱动新的应用产生。云计算技术[7]的伸缩性为数据挖掘提供了很好的支撑。本部门已经实验性搭建了基于Docker的云中心及管理平台，Docker的使用使应用开发者更加关注于解决问题，无需考虑软件兼容、系统发布部署的问题。管理中心提供了标准的管理端口、服务也采用REST进行标准化，也有利于应用间的数据共享和利用。利用该技术可以快速搭建测试基于数据驱动的大数据应用。

3 基于一卡通的数据挖掘及可视平台设计

3.1 系统总体构架设计

基于一卡通的数据挖掘及可视平台数据挖掘平台基于 docker分布式部署的python大数据计算平台。平台满足从一卡通的业务数据的历史和运行数据挖掘出数据中隐含的有价值信息。随着采集的深入，数据量巨大，配置在docker上可以使系统具有高度的可伸缩性，充分合理地安排运行资源。系统主要由数据仓库模块、数据挖掘和统计分析模块、可视化模块组成。图1给出了大数据挖掘平台系统模块结构：

首先数据总线接口：接口模块的功能为从一卡通系统中采集实时交易运行数据，然后历史存储在本地数据文件型数据库中，既可以保证了交易数据的实时性也可以满足隶属数据的挖掘需要。基于python的数据挖掘平台：采样python为开发工具，python 以 sci- learn-kit 为数据挖掘工具，Django为web服务框架能够较快地实现系统原型满足低强度的应用。基于echart mapbox的可视化界面：基于B/S结构的web富客户端，基于mapbox.gl和echart等js库实现丰富可视化功能，以GIS以校园地理图为背景，然后获取终端位置信息，图层叠加后即为所需的终端设备信息显示。

3.2 校园一卡通可视化主题

1）实时交易可视化：校园卡的刷卡记录能反映出食堂、实验室、门禁宿舍、浴室等校园热点区域的人流量情况。通过将校园卡用户的消费数据转换成具有人流量信息和地址编号的时间序列，利用实时交易数据可以对当前用卡情况进行可视化展示。在地图上可以显示出热点交易信息，用多种echart图表显示数据。

2）人流量预测[8]可视化：利用历史数据输入到各种预测模型对模型进行训练，获得模型之后可以利用实时数据对给定时间段人流量进行预测。本文结合大量历史数据，对数据进行预处理后，载入人流量预测模型进行训练，从而进行人流量的预测。相对于以往采用计算机视觉的方法，该方法更能适合校园基本固定人群和人群行为模式相对固定的特点，还能利用该特点提高预测精度。进一步结合教务课程安排信息和教室位置信息可以估计出人流量通过的路线和拥堵情况。进而对特定时间特定地点的人流进行预测。图2给出了实时交易及让人流量可视化的效果。

3）多个系统数据联合展示：借助地图显示平台对地理位置相关的数据进行综合显示。

下图为该基于一卡通的数据挖掘及可视平台效果。中间为校园一角，实时交易热点区域用不同颜色显示，地图可以缩放，变换视角，配合mapbox的漫游交互，设定路线可以在地图中浏览数据，周围为echart实现的实时统计数据图。

4 结束语

随着智慧校园的建设，校园卡应用数据对智慧校园的建设及大数据深度应用有着至关重要的作用。本文采用python平臺采用数据挖掘技术模块和web服务模块设计和实现了一卡通大数据挖掘及可视化系统。并进行了实时交易及人流量预测可视化。实验证明该系统能够帮助多角度多形式地了解一卡通系统运行状况。下一步还将对数据关联、数据融合、可视化主题做进一步优化。

参考文献：

[1] 徐强.向智慧化迈进——高校智慧校园一卡通建设研究[J].科技经济导刊，2021，29（16）：29-30.

[2] 倪国英，石宇.大数据在高校后勤信息化建设中应用与探究[J].产业创新研究，2020（6）：142-143.

[3] 牟国栋，杨洪万.智慧校园环境下校园一卡通数据管理的分析与探讨[J].信息技术与信息化，2021（3）：209-211.

[4] 迎梅.大数据时代的数据挖掘与应用[J].网络安全技术与应用，2021（6）：51-52.

[5] 冯艳茹.Python语言在大数据分析中的应用[J].电脑知识与技术，2020，16（24）：72-73，80.

[6] 卢弘杰.大数据可视化与可视分析[J].电脑知识与技术，2021，17（8）：27-29.

[7] 杨武.混合云平台的设计及实现[J].电脑知识与技术，2021，17（11）：77-78.

[8] 谢贵才，段磊，蒋为鹏，等.多尺度时序依赖的校园公共区域人流量预测[J].软件学报，2021，32（3）：831-844.

【通联编辑：谢媛媛】

收稿日期：2021-06-20

基金项目：四川省教育厅科研项目：面向校园的大数据系统及云技术研究（项目编号：17ZB0016）

作者简介：姚莉娟（1978—），女，四川成都人，讲师，学士，主要研究方向为大数据处理技术、网络安全。