高校实验室大数据可视化平台研究

陈镭 刘玉 杨琴

摘要： 高校实验室各类应用系统中积攒了大量的业务数据，如何从这些沉睡的数据中发现具有决策价值的信息变得越来越重要。在开源系统Metabase的基础上，设计实现了一套实验室大数据可视化分析系统，使数据成为易于展示的文字、图表或图形形式，以便对这些数据进行深层次观察和分析。以在线课程可视化子系统为例，实验室大数据可视化分析系统的使用，可更直观地为实验教学、实验室管理提供决策依据。

关键词： 大数据; 可视化; Metabase; 实验室管理

中图分类号：TP311          文献标识码：A     文章编号：1006-8228（2020）11-43-03

Abstract： There is a large number of business data accumulated in various application systems of university laboratory， how to find the information with decision value from these sleeping data becomes more and more important. Based on the open source system Metabase， a laboratory big data visualization analysis system is designed and implemented， which makes the data easy to be displayed in the form of text， chart or graph， so as to be better observed and analyzed in depth. Taking the online course visualization subsystem as an example， the use of the laboratory big data visualization analysis system can provide experiment teaching and laboratory management with a decision-making basis more intuitively.

Key words： big data; visualization; Metabase; laboratory management

0 引言

高校实验室在完善和优化本职业务功能，提供高质量服务的同时，实验室各类应用系统，如实验室管理系统、门禁系统、监控系统、机房预约系统、电子班牌系统等信息化系统中，积攒了大量的业务数据。数据的周期、容量、规模和类型都在不断增长。如何从这些沉睡的数据中发现具有决策价值的信息变得越来越重要。高校实验室应当把数据从单纯的存储向分析、挖掘升级转变，通过对各级各类教育教学、管理系统数据的采集、关联、分析等方法，将数据转化为潜在的知识，构建高校实验室大数据可视化与决策分析体系[1-2]，为实验室及学科建设发展服务。

大数据、人工智能时代的到来，使这些设想变得可能。可视化技术可以将原始数据转变成易于展示的文字、图表或图形的形式，是体现数据关联性价值最直观的方式。本文利用大数据可视化技术，结合实验教学、实验室管理各类具体业务需求，在开源系统Metabase的基础上，设计并实现了一套实验室大数据可视化平台系统。力图对实验室数据进行深入的探索和分析，多维度、可视化的展现数据背后的状况，为决策分析提供借鉴参考。

1 Metabase介绍

Metabase是一个免费、开源的数据可视化工具，安装配置环境简单，容易上手，操作门槛低，不会SQL语句也能使用[3]。支持对外共享，权限控制，数据分析人员首先和数据库建立连接，然后通过创建问题（Question）的方式来提炼数据，再通过仪表盘（Dashboards）呈现给用户。图1展示了Metabase可视化案例中，数据的转换过程。

Metabase系统进行数据分析的一般流程如下。

⑴ 环境配置。在完成Metabase的安装、简单的配置之后，启动Metabase，默认运行端口为3000，打开链接http：//your_host：3000。首先创建一个初始化的管理员账户，可以配置邮箱，通过邮箱给指定用户发送通知，邀请新用户，重置密码等。

⑵ 連接数据库。依次点击右上角设置-管理员-数据库-添加数据库，选择Database type（支持PostgreSQL、MySQL、Druid、SQL Server、MongoDB、Spark SQL、BigQuery、SQLite、H2等数据库），按照提示填入数据库信息再点保存即可连到数据库。

⑶ 创建新问题（Question）。点击“创建问题”，可以选择简单查询模式、自定义查询模式、原生查询模式（SQL语句），根据不同的场景选择不同的模式。然后选择数据集，设置过滤条件、浏览视图、聚合条件，在此基础上，对数据进行一些简单的计算后（计数、求和、求平均、最大值、最小值等），获取结果集。

⑷ 问题可视化。Metabase在查询结果后，默认的是Tables的表现形式。点击“可视化”可以把处理好的数据转换为图形（线性图、条形图、环形图、散点图、漏斗图、地图），同时可以对图表的格式，图表X轴、Y轴显示的标签进行修改和设置。

⑸ 添加到仪表盘（Dashboards）。保存完问题后，可以将保存成功的问题添加到中仪表盘中，仪表盘中数据会随着数据库原始数据的变化自动更新。所以日常做的日报和一些需要重复性处理的实时简单分析图表，都可以放进仪表盘中。

⑹ 分享链接。通过设置可以定时将选定的问题发送至指定邮箱，使用户及时收到最新的可视化数据，也可以手动分享公开链接。

2 系统分析与设计

通过与身处教学管理一线的教师、管理人员交流，开展调研，了解他们对实验室大数据可视化的具体需求，并不断的补充完善。本文设计实现一套基于可视化的实验室大数据决策分析系统，为实验教学、实验室管理提供决策依据，目前主要系统功能模块如图2所示，包括在线课程可视化，实验教学可视化，机房管理可视化，门禁系统可视化等。

⑴ 在线课程数据可视化分析

新冠肺炎疫情期间，按照停课不停教、停课不停学的统一部署，学校采用线上直播教学的方式进行网络授课。每天直播系统中都会保存大量的直播课程数据。通过可视化分析的方式，直播课程开展状况一目了然，如查看某天的直播课程数、上课学生数、总计学习人次、累计开课教学班、开课教师总数、总计直播课程数、每天按学院开课数、教师数、学生数、开课比例、哪门课程开的最多、哪位老师上的课最多等等指标。

⑵ 实验教学数据可视化分析

实验教学数据可视化分析主要包括实验室排课、调课、课时、课表统计等方面[4]。利用好实验教学可视化系统，管理人员可以根据实验内容和教学设备条件、空余时间，按课程、教师、周次、节次、起始时间、上课人数安排实验室，做出具体安排后形成实验室课表，并发放给任课老师、实验室机房管理人员、学生。而实验教学管理系统可以与门禁管理系统结合，通过与校园一卡通对接，读取一卡通系统的师生信息，实现教学实验分批、分组智能安排、考勤签到、实验过程跟踪监控及实验上课信息汇总统计等。

⑶ 机房管理数据可视化分析

实验室机房管理可视化分析，帮助管理人员实时查询实验室运行信息、机房管理系统信息、教师学生的身份和课程信息等[5]，根据需要授权不同用户的使用权限。用户可以随时随地查询实验室开放信息、预约信息、实验室软硬件配置信息、近期内课程安排信息等[6]。机房管理人员可以实时无缝掌控实验室及相关范围内的数据，教师、学生也可以依据自身需求关注实验室信息以便合理安排行程计划。

⑷ 门禁系统数据可视化分析

门禁系统数据可视化分析，主要对教师、学生、机房管理员等人员的刷卡记录进行分析，从中可以发现一些有意思的数据。例如当天最早刷卡时间，最晚离开刷卡时间，某些机房通常是由哪些管理人员刷开的，进而可以分析出员工的考勤情况，从学生的刷卡记录中很容易的分析出本门课程的出勤率等。

3 在线课程可视化子系统

本节以在线课程可视化子系统的部分功能为例，通过自定义查询和编写个性化SQL语句的方式，展示了基于Metabase的可视化系统的功能效果。

在Metabase中创建问题的方法有三种，简单查询模式、自定义查询模式和原生查询模式（SQL语句），其中原生查询就是通过个性化的编写SQL语句进行相关信息的查询，如果功能需求条件不是很复杂，通常自定义查询已经能满足用户需求。

⑴ 某一天直播课程数，其SQL语句为：

select count（distinct "dbo"."zxkbResult"."合班号"）

AS "count" FROM "dbo"."zxkbResult" WHERE

"dbo"."zxkbResult"."finishDate" = {{search_date}}

可视化效果如图3中所示，2020年6月1日当天的直播课程数为433门。

⑵ 某一天按学院分类统计的开课数据，其SQL语句为：

select "dbo"."zxkbResult"."开课学院" AS "开课学院"，

count（distinct "dbo"."zxkbResult"."合班号"） AS

"count"， count（distinct "dbo"."zxkbResult"."教师编码"）

AS "count_2"， sum（"dbo"."zxkbResult"."合班人数"）

AS "sum"

FROM "dbo"."zxkbResult"

WHERE "dbo"."zxkbResult"."finishDate"={{search_date}}

GROUP BY "dbo"."zxkbResult"."开课学院"

ORDER BY "count" desc

可视化效果如图4中所示，2020年6月1日当天，外国语学院的开课数最多，其次为经济学院，最后为实验中心。

⑶ 各学院线上课程占总课程的比列，其SQL语句为：

select bb."开课学院"，count（合班号） AS "所有课程数"，

count（合班号2） AS "已开线上课程数"， count（合班号2）*1.0/count（合班号） AS "开课比例" FROM （SELECT "dbo"."ZXKB"."合班号" AS "合班号"， "dbo"."ZXKB"."开课学院" AS "开课学院"， "dbo"."ZXKB"."课程名称" AS "课程名称"， "zxkbResult"."合班号" AS "合班号2"， count（*） AS "count" FROM "dbo"."ZXKB"

LEFT JOIN "dbo"."zxkbResult" "zxkbResult" ON "dbo".

"ZXKB"."合班号" = "zxkbResult"."合班号"GROUP BY "dbo"."ZXKB"."合班号"， "dbo"."ZXKB"."开课学院"， "dbo"."ZXKB"."课程名称"， "zxkbResult"."合班号"） AS BB group BY "开课学院" order BY "所有课程数" desc，"已开线上课程数" desc

可视化效果如图5中所示，经济学院开课数最多，其次是外国语学院，而且这两个学院线上课程占总课程的比列达到100%，开课数最少的学院为国际交流学院，且线上课程占总课程的比列不足50%。

4 结束语

本文在利用在开源系统Metabase的基础上，设计并实现了一套高校实验室大数据可视化分析系统，对实验室各类应用系统中积攒的业务数据进行图形化展示，方便为分析决策提供依据。从运行的效果看，该可视化系统不仅功能强大、界面美观，而且适用性广泛。下一步的工作将拟整合可视化和大数据分析建模两大功能，构建功能更加完整的高校实验室大数据挖掘分析平台。

参考文献（References）：

[1] 张阳.大数据可视化统计分析通用平台的设计与实现[D].北京交通大学硕士学位论文，2019.

[2] 李馥娟.大数据实验室建设与应用研究[J].实验技术与管理，2018.35（5）：243-246

[3] 苏米.Metabase使用教程[EB/OL].https：//zhuanlan.zhihu.com/p/52085283，2018-12-11.

[4] 李菁.高校實验室综合管理系统的设计与实现[D].东南大学硕士学位论文，2016.

[5] 张凯，宋慧宁，杨再明.高校智慧实验室的构建路径研究[J].数字教育，2019.6：30-35

[6] 任本旺.面向多元化应用的实验室管理及信息服务平台研发[D].济南大学硕士学位论文，2016.