开放动态的校园智能感知与决策支持系统设计与实现

孙小影 张晓林

摘   要：智慧校园产生大量管理数据，如何利用数据分析的方法帮助管理人员提升管理水平，是大学决策者关注的热点课题。文章以上海科技大学为例介绍了高校数据现状和数据使用面临的问题，利用大数据技术设计与实现了智能决策支持系统，该系统从平台建立、数据采集，到数据处理及业务的深度挖掘、数据的可视化呈现，完成了综合校情、科研活动、本科生教学、研究生概况、学生行为、人事主题、资产主题、院所画像、学生个人画像、教授个人画像等10大主题，411个分析场景，为学校的管理层、决策层提供了科学的决策依据。

关键词：决策支持系统;大数据;商业智能;微服务

中图分类号：G40-057 文献标志码：A 文章编号：1673-8454（2021）05-0072-04

一、建设背景

学校的业务管理，尤其是决策层面的管理，迫切需要各类数据进行支撑。数据代表学校业务运行的实际状况，只有结合实际，才能清楚地了解业务并做出合理判断。

从决策层面出发，学校的定位和建设规划、数据，尤其是历史进展过程的业务数据，能够切实反映业务运行是否符合决策层面设定的发展路线。而在具体的业务管理层面，数据也能够切实反映具体业务发展的健康状况。数据现状与数据使用需求是否契合，是数据管理面对的重要问题。[1]

随着信息化建设持续开展，学校管理及各部门业务数据日益增多;学校日常工作平稳进行，发展规划持续改进;学校管理决策层面对学校各项工作开展情况持续关注;学校各管理部门对于日常工作的开展及决策急需有效的数据支撑。基于学校的教学、科研、管理、发展和师生生活的多维、实时数据，以仪表盘和战情室方式，提供综合校情分析、专项分析、预警分析、对标分析以及定制分析（灵活选择数据项进行组合分析），支持学校智能化决策。[2]

因此，平台建设应具备以下特点：满足决策分析需求不断变化的特点;支持数据来源多元化、结果组织多样化、数据不断积累的特性;支持分析功能的开放性、可定制要求;有很强的安全性;权限可灵活设置。[3]

二、系统设计

1.高校智能决策支撑平台的业务架构设计

高校业务运行及信息化建设过程中产生的大量客观、真实、有效、实时的数据，正是学校业务运行历史及现状的真实写照，也是业务决策的有效支撑。而建立有效的数据平台，在此基础上进行数据的适当处理，面向不同的分析场景提供合适的数据，同时以更易理解的可视化图形方式进行数据呈现，是将数据应用于业务决策支撑的有效方法，如图1所示。

（1）数据平台的建立

鉴于数据类型、来源的多样性，需要建立健壮、稳定、有效的数据平台，用于适应不同来源、不同类型数据的接入及存储，规范数据质量，进行数据清洗，进行数据计算及处理，以及提供面向各类数据处理、挖掘及数据展示的数据接口。

（2）数据的处理及业务的深度挖掘

数据处理和挖掘的核心目标是在本来独立的业务数据间建立关联，探索业务的投入和产出，以及业务和业务之间的因果关系，寻找业务运行的潜在规律，这是智能决策支撑平台的核心价值。

高等院校的建立，必然有其定位及发展方向的规划，决策层面制定的短期、中期及长期发展目标，如何被拆分到招生、教学、科研等下级业务中，以及在业务层面如何被执行，将真实地反映在业务运行数据中。而借助数据的历史积累以及数据间业务关联的贯通，将使数据反哺到业务决策及执行的过程中。

（3）数据的可视化呈现

數据可视化的主旨在于以图形化的手段将数据以更易懂的形式提供给数据使用者查看，提高数据的可读性，更容易将用户视角聚焦在关键性的数据及指标上，使业务决策便于抓大放小。

2.高校智能决策支撑平台的技术架构设计

决策支撑平台技术架构需要充分满足对平台业务结构的支撑，从数据采集、数据存储，到数据挖掘、数据展现，要体现决策支撑平台的可靠性、健壮性和灵活性，以业务架构为基石，平台的技术架构由下而上分为5层。结合众多先进的技术理念和建设方法，充分发挥数据价值，为高校决策提供高效的数据支撑，如图2所示。

（1）数据采集

数据采集层，即利用开放的、经过广泛实施验证的数据采集工具，建立符合数据平台要求的数据抽取及抓取平台，它应该符合开放性、普遍性、健壮性、自动化四点要求。按照目标数据的更新特点，数据采集平台应支持对不同数据源抓取的自动化，数据抓取频率、机制都应可配置。

（2）数据存储

数据存储层，需要对采集层抓取的各类数据进行存储，数据类型主要分为结构化数据、半结构化数据及非结构化数据三种。结构化数据可以利用常规的数据库进行存储，如Oracle、SQL或MySQL等，而半结构化或非结构化数据通常以文件的形式进行存储，需要引入文件系统（NFS），以提高文件的可读性和可操作性。而对于海量的大数据而言，则需要进一步引入HDFS来支持更高效的大数据操作。

（3）数据处理

通过数据处理技术，规范数据标准，建立统一的数据规范，贯通数据蕴涵的业务流程。在此基础上，深度挖掘数据价值，采用诸如数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术，突破基于对象的数据连接、相似性连接等大数据融合技术，提供用户兴趣分析、网络行为分析、情感语义分析等面向领域的数据处理，实现数据价值的高层级利用。

（4）数据缓存

数据缓存技术相对于直接从传统数据库中抽取数据的方式，有效提高了数据读取的速度，可大幅提升数据读取的效率，进而在一定程度上提高了数据展示的速度。对于决策支撑的要求而言，数据的实时性在一定程度上并不是平台关注的重点，因此，按层级缓存数据，提高数据展现的效率，具有很强的必要性。

（5）数据接口

无论是面向数据展示，还是将数据有条件开放，都离不开数据开放接口。存储在数据平台中的数据，来源于学校各业务环节，具有高度的敏感性。直接对数据平台进行数据请求，将使数据安全受到严重挑战。在数据和使用者间建立数据接口，可通过用户鉴权、白名单、数据加密、数据脱敏等技术，有效控制核心敏感数据的访问。另外，面向分析的数据接口可以有效分离数据，不同层级的访问请求只可以通过接口获取相应层级的、经过处理的数据结果。

（6）微服务

微服务的基本思想是围绕业务领域来创建应用。而面向分析的数据采集、数据处理及数据接口，可基于微服务进行有效的业务分离，相互之间的松耦合性使不同分析领域的数据流转流程相互独立，单一分析场景的变更，不会对其他分析领域产生破坏性影响。

（7）数据展示

高效的数据展示技术利用图形、图像处理、计算机视觉以及用户界面，通过合理表达、建模将复杂的数据结构解释成更易于理解的图形化界面，使用户视角快速聚焦到需要被关注的业务状况中。同时，利用成熟的行为分析与校级管理智能决策系统（以下简称BI）技术，可使用户自行选择数据，针对独特的分析领域进行独立自主的自定义分析。[4]

三、系统实现

上海科技大学BI项目属于学校智能化信息系统建设的组成部分，系统的实现立足于学校各业务系统、主数据系统及数据交换平台，实现各类数据的采集、清洗、处理及归类，并提供开放的数据采集平台，支持对新增数据源的采集。在数据分析层面，充分结合学校各业务条线的日常工作对数据分析的需求，以及学校决策层面的宏观视角，实现自上而下、逐层细化的多层级分析场景，满足不同用户的分析需要。在数据可视化层面，结合多种数据展现工具，提供优秀的图形化数据展示以及快速高效的自定义分析。

1.实施方法论

（1）以业务分析需求为基础进行分析场景规划

BI系统的建设目标是为学校决策层及各级业务部门提供业务决策的可视化数据支撑，因此，BI系统最终要呈现给终端用户进行使用的功能及内容，需要最大限度地贴合使用者的愿景及期望，从而使系统能真正起到辅助业务及决策的作用。

BI系统从建设伊始，就深入到学校各业务部门，了解业务、相关信息系统及数据，在此基础上，经过多轮原型设计、原型确认，每个场景的展现形式、分析维度、数据单位、筛选条件乃至于配色方案，都经过和业务部门相关人员的多次讨论，最终确认各个主题、各个分析场景的最终需求。

在上海科技大学BI系统的建设范围内，最终确认了综合校情、科研活动、本科生教学、研究生概况、学生行为、人事主题、资产主题、院所画像、学生个人画像、教授个人画像等10大主题，共计411个关联分析场景，充分满足了校级层面及学院层面教学、科研、人事管理、学生管理及资产管理等业务的数据分析需求。

（2）以信息化建设现状为基础进行分析场景实现

辅助决策的分析场景实现归根结底是要对数据进行分析并将数据进行可视化呈现，因此，在进行具体的系统实现之前，需要充分了解数据分析所需的数据结构、数据来源、数据规范及数据更新频率。

通过与学校各业务部门相应信息化系统负责人的充分沟通，BI系统建立了与学校14个信息化系统的直接或间接关联，实现6大业务共44个具体业务的对接，基本覆盖了学校教学、科研、人事、资产与学工的业务分析需求。

（3）以开放的姿态迎接多层级、多维度的需求变化

在BI系统的前期建设中，主要针对学校教学、科研、人事、资产与学工进行深入的數据分析，但BI系统并非一成不变的静态系统。随着学校业务运行活动的开展、信息化程度的日益成熟，各类数据越来越趋向规范且越来越丰富，对业务数据进行分析的需求将会深入到学校各业务领域。因此，BI系统应该是一个开放的系统，能够按照需要，可以增加针对新业务的、从数据对接到数据可视化呈现的完整的需求模块。

2.技术实现

BI系统通过Kettle进行数据传输，把需要的业务数据同步到智能决策系统的底层库，再把处理过后的数据传输到主题库，前端通过ECharts和Tableau进行图形化展示。本系统的接口皆使用密钥进行加密验证，保证接口路径即使泄露也不会被随意调用，如图3所示。

（1）数据抽取

数据采集模块采用高度松耦合的模块设计理念，面向不同类型的数据来源与数据采集需求，基于标准化的数据规范，可做到对新数据源、新采集需求的即时配置，即插即用，不对系统内其他采集任务产生影响。

对于非标准化数据采集需求，也可通过适当配置与少量适应性开发，快速接入使用，且已配置的非标准化数据规则将自动被系统记录，对于具有相同数据结构特性的不同数据源，可直接套用，无须重新配置与开发。

（2）数据存储

MySQL集群用于存储采集到的结构化数据，并定时向Hadoop集群中同步，形成数据备份，日志、文件等非结构化数据存储于Hadoop集群中。利用MySQL和Hadoop两个数据集群构建平台中心数据存储，保存所有采集的数据，且按数据维度归档。数据的修改、清洗、存储功能也在此处执行，如图4所示。

（3）管理平台

基于.Net快速开发框架搭建平台管理后端，快速构建主题、嵌入场景，具备前端访问资源的权限管理，有效保障数据访问安全。[7]该平台具有以下四方面特点。

第一，任务管理。有效管理数据采集、数据治理的任务，使数据采集过程定时自动运行。

第二，权限管理。通过建立用户、角色及系统资源的关联关系进行权限控制，分为功能操作权限、分析场景访问权限及数据访问权限。

第三，日志管理。通过记录日志的方式有效监控系统运行状态及用户访问行为。

第四，可视化配置。通过拖拽的形式配置可视化页面展示的内容、布局、配色。

管理平台的系统界面如图5所示。

（4）可视化层

可视化层使用Tebleau实现报表快速创建及部署，丰富的ECharts前端插件提供了更优秀的前端报表展示。[5]

四、结语

上海科技大学智能决策系统目前已经完成了10个分析主题、411个分析场景。技术上采用松耦合的分层结构进行总体架构设计：在数据处理层，采用Spring Cloud微服务架构，支持数据清洗、数据处理模块的热插拔和平滑扩容。数据展示层，支持自定义开发、自定义配置的分析图表以及其他外部系统图表的嵌入。实现了有效决策辅助的全方位数据分析平臺，实现了数据的自动抓取、自动统计、自动分析的功能，符合学校整体信息化系统建设的应用性要求。后台管理实现的功能包含数据采集、数据清洗、数据处理、主题库管理、主题管理、场景管理、场景下钻关系管理、轮播主题管理、计划任务参数配置、图表接口配置、业务参数配置、用户、角色配置、操作日志、系统日志等。实现了统一身份认证，可以单点登录。在安全方面做到了高等级防护：纳入到WAF防护系统，保护本系统各种内容访问的安全;增加https访问通道，为数据进行加密传输，避免通过访问通道外泄数据;增加反向代理，隐藏系统实际物理位置;隐藏实际访问路径，使系统可被访问资源对用户透明;增加访问日志功能，记录访问日志，确保对系统的任何操作有迹可循;实现本机备份、异机备份、异地备份。

整个系统以学校和院所部门的决策需求为出发点，通过对大数据的智能挖掘分析和精准把控，支持全方位校情感知、资源配置决策，辅助提升学校在教学、科研、管理效能等方面的工作。

未来将在此基础上继续扩充分析主题，增加IT数据分析，增加综合绩效评估、智能关联分析、异常情况预警、个性化分析配置、事件回溯分析等功能。

参考文献：

[1]樊铁成，蒋磊宏，苏伟等.高等学校智慧校园应用案例集（第一辑）[M].北京：清华大学出版社，2017.7：146-155.

[2]姚乐，朱启明.赋能大数据教育——全国高校大数据教育教学经验谈[M].北京：电子工业出版社，2018.3：46-54.

[3]刘峰，张晓林.数据管理计划构成规范及其可操作数据监护模型研究[J].数据分析与知识发现，2016（1）：11-16.

[4]黄源，蒋文豪，徐受蓉.大数据分析： Python爬虫、数据清洗和数据可视化[M].北京：清华大学出版社，2020.1.

[5]陈为，沈则潜，陶煜波.数据可视化[M].北京：电子工业出版社，2019.3.

（编辑：王天鹏）