薛鹏 刘丹阳 田海杰
[摘要]校园数据服务是一种以数据为驱动的智能化管理服务生态,这也是高校智慧校园的本质。当前高校数据服务的典型困境包括由初期分散的系统建设带来的数据孤岛问题、系统内部的数据质量问题、对待数据资产及数据服务的私有观念问题等。若突破以上困境,需要从数据资产清理、数据质量提升、数据交换平台及主数据库建设等角度出发,在现有数据资产的基础上充分梳理其内容和生命周期,厘清数据质量保障的关键环节,建立数据互通交换的基本模式与平台,科学规划校园数据服务框架。
[关键词]数据服务;共享开放;服务框架
[中图分类号]TP 393.18[文献标志码]A[文章编号]1005-0310(2019)02-0032-05
Abstract: Data service on campuses is a kind of intelligent management environment with a remarkable data-driven feature, which is the nature of intelligent campuses in colleges or universities. At present, the typical difficulties in carrying out data service contain “isolated data island” brought by decentralized construction of information systems earlier, data qualities, the concept of data exclusivity and so forth. A series of procedures might be the effective directions to deal with this situation. They include the data asset cleanup aiming at sorting out the existing data asset, combing the crucial part of data quality assurance and building up data exchange platform as well as its modes, scientifically planning data service framework on campus.
Keywords: Data service; Open sharing; Service framework
0引言
校園数据服务是一种以数据为驱动的智能化管理服务生态,它是原数据供给(Data Provision)、数据虚拟化(Data Virtualization)、数据平台(Data Platform)、数据分析(Data Analytics)的总称[1],覆盖从数据搜集、处理、复用、分析到业务洞察等多个层次,是继网络服务、应用服务之后,DT(数据技术)时代的核心。高校智慧校园的本质就是数据服务。对于高校数据服务的实施,不仅要面对信息化建设的原始积累,面临着观念、方法等门槛的考验,同样还要面对其实践中的一些典型问题。
1校园数据服务之困境
高校从基础网络建设到信息系统建设,再到当前愈发清晰的数据服务之大趋势,这个变化轨迹一方面展现了信息技术的迅猛发展、服务应用的持续扩张,但更重要的是蕴含着诸多高校对于信息化认识的深化与进步,不断形成带有时代印记的迭代式的认知基础,这正是校园信息化发展的根本。
校园数据服务的关键是达成数据支撑核心业务的目标,进行“本土化”设计,具有与高校实际业务的黏合度紧、数据服务个性化程度高等特征,这决定了校际间难以有成熟范本可供参照或模仿。同时更棘手的现实问题是,高校面对的多是已布满业务系统的复杂的信息化现状,基本不具备拥有“从零开始”的乌托邦式的机遇来重新规划。数字校园建设之初,高校内运行的业务系统常常是由职能部门各自为战开展建设,一些业务系统的设计仅考虑了其独立业务的自身需要,由此形成了不少数据孤岛,业务系统之间数据难以共享。业务系统的独立建设形成了一道道隐形的数据围墙。由此,我们经常遇到基础数据重复采集、相近主题的业务数据存在交叠、数据应用缺失等具体现象,对开展全校范围的数据服务制造了不少障碍。同时,单一业务系统内的数据也出现数据不准确、不完整或更新不及时等情况,由此造成统计分析的数据结果难以使人信服,影响高校决策者的分析判断。若此类现象出现在跨系统的数据应用时,数据失真可能会进一步放大。数据本身的“公信力”低会严重影响高校数据服务的健康发展。
此外,观念的藩篱也是一道亟待跨越的门槛。近年来,高校的一些职能部门将常规业务数据习惯性地视为私有财产,自我生产和自我消费。在搭建数据接口、开展数据同步等工作时配合度不高。在非保密要求下,甚至还有自建独立机房的现象。以上情况明显与“互联网+”的共享开放等特质不相符合,不仅造成重复投资建设,且与云计算、大数据等新兴应用也渐行渐远。若相关单位能更多、更充分地享受到数据服务的红利,那么各级决策者才可能逐步形成“数据需从独享为主逐步过渡为共享常态”的观念,才可能将各自的业务放到全局性数据服务的大格局下去思考。但现实情况也许是信息化建设的历史积累难以为大家提供准确、便利的数据服务,而反过来大家也就不易形成打通共享的行动动力。
如何在“数据为大”的时代实现新旧生态的平稳过渡是确需破解的难题。本文从实践操作层面,尝试解答在数据服务之路上不可回避的典型问题。
2校园数据服务之关键问题与对策
校园数据服务建设主要面临两类情景:一类是处理“新”:对于新建业务系统等新需求,采取“充分从既有成果挖掘”的原则,通过在现有业务系统或数据大平台上增补功能来满足。即便决定建设,也需按照系统架构、共享接口、数据格式等规范要求下谨慎开展,形成信息化建设全校“一盘棋”。另一类是利用“旧”:面对既有的信息化建设成果,从支撑学校关键业务的角度入手,集中力量打造少数几个数据服务试点,以符合数据服务需求的方向进行再规划与调整,这也是数据服务建设的重点和难点,同样是化解上述困境的逻辑起点。下文将以数据服务实践为主线,集中探讨第二类情景。
2.1数据资产清理
高校数据往往分散于多个业务系统之中,或常进行业务数据的局部整合。全面“摸清家底”能化零为整,充分利用学校长期积累的数据资产。按业务大类,系统地厘清学校关键业务系统及其承载的全部数据资产,形成本校的数据资源目录,以准确掌握数据资产全貌,数据资源目录如表1所示。在此基础上,依据数据资产属性的逻辑关系,可将其划分为基础数据(主数据)、主题数据及部门数据3种类型。其中,基础数据是高校多部门履职的共同需要,如师生基本信息;主题数据指教务处、学生处等高校核心部门有业务协同需求的数据,如以教学管理为主题的相关跨系统的联动数据;部门数据是单一部门履职形成的业务数据,如实验室开放系统所采集的数据。
此外,提炼已建的各个业务系统所能提供的应用服务,按服务对象、内容、局限及服务前置条件等信息项,形成可提供服务目录,以便为数据服务的规划提供客观依据,可提供服务目录示意表如表2所示。最后,梳理列出能供业务系统使用的校级应用接口及有共享应用性质的数据类平台。
2.2数据质量关键点
许多学者倾向于把数据质量视为一个业务系统表达的数据视图与客观世界同一数据的距离,它贯穿于数据全生命周期各个阶段[2]。可靠的数据将提升数据在使用中的价值。面对在用的信息化建设成果,把好数据的入口关是第一步也是最重要的一步,如同于水源。因此,整个校园的数据表示和采集需要按照统一的标准进行定义,以解决可能存在于业务系统之间标准不一致的矛盾。
根据教育部2012年颁布的《教育管理信息教育管理基础代码》相关标准,构建数据子集图并修订对应的元数据项具体编码标准,主要包含元数据名称、数据类型、数据资源格式、取值空间及便于管理的相关代码标识等[3]。我们在实践中可先从决定共享互通的基础数据和主题数据切入与实施。后续各业务系统的建设与调整则需严格按照修订的数据标准执行,防止自行制定相关标准。
其次是针对数据采集问题的再规划与调整。数据采集是数据质量的入口关,清理出的数据资产是数据采集与再规划的重要参考。其一,为确保数据的一致性,逐一筛选出多渠道采集的数据项,并确定此数据项的唯一来源的业务系统。其二,分别针对上节三类数据属性的数据,细分为不同的数据类(这种细分的数据类将作为构建逻辑独立的主题数据库的基础),初步形成以数据类与已有业务系统具有关联关系的C-U矩阵,矩阵中数据一次一处采集、多次多处使用。新建业务系统需要划清数据采集的边界,并不是360度采集每一系统某个业务的全部数据,更不能超出业务范围采集,而只是采集业务核心数据,相关外围数据直接从校公共数据平台中抽取。在用系统则需适当调整功能,重新规划采集的数据项,去除不必要的重复采集。
2.3数据交换平台
数据交换平台是用来对各业务系统产生的公用数据进行收集、存储及管理,以便各业务系统实现数据共享以及各业务系统数据之间实现交换的公共操作平台[4]。构建学校全局性的数据交换平台,它是数据共享的中枢,数据交换平台如图1所示。各业务系统与数据交换平台直接对接,既实现了任意两个业务系统之间的间接通信,完成了交叉业务系统的数据共享,又使得数据交换集中拉升至全局层面,增强了数据服务的统筹力。高校的数据来源既包含业务系统中的业务数据,也包含线下业务办理时产生的零散数据。通过业务数据集成接口,将业务系统数据接入,通常使用专门的ETL工具,例如ODI、Datastage、Kettle等。对于没有业务系统支撑的数据,数据交换平台提供数据采集模块,根据需求定义元数据,实现线下零散数据的即时录入或批量导入。为了充分利用既有的信息化建设成果,对其进行“利旧”,需要对已有信息系统中的数据进行详细梳理和共享定义,这也再次彰显出上节“数据资产清理”这一起点性工作的重大意义。
数据接入后需要对其进行清洗和转换,清洗和转换的规则由信息标准和上层数据需求共同决定。数据交换平台同時还要管理数据交换的策略,并对作业进行调度。对共享数据的获取需求,将由数据中心提供,这降低了数据供需方之间复杂的耦合度,提高了数据的规范性、一致性和准确性。
在实践中需特别注意的是,数据交换平台的实施重点在于对信息标准的严格贯彻,由于系统建设得有早有晚,也存在工作过程中记录不规范的情况,所以经常会有数据不标准的状况出现。我们在利用数据交换平台接入数据时,需要仔细厘清数据情况,列出与信息标准的差异,并进行清洗和转换。
2.4主数据及主题数据建设
随着高校数据中心的建设与发展,主数据和主题数据的建设理念日益凸显。
主数据是指在整个高校范围内各业务系统(操作/事务型应用系统以及分析型系统)间要共享的数据。主数据通常需要在整个高校范围内保持一致性(consistent)、完整性(complete)、可控性(controlled),为了达成这一目标,就需要进行主数据管理(Master Data Management,MDM)[5]。主数据不是所有的业务数据,只是有必要在各业务系统间共享的数据才是主数据,比如大部分的业务处理数据、过程数据等都不是主数据,而像描述核心业务实体的数据,比如教职工、学生、课程数据等都是主数据。高校主数据一般是高校内能够跨业务重复使用的高价值的数据,这些主数据在进行主数据管理之前经常存在于多个异构或同构的系统中。由于高校内外对数据的需求日益增长,主数据的建设需要有灵活的扩展能力,支持将新的数据注册成为主数据,以供使用。
主题数据是按照一定的主题汇集多个跨部门业务应用信息而形成,并根据整体业务需求、数据使用频率等情况,明确数据的边界。主题数据以数据中心数据为基础,按照不同的业务主题组织,从而与信息需求相关联。主题数据应设计得尽可能稳定,能在较长时间内为校园信息资源提供稳定的服务。
3校园数据服务规划
在打通校内数据孤岛,形成主数据库、主题数据库的基础上,校园数据服务将成为建设的主要方向,数据服务基础框架如图2所示。校园数据服务分为面向教师、学生、管理者等用户的上层服务,通过数据质量管理反馈给业务系统的下层服务。
在上层服务中,包括综合查询服务、报表服务、统计分析服务、决策支持服务以及数据申请服务。通过统一授权体系,各类数据服务被严格规范并清晰控制使用权限,提供给教职工、学生与管理者。
综合查询服务以教职工及学生的个人画像数据为基础提供,教职工个人画像包括个人基本属性信息、工作经历信息、学习经历信息、职务信息、职称信息、科研信息、财务信息、奖惩信息等;学生个人画像包括学生基本属性信息、选课信息、成绩信息、实践活动信息、奖惩信息等。
报表服务包括周期性固定上报的综合型报表,如高基表、教学质量分析报表等;同时也包括校内各部门及管理者工作所需的定制报表,如学生实践活动参与情况报表、图书借阅情况报表等。统计分析服务以图表结合的方式为业务部门及管理者提供各类数据的统计及相关分析、分布分析等。
决策支持服务则综合数据处理和展示的各种手段,为校、学院、部门各级领导提供综合的数据仪表盘、数据报告等。数据申请服务使数据需求方能够自助申请所需的共享数据,得到审批后,其能够利用共享数据自行定制上述查询、报表、统计等内容。
在下层服务中,数据服务的对象是各业务系统,通过数据质量管理模块,定位业务系统数据的质量问题,将结果反馈到业务系统中,从而帮助业务系统进行数据质量改进。
数据服务框架的重点在于抽取定义服务内容,在立足学校办学定位与发展需求的基础上,针对业务需求,逐一进行规划性的定义。而难点在于数据反馈,需要综合运用技术及管理等手段,将数据反馈纳入全校数据治理大框架下,形成一体化的数据生态环境,才能逐步达成校园数据服务的预期效果。
[参考文献]
[1]闻中,吳桐.数据服务框架[M].北京:中信出版集团,2016:9-10.
[2]蒋东兴,付小龙,刘启新,等.高校数字校园建设指南[M].北京:高等教育出版社,2008:35.
[3]中华人民共和国教育部.JY/T 1002—2012中华人民共和国教育行业标准 教育管理信息 教育管理基础信息[S/OL].(2012-03-15)[2019-03-01]. http://old.moe.gov.cn/ewebeditor/uploadfile/2012/03/26/20120326163241313.pdf.
[4]李强.关于数字化校园数据交换平台建设的若干问题研究[D].南昌:南昌大学,2011:6.
[5]赵飞.基于全生命周期的主数据管理:MDM详解与实践[M].北京:清华大学出版社,2015:17-27.
(责任编辑白丽媛)