高校数据中台中数据管控及服务的研究与实践

潘旭

摘要：本文介绍了高校数据中台实现的技术路线，其中数据监控提供数据结构管控、数据交换管控、数据质量管控、数据安全管控和数据存储服务等通用服务。

关键词：数据管控  数据中台  数据服务

高等学校一直以来使用共享数据中心、统一身份认证和统一信息门户为核心的“三大基础平台”数字校园建设模式，面临数据质量不佳和业务流不健全的诸多问题。采用基于共享服务中台支撑智慧校园建设模式，实现统一技术架构、统一数据存储和统一业务服务，保障数据质量持续提升和业务服务持续扩展成为主流解决方案。

1.数据管控中心数据结构和交换

数据中台中数据管控中心提供数据结构管控、数据交换管控、数据质量管控、数据安全管控和数据存储服务等通用服务。

1.1数据结构管控

基于元数据可视化管理工具，实现元数据建模、信息标准元数据管理、业务应用元数据管理、元数据版本管理、元数据谱系跟踪、代码规范管理和数据照管管理，并形成数据管控制度。主要服务能力包括：元数据配置建模：支持学校按需新建、配置、发布和管理信息标准、业务服务和应用系统的元模型数据结构和关联关系。标准元数据管理：支持查看、导出国家信息标准、行业信息标准和自建信息标准的元数据结构。业务元数据管理：支持查看、导出信息创新业务服务和已建应用系统的元数据结构。数据表维度配置：支持自定义数据中心表维度，

支撑智能图表和智能搜索对表维度的配置  要求。元数据版本管理：定义元数据版本跟踪元数据模型变化，支持不同版本元数据模型之间的对比分析。元数据谱系跟踪：支持元数据血统分析、元数据影响分析、元数据关联分析，呈现元数据在数据中心的上下游关联关系、重要程度和影响范围。代码规范管理：支持国家代码、行业代码和自编代码的编辑与管理，支持自定义代码编码规范。数据照管管理：按学校职能域配置元数据照管归属关系，明晰学校数据照管人员或岗位，形成数据生产、使用、照管、管理数据权责矩阵。数据管控制度：发布和管理数据管理制度和文档，

支持文档的分类、上传、下载、在线查看。

1.2数据交换管控

基于数据交换可视化配置工具，实现数据清洗整合作业建模、多引擎任务调度、集群部署与监控，实现数据在各部门和各应用系统中的共享与交换。主要服务能力包括：数据清洗整合工具：通过图形化界面，采用拖、拉、拽的操作方式，无须编码即可实现数据清洗整合ETL作业的配置。数据清洗整合组件：提供丰富的数据清洗整合组件，提供常用固化的常用清洗模块，提供组件二次开发接口支持自定义数据清洗整合组件。多引擎任务调度：实现多引擎作业调度管理，按

需新增和配置数据清洗整合引擎，实现数据清洗整合任务运行管理，提供批量设置、暂停、恢复、停止、启动ETL作业服务。集群部署监控：支持集群部署，保障负载均衡，实现服务集群管理，可以新增和编辑服务集群和服务器节点，提供集群、节点和任务运行监控，能够监控ETL服务集群运行状态和服务器节点性能指标。异构数据源处理：支持关系型数据库、NoSQL数据库、桌面文本文件、XML文件等各种类型数据库与数据中心对接。数据流向监控：提供数据流向共享关系监控服务，通过数据资源供需拓扑视图监控数据中心数据资源的归属系统和数据表。

2. 数据质量和安全管控

2.1数据质量管控

基于数据质量管控可视化配置工具，实现质量目标设定、校验规则定义、治理任务调度、治理结果反馈、问题数据追踪、质量对比分析和质量绩效考核的闭环质量管控。主要服务能力包括：数据质量治理方法库：提供多个维度的数据治理方法形成学校自己的治理方法库，支持数据唯一性、完整性、有效性、规范性、一致性、稳定性、准确性方面的数据治理，治理方法可以根据学校实际需要扩展。

数据质量治理方案配置：提供数据质量治理方案在线配置工具，可配置数据治理范围、数据治理方法、数据治理周期，实时监控数据治理方案的总体运行状况。

数据质量治理任务监控：实现自动或手动两种方式启动数据治理任务，实时监控数据治理任务运行指标。问题数据治理任务跟踪：实现问题数据治理任务监控与追踪，查看问题数据的维护人、告警数量、治理任务分配情况等信息。多维数据质量报告：提供全校、部门、照管热、数据表多个维度的数据质量报告，监控数据稽核状态和数据完整性、规范性、一致性、稳定性、有效性、唯一性质量指标状态。数据质量问题预警：设置重点告警内容、告警阈值、告警级别，支持告警信息推送至相关的数据管控责任人。数据治理工作考核：实现质量绩效评分依据和权重可配置，根据问题数据督办事项和管控数据质量进行考核评分。

2.2数据安全管控

基于数据安全可视化配置工具，管理数据存储、数据交换、数据接口、数据管控、数据归档等多场景数据安全。主要服务能力包括：数据加密存储安全：提供多种加密方式，实现数据中心所有数据的加密存储，保障数据安全。数据管控权限安全：为保证数据中心的数据访问的安全性，实现系统角色、工作岗位、业务部门等多个维度的数据权限控制，可配置所有数据的搜索、查询、新增、编辑权限。数据接口服务安全：提供数据接口申请和审核服务，实现数据服务接口在线自定义配置，支持配置限制单次访问最大数据量、两次请求时间间隔、数据传输加密方式等安全策略。敏感信息脱敏安全：提供数据加密和脱敏服务，支持多种加密方式可選择，支持对敏感信息进行脱敏替换。访问缓慢接口控制：支持设置访问缓慢判定标准，监控新增类、更新类和查询类缓慢服务总量等性能指标信息，指导系统访问效率优化。

结束语：高校数据中台职能由“业务支持”、“项目管理”向“业务创新”、“自主运维”方向转变，构建学校与厂商合能共创服务模式，通过培训掌握共享服务中台的运维体系，在深入研究本校业务特点的基础上，实时响应信息化业务需求变化，全面支撑学校信息化建设与服务工作。

参考文献

[1]蔡兴振， 喻术刚， 张鑫. 基于数据中台的高校综合服务系统架构研究与设计[J]. 经济技术协作信息（33）：1.

[2]吴阳吉. 智能数据交换平台的研究与应用[D].  2010.