基于数据中台的装备保障数据集成分析

陈 丽，徐 鹏，李泊恺，李万阳，刘 熠

（国网甘肃省电力公司互联网事业部 甘肃 兰州 730050）

1 引言

和一般性的数据信息系统相比，中台架构在打造的过程中能够充分满足客户的基本需求，提高项目交付质量，增强数据的应用价值。装备保障管理信息系统经过多年的建设发展，各个管理业务数据信息变得更加稳定，局部地区建立了大量的管理信息系统。但是由于缺乏统一、专业的组织和规划，这些信息系统的数据格式存在异构、标准不一、信息系统交互性差的问题。为了能够解决这些问题，保障装配设备的稳定运行，需要进一步实现数据集成，而数据源就是解决数据集成的重要技术途径。从实际研究成果来看，当前关于装备保障数据集成架构工作主要针对的是结构化数据，具体包含关系型数据库、二维表数据库，而对半结构化数据、文本数据信息、图表信息等非结构数据研究不多。为此，文章以数据中心为基本理念，开展基于数据中台的装备保障数据集成架构和分类研究，目的是实现对结构化和非结构化数据信息的统一整理[1]。

2 数据元基本理论

数据元是使用一组属性描述定义、标识、表示和允许设置的数据单元。在特定的语义环境下，数据元被认为是不可以再进行分割的最小数据单元。数据元一般情况下由以下几个部分组成。（1）对象类。数据元是思想、概念以及实际世界中事物的集合体现。数据元具备清楚的边界和含义，且特征和行为也会遵循一定的规则。（2）特征。数据元具备对象类所有个体所共同拥有的一些性质。（3）表示。数据元是值阈、数据类型的一种组合，在具体应用的时候会包含度量单位和字符集[2]。

3 装备保障数据元

装备保障数据元是装备保障义务活动中所涉及的数据单元，装备保障数据元具备装备保障领域的基本特点，也是装备保障领域标准化中能够表示的最小定义。在描述装备标识时所使用的装备代码就是一个不能够再进行细分的最小数据单元。装配是对象类，代码是对象类的特征[3]。

4 数据中台的运行价值

数据中台不是简单的一套软件系统或者标准化产品，更多的是一种强调资源整合、集中配置、能力沉淀、分步执行的运作机制，是一系列数据组件或模块的集合，为企业数据治理效率的提升、业务流程与组织架构的升级、运营与决策的精细化赋能。数据中台的运行价值具体体现如下：（1）强化对数据信息的汇集处理，起到承上启下的重要作用。数据中台运行的基本概念是将所有数据信息汇集起来，整合到数据中台上，之后的每个数据应用都会从数据中台中获取数据。按照这样的模式，如果企业中的数据应用数量不断增长，节约成本会增加。和一般性的数据仓库信息存储相比，数中台策略更加强调数据的齐全，也会从各个层面出发来采取措施保障数据的落实。（2）纵观大局，推动全局发展。数据业务是整个企业发展过程中的重要业务，是在新时期需要提高定位的业务，也是企业的重要战略业务体现。在发展的过程中，数据中台成本也会节省30%的比例。伴随数据应用的增长，数据处理成本也会增加。和传统意义上数据仓库的运行相比，数据中台在运行的过程中更加强调数据的齐全和数据中台组织、组织之间的协作关系，在数据处理的过程中从设计、组织、建设、流程等角度落实了这个模式。（3）技术升级，应用便捷。传统数据仓库和数据中台相比，不管是在海量数据处理能力、节点扩展能力、实时计算能力、软件购买和维护成本等方面都无法和大数据平台抗衡。

数据中台在运作的时候永远为业务中台服务，因为数据本身不具备复用的能力，通过数据决策才能够具备复用的能力。站在数据中台的应用角度来看，在使用数据中台的时候，企业会将数据信息整合起来，如果企业通过数据可视化能够获得更多的数据信息，则是可以将这些信息进一步整合使用，最终更好服务于业务结果。数据可视化扮演角色也是数据中台数据信息交换之间的桥梁，能够帮助且更好的积累财富。在数据汇集之后可以被业务中台有效调用[4]。

5 基于大数据平台服务的装备保障数据集成架构

5.1 大数据平台

其具备大数据信息的收集、清洗、管理和分析能力，整个平台在运作的时候能够支撑业务的标准化、规范化建设，在数据信息处理的过程中能够减少数据I/O吞吐和不必要的冗余数据，实现对数据计算结果的反复使用，最终实现数据的标准化、规范化、统一化和共享化应用管理。基于大数据平台服务的装备保障数据集成架构见图1。

图1 基于大数据平台服务的装备保障数据集成架构

5.2 实现装备保障数据信息的同步使用

基于大数据平台服务的装备保障数据集成系统平台在运作的时候会以数据信息的使用作为基本理念，通过授权授机制、手段、电子签名等认证方式来全面落实一装一卡、一人一卡的管理制度，由此来保障数据信息的有效使用。装备保障数据信息采集架构见图2。在装备运行信息记录仪、嵌入装备技术、通用数据采报平台、扫一扫工具的使用下，能够将采集装备基础数据、业务数据的使用和消耗信息传输到系统集群中，并将一些需要实时处理的状态数据信息存储到Hadoop分布文件系统中，最终所有的数据信息都会被存储到分布式文件系统中，用户通过订阅主题数据就能够实现对数据信息的有效处理。

图2 装备保障数据信息采集架构

5.3 装备保障大数据平台

5.3.1 装备保障中数据模型的层次结构

装备保障大数据平台从下到上分别是操作数据层、公共维度模拟层、应用数据层。在系统运作的时候，装备保障公共维度模型层可以细分为明细数据层和汇总数据层。（1）操作数据层。装备保障业务信息系统集成平台上所有装备保障业务系统数据会借助数据同步工具来将数据信息汇集到有需要的层级，屏蔽不相干的异构数据。（2）公共维度模型层。公共维度模型层会采取基于维度建模的数据建模方式，通过使用恰当的建模方法打造出数据模型，计算出各个系统模块的运行参数，减少数据扫描。数据信息进行清洗、过滤、记录处理，DWD在经过一系列的处理之后，完成多来源同主题数据的融合操作，打造出最原始的粒度明细事实表。装备保障业务明细表中的数据信息是装备保障业务操作层数据，这个层级的数据信息会为各类作业的登记管理提供支持。DWS会按照不同粒度、维度来对明细数据信息进行汇总分析，分析之后汇总出事实表。基础数据信息具备唯一性的属性，所有在装备保障业务信息系统集成平台中开发、使用的业务数据需要以ODPS提供的数据结构和数据内容为标准。（3）明细数据层。明细数据层根据CDM和ODS加工生成，在加工处理之后用来存放个性化的统计指标数据。明细数据层对应装备保障决策 规划层户数，能够为装备保障业务提供综合性的分析信息，为装备整改提供有保障的方案支持。

5.3.2 装备保障中数据模型信息处理流程

装备保障中数据模型信息具体处理流程如下所示：首先，通过数据收集服务系统将各个信息终端采集的监测数据、军事数据等摆渡到ODPS；其次，根据业务需求来对源数据信息进行清洗，之后使用装备图谱、图像识别等分析工具来对数据信息进行挖掘分析；再次，使用一些专业的通信技术手段和工具将数据分析结果借助软件开发工具包发布给应用系统；最后，装备业务应用调用数据服务装备来处理数据信息，使得数据信息的终端来自业务层，而后将数据服务使用需求和应用情况反馈到ODPS，提升装备系统数据服务质量。

比如在车场日评估中可以先使用MaxCompute工具来将非结构化的监控视频数据转化为结构化的进场人数和姿态的统计信息，之后使用多维数据信息分析挖掘工具，根据参数记录仪来检测车辆的运行速度、转动速度、液压油的温度、变速箱水流的温度、发动机温度，在对以上信息综合分析之后，来获得车场落实情况，将这些信息充分整合，最终按照RESTful数据服务的方式来对外发布，达到装备保障业务层数据化处理、装备保障数据业务化处理的发展目的。

5.4 装备保障大数据平台数据服务API

装备保障大数据平台能够为装备使用提供规范化、统一化、共享化的数据信息，在整合处理信息的基础上将装备目录、单装、人员安排、机构设置、计算机处理结果通过API的形式向外部提供。数据系统服务管理依托Serverless架构，在系统运作的时候用户仅仅需要关注API本身的查询逻辑即可，不需要关心装备保障大数据平台系统运行环境，且在运行的过程中能够支持弹性拓展。在数据信息服务生成API之后可以对数据信息进行注册处理，而后发布到和API有关的网络平台上[5]。

6 结语

综上所述，文章在阐述数据元基本内涵的基础上，设计出了基于ODPS的装备保障数据系统集成架构，在这个数据系统集成架构平台的作用下能够实现对结构化、非结构化系统装备保障信息的集中化管理，实现数据信息和系统运行的匹配，而后通过API的形式来为装备保障应用层提供数据服务支持。在这个过程中，针对装备保障集成数据分类问题，还可以根据装备保障集成数据分类情况来处理整个数据信息，在确定特征词的时候根据专家知识经验来在其中加入其他可能的特征词，打造NB和特征词匹配的分类器，提升装备保障集成数据应用的精准性。