边缘侧实时数据采集在大屏可视化系统中的应用研究

柳跃，秦少星

（国能和利时信息技术有限公司，北京 100011）

1 前言

1.1 研究背景

物联网、云计算、大数据等新的信息技术的出现，标志着智能制造时代的到来。当前能源行业大型企业倡导煤电化路港航油一条龙、产运销纵向一体化的运营模式。即上下游产业高度关联，通过一体化运营链条紧密衔接，实现煤炭从煤矿到港口、到电厂、到煤化工厂的产业链供应运营模式。生产运营调度系统对实现一体化智能化有着强烈的需求，为实现煤炭、运输、电力、化工多产业生产经营全流程贯通、全产业链衔接和全场景监控，信息自动感知、计划模型驱动、_调度智能协同、应急快速精准，打造“一体化集中管控、智能化高效协同、可视化高度融合”独具特色的核心运营平台，为支撑业务快速的协同发展，支撑调度系统数据展示、运营分析提供数据，对煤矿、电力、化工、港口等领域的实时数据采集的实时性、可靠性、安全性等要求越来越高。

数据是一切智慧化工作的基础与起点，企业信息化的核心就是“业务数据化，数据价值化”。没有高质量的数据管理，就没有系统应用的互联互通，就没有持续价值创造的大数据应用；没有大量数据应用也就没有企业的智能化、智慧化，数据的采集是建设信息化的基石。针对工业过程中生产实时数据的特点，要求采集系统能针对数据源广泛的分布性能，可靠的进行数据采集；采集系统在进行数据采集时需要具有很好的可扩展性；能够满足对数据进行实时分析，即对数据流需要按照设定好的逻辑进行流水线式的处理。

1.2 研究现状

当前工业过程采集的数据来源广，包含结构化、半结构化、非结构化，各种类型数据库、文档文件、传感器、智能设备、互联网、外部数据等。数据标准不统一，源数据管理能力缺失，导致数据很多，但杂乱无序。主要体现在以下几方面：（1）数据覆盖面有限。一体化运营产业的上下游的数据资源仍然覆盖不全，紧密衔接度不高，没有覆盖全业务板块数据。（2）数据取用复杂。目前数据采集量虽然较多，形成了具有规模的大数据，但数据分布比较分散，存在信息孤岛情况，各业务板块之间的数据没有形成有机结合体，不能统一协调和相互配合，全产业链数据没有完全实现互联互通。例如发电量随季节波动较大，对煤炭的需求量也随之发生变化。那么发电量和煤炭产量数据必须有机结合、调配后才能为生产运营管理创造更大的价值。（3）数据质量不可靠。高质量数据是进行数据分析的基础，目前数据质量低下，对于数据变化率过大的数据、长时间不刷新的数据没有进行充分检测。其次，数据类型多而杂，包含结构化、半结构化、非结构化，以及各种类型数据库、外部数据等，没有形成统一的标准，导致数据质量不高。（4）数据管理无规划。当数据的质量出现问题后才能发现问题，没有对数据的异常进行诊断和预判。

2 数据采集系统架构及功能

数据湖是存储的各种各样原始数据的独立的、统一的“数据资源池”。数据湖可以容纳各类必要的数据，全面覆盖存量数据和增量数据，作为统一的数据存储、处理、展现的逻辑区域，提供数据清洗、数据转换、数据加载、数据标签处理等基础数据处理服务；提供对不同类型数据的一致性管理、实现数据汇聚及数据的标准化存储，并作为数据标准落地的“承载容器”；向数据中台提供对多源异构数据的统一访问能力。边缘侧实时数据采集作为数据湖及数据资源化平台工具建设的一部分，边缘侧实时数据采集提供针对性工具集和整体解决方案服务，涉及内容广泛、牵涉角色众多，边缘侧实时数据采集系统建设内容主要包括：实时数据采集服务和配置管理系统，结合已有生产实时数据，在系统中进行边缘侧实时数据采集工作验证，保证实时采集数据的质量，以满足数据建设中数据采集需求。

2.1 应用架构

工业过程数据采集和传输系统的应用架构总体业务描述如下：（1）边缘侧实时数据采集系统为能源行业全产业链实时数据提供管理功能，既能支持在生产单位的数据采集，也能支持基建单位的数据采集。同时也支持不同系统数据，以及不同格式数据采集，并提供数据管理系统，同时提供数据监测和系统管理功能，便于用户查看数据和管理。（2）采用模块化设计，具备开放性和易扩展性，以适应各种协议类型外部系统的接入，系统功能和控制范围的不断扩展，保证添加新组件和软件升级不影响运行的应用程序，对系统的可用性和性能不会产生不利的影响，具备二次开发的能力，以适应不同工程的需求。（3）具备容错性，提供自诊断和自恢复功能，一旦诊断功能发现进程非正常退出时，自动启动此程序。（4）具备可维护性，提供初始化配置和系统自动升级功能，使得维护人员能快速完成初始化配置，以及升级过程无人员干预。（5）具备模块独立性，以保障单一软件功能的故障不会引起其他功能的故障。该系统主要用于能源行业各产业链生产实时数据采集，并将数据传送至数据湖中，实现不同系统的互联互通、数据共享，为各业务应用提供数据支撑。边缘侧实时数据采集装置管理系统主要负责提供采集装置的配置管理功能，主要包括数据采集驱动管理、权限管理、初始化配置、升级管理、测点管理、以及数据监测等。其中，通过数据采集驱动管理实现各产业链实时数据的接入设备及采集接口的管理。最终通过数据监测工具，以图形界面的形式提供数据查询、管理窗口。系统支持标准通信协议，对于基建单位，需要从各子系统接入数据，可采集Modbus、OPC-DA 采集驱动。对于在生产单位，边缘侧采集装置需要从各数据库中取数，开发了多个数据库驱动接口，可采集多样源的数据库，如麦杰数据库采集驱动、PI数据库采集驱动、eDNA采集驱动、VeStore数据库采集驱动。

通过提供OPC-UA通讯协议，支持边缘侧采集装置中实时数据能够被第三方系统取数。并且系统具备良好的开放性和扩展性，其它通信协议驱动可继续扩展开发。

2.2 部署架构

边缘侧实时数据采集系统体现“安全可靠、功能完善、实用经济和结构简单”，在硬件设计上，采取“集中管理、分散部署”的形式，在软件设计上采用积木式模块化结构，从结构上面保证其安全可靠完善，系统为分层分布的开放式结构，系统分为3层，即边缘侧数据采集层（厂矿现场层）、云端中间管理层（边云中心）、云端集中管理层（数据湖）。系统既可以完成对各基建厂子系统运行数据的实时采集，也可以完成对已投产厂数据库数据的采集。边缘侧和云端之间的数据采用隔离网闸进行隔离，保障边缘侧监测监控系统的安全性；边缘侧生产实时数据的采集同时可为数据湖的大数据分析、生产运营提供有效的数据支撑。

2.3 在大屏可视化的应用

数据作为各产业各业务信息化发展的核心，利用可视化展示可以实现对全业务的数据管理，使各业务贯通，是实现大数据分析的重要途径，对助推企业信息化建设产生积极意义。可视化展示是电力企业全业务统一数据中心管理的重要内容与要求，将大数据应用于各企业发展建设可视化展示系统，可以建设信息化水平比较高的系统，并促进源端的全业务结合，对后端大数据整理产生积极意义。通过对可视化的呈现可以帮助企业分析当前的技术和产品发展情况，为企业的技术与产品创新提供重要条件。

边缘侧实时数据采集后经过数据湖的数据清洗、数据转换等操作，在数据转换中可以实现统一字段命名、统一数据类型、统一编码类型以及统一时间格式等功能。数据开发中可以进行模型建立，在大屏上实现数据的可视化的展示，利用数据可视化呈现企业相关业务状况。

3 结语

综上所述，本文设计开发的边缘侧实时数据采集系统能实现大规模边缘侧实时数据的采集和汇聚功能，同时也满足了数据采集的实时性、开放性和扩展性、容错性、易维护性、独立性等性能。本文结合现有工业生产现场数据量大且繁杂特点，设计出边缘侧与云端的部署结构，边缘侧实时数据采集系统实现了工业边缘侧现场数据的采集需求，并且系统运行稳定、人机交互友好、使用人员能够快速上手。系统不仅实现工业边缘侧现场数据的采集需求，还实现了对采集装置和采集传输通道的监测与管理，实现了智能化数据采集和传输。

边缘侧采集的实时数据经过云端数据湖的统一数据清洗、数据转换等操作，在大屏上实现数据的可视化展示，通过对数据的整体性和统一性规划，形成了一个健全的可视化展示平台。