数据可视化在炼化生产企业中的应用研究

彭慧　孙士学

摘要：在某大型炼化生产企业中，数据可以看作是一种新的石油，从原料进厂、调度排产、生产运行、储运销售各个环节、各个专业都会产生大量的数据信息，我们被这些数据资源包围，对数据的重视程度与日俱增，对数据进行一站式整合、挖掘、分析、可视化的需求日益迫切。这里数据可视化不仅仅是统计图表的堆砌，还是借助于图形的方式展示事物原理、规律、逻辑的一种方法。目前数据可视化主要通过编程和非编程两类工具实现，本文着重讲述利用数据分析软件实现数据可视化，并在炼化生产企业中应用，通过ODS技术集成多个业务系统的数据，对炼化生产过程进行管控分析，提升企业生产决策水平。

关键词：数据可视化;数据分析;数据集成;ODS

中图分类号：TP311      文献标识码：A

文章编号：1009-3044（2021）04-0232-02

企业信息化程度越高，越能够为企业管理层作出有效决策而提供必需的数据依据和关键信息。某大型炼化生产企业统建了APS、ERP、CRM、MES、LIMS等业务信息系统及专业系统，都聚集了大量产品生产销售一线业务数据，如何有效利用这些数据，透过这些数据来发现产品在生产、销售、储运等过程中存在的问题，及时调整生产计划、销售策略、应急措施等，那么对数据进行一站式整合、挖掘、分析、可视化的需求便日益迫切。

当数据以直观的可视化的图形形式展示在企业管理者面前时，首先更便于管理者理解自己的企业，能够更直观地洞悉数据背后隐藏的信息，助力企业的数字化转型，将数据转化为知识和决策依据;其次若借助大数据的统计资料和分析会为管理者获取人力所无法统计资料，通过数据挖掘得出更有价值的数据，协助炼化企业优化生产。所以实现企业各业务系统、各类专业系统数据的可视化便是要利用各种视觉元素，通过可视的、交互的方式将数据中所蕴含的信息的趋势、异常和模式展现出来，以提升企业决策效率和工作效率。

1 研究背景和意义

在炼化生产企业中已实现了各类报表，这些传统的报表固然已经很好地发挥了它的作用，然而单一维度的数据只能反映事物的一个局部表象，将更多维度的数据收集起来，使它们之间产生对比、映照的多种可能，我们就需要对这些已经处理过的数据再一次进行整合、分析、挖掘，通过可视化来增加信息的接收量，使企业决策者能夠更深刻地理解那些数据所代表的深层次含义。

根据该炼化生产企业实际业务需求，通过数据可视化，实现企业从原油的采购、原油运输、原材料进厂、原油及汽煤柴调合、生产计划、生产调度、生产运行、储运、销售出厂等生产过程的信息整合并进行大屏展示。结合经营效益分析、技经指标、安全环保监控、设备运行、能耗管理、工艺技术、工艺流程等专业数据，对炼化生产过程进行管控分析，在全面地认识数据的过程中，利用数据分析软件实现跨系统平台数据综合分析展示，以提升企业决策水平。

2 数据可视化技术

2.1 数据可视化基本思想

数据可视化是关于数据视觉表现形式的科学技术研究，是技术上较为高级的技术方法，允许利用图形、图像处理、计算机视觉以及用户界面，通过表达、建模以及对立体、表面、属性以及动画的显示，对数据加以可视化解释。它与信息图形、信息可视化、科学可视化以及统计图形密切相关，成为研究数据表示、数据处理、决策分析等一系列问题的综合技术，具有高效、直观、标准、丰富的特点。

简单说数据可视化是通过直观地传达关键的方面与特征，从而实现对于相当稀疏而又复杂的数据集的深入洞察。其基本思想就是将数据库中每一个数据项作为单个单元元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。数据和人之间的交互环节，是数据可视化的主要着力点。其中分为两个业务方向：一是数据展示和呈现，使大家明白数据的含义;二是针对大家可能提出的问题做相关数据分析。因此，数据展示和数据分析是数据可视化的两个核心切入点。

2.2 数据可视化分析流程

数据可视化内容分成三大部分：采集、处理、分析，其中最重要的则是分析部分，可视化主要流程如下：确定分析业务内容——集成业务数据——数据ETL处理——数据分析——可视化呈现。

（1）确定分析业务内容：明确所要表达的业务范围、业务目标，将目标指标化，数据化。

（2）集成业务数据：结合企业的信息化建设特点，可能很多数据都是分散的，异构的，需要设计将数据集成到统一的数据仓库中或者大数据平台中。

（3）数据ETL处理：数据连接、抽取转换和流程调度是关键的步骤，对于结构化的数据在清洗时主要应用SQL语句过滤或者存储过程处理等。

（4）数据分析：前期的准备都是为完成数据分析，对数据基于实际应用场景进行科学全面的多维度、多层次的分析。

（5）可视化呈现：利用可视化工具对组织好的数据进行不同纬度的直观的展示。

3 炼化生产企业数据可视化应用

3.1 利用ODS技术实现数据集成

数据处理时数据可视化的重要步骤，根据业务的实际需要，先将业务数据类型进行ODS主题划分，并在主题划分基础上进行ODS指标分析，主要包括关键技经指标、计划完成率、负荷率、达标率、平稳率、合格率、自控率等。

ODS的架构设计主要从连续性、一致性、开放性和稳定性等几个方面进行考虑，这里以MES数据为核心，建立ODS数据库，将各分散系统的数据都集成到该ODS中，按照一定的算法对数据进行二次处理，并制定了相应的数据抽取策略，确保数据在一段时间范围内在原表修改的情况下依然保持一致。例如，在MES系统中的装置公用工程数据，生产操作或工艺技术人员会不定时地进行调整修正，在管理人员审核通过后，之前抽取的能耗数据就要发生相应的改变，ODS的设计要充分考虑到各种业务场景，制定合理的数据更新策略。同时，ODS的数据抽取加载工具要具有开放性，便于扩展集成所需的其他业务系统数据。

3.2 数据可视化实现方法和步骤

在可视化页面开发前先明确业务需求，进行需求分析，确认业务范围、适用范围;确认相关业务所涉及的数据库系统，这里以MES数据为核心，建立ODS数据库，将各分散系统的数据都集成到该ODS中，按照一定的算法对数据进行二次处理，并充分考虑各种业务场景，制定合理的数据更新策略，确保数据质量;整理所需要用到的背景、图片等素材。

利用数据分析软件开发可视化页面，重点把握布局排版，避免指标堆砌，分清主次;定义数据集应用于模板设计的数据展现集合;选定好适合的图表类型，合理配色、线条边框点缀、动画效果。

3.3 数据可视化应用

该炼化生产企业实现的炼化生产技术分析功能是数据可视化的具体应用，其主要分为三种模式：参观模式、生产模式、应急模式。

（1）参观模式：用于外来人员参观访问使用，一般做大屏幕应用，主要设计公司简介、生产经营、主要生产流程3个展示对象。

（2）生产模式：用于对公司日常生产的管理和分析，从炼油生产、化工生产、化工销售三条业务主线设计展示对象，提供工艺技术、质量、设备、能耗等专业系统信息，支持下钻，致力于企业营运决策的改善，是本方案的设计重点。

（3）应急模式：用于处理突发事件的场景。

这三种模式以生产模式为核心，生产模式展示界面分一个总体和两个维度设计，一个总体是生产经营，总体展示分析公司效益和技经指标;两个维度分别是产销存供应链和专业管理。产销存供应链，包括总貌图和原料、加工和产品三大类业务，涵盖三条业务主线;6个专业管理包括化验、安全、环保、设备、工艺，能耗等业务，主要依靠专业系统连接实现。

这些可视化的页面均支持数据钻取、分屏展示、组件联动等功能，除了实现了综合展示外，还可以继续进行挖掘分析，即基于图表的“二次分析”，对数据的深层次挖掘。

4 结论

炼化生产技术分析功能作为数据可视化在炼化生产企业的应用只是其中的一小部分，通过对产销存供应链三条业务主线数据及质量、工艺、设备、能耗、安全环保等专业数据的综合分析展示，使管理者能够全方位、多维度地掌握各业务运行状况，及时发现生产、销售、储运等各环节出现的问题或者尽量避免问题的出现，并在第一时间做出应对。它既是对各业务报表的有力补充，又是管理者輔助决策的依据，比业务报表更加直观全面，达到了对炼化生产过程进行管控分析、提升决策效率和工作效率的目的。

今后数据可视化将会应用的更加广泛，它的应用将改变管理者理解数据含义的思维习惯，全方位、多维度地将不直观的数据现象转化为可见的图形符号，将错综复杂、看起来没法解释和关联的数据，建立起联系和关联，发现规律和特征，实现数据自我解释、让数据说话，以获得更有商业价值的洞见与价值，提升企业的决策效率和水平。

参考文献：

[1] 任磊，杜一，马帅，等.大数据可视分析综述[J].软件学报，2014，25（9）：1909-1936.

[2] 陈为.数据可视化[M].2版.北京：电子工业出版社，2019.

[3] 代双凤，董继阳，薛健.科学计算中大数据可视化分析与应用[J].工程研究-跨学科视野中的工程，2014，6（3）：275-281.

[4] 左圆圆，王媛媛，蒋珊珊，等.数据可视化分析综述[J].科技与创新，2019（11）：82-83.

[5] 张开法.混合现实技术在大数据可视化中的应用[J].电脑编程技巧与维护，2019（4）：84-86.

[6] 郭玮.大数据背景下统计数据可视化研究[J].内蒙古统计，2017（6）：23-27.

[7] 周建功.数据可视化技术在政务大数据中的应用研究[J].电脑知识与技术，2018，14（18）：273-274.

[8] 李公立，刘佃兴，黄仲元.数据可视化技术现状与发展研究[J].山西建筑，2018，44（19）：257-258.

[9] 应毅，刘定一，任凯.基于大数据技术的舆情分析与决策支持系统架构研究[J].图书情报导刊，2017（9）：32-36.

【通联编辑：光文玲】