面向铝冶炼的大数据平台研究与应用

杨 涛，黄若愚，敖 宇，谭善伟

(1.贵州创新轻金属工艺装备工程技术研究中心有限公司，贵州 贵阳 550081;2.贵阳铝镁设计研究院有限公司，贵州 贵阳 550081)

随着NET、IoT、云计算和大数据技术的不断鼎新与应用，现代社会已经迈入全新的大数据时代[1-3]。通过大数据相关技术掌握企业大数据资产，进行智能化决策，已成为企业胜出的关键。工业4.0的到来也使越来越多的企业开始重视大数据战略布局，以提升自己的核心竞争力，用数据揭示生产管理过程，了解过去、知悉现在、洞悉未来[4-6]。通过数据驱动企业运行与决策，从而构建智慧企业，打造核心竞争力。

数据爆炸式的增长与价值的扩大化，对企业发展有着深远影响[5-11]。将企业数据资产化，从而挖掘出数据价值，可为企业发展保驾护航，这将是企业智能化转型发展的重点。随着工业信息化过程的发展和革新，铝冶炼企业在流程、管理和运营等各方面的问题也愈加凸显，主要包括：受高温、高热的环境影响，生产运行的关键参数在线采集困难，而依靠人工或离线设备采集，工作量大，时效性差；由于生产过程各工序相对独立，各自存在相应的DCS、PLC等控制和管理系统，孤岛运行，对企业的管控带来了困难；由于各工序间管理和控制系统不连通，工序内数据流通不畅，数据采集时效性差等原因，相应的管控模型建立难度大；以及由于历史原因，各业务系统扩展性差和系统接口难以统一。

1 行业技术趋势

随着新一代信息技术和大数据分析技术逐渐成熟，同时为推进铝冶炼行业智能化进程，欧美等地的世界铝工业先进国家非常重视铝冶炼行业的技术创新，不断研发新技术和新装备，有力的促进了铝冶炼行业的可持续性发展。在进入21世纪以来，采用新一代信息技术，提高铝冶炼生产过程的检测、控制和管理水平，促进智能化生产的垂直集成和产业价值链的横向集成[4,12-14]，已经成为国际先进铝工业国家企业和研究机构努力的方向。

以铝冶炼大数据平台为基础，研发集专家推理系统、先进控制系统、远程运维系统、远程诊断系统和生产运营实时对标于一体的智能化应用系统，也成为当今行业努力的方向之一。

2 铝冶炼大数据平台架构

针对铝冶炼企业生产过程数据的特征，本文面向铝冶炼企业构建了集数据采集、数据处理、数据存储、数据融合、数据交换、数据治理和数据服务等功能于一体的大数据分析管理平台，其架构图1所示。

图1 铝冶炼大数据平台架构图

3 大数据平台构建关键技术

3.1 数据采集传输技术

数据采集传输技术是大数据平台底层建设的核心关键，用于实现工厂结构化、半结构化以及非结构化数据的收集。由于工厂设备众多且数据接口各异，因此常用的数据采集传输方式主要有以下三种：

(1)直接联网通信采集传输方式

此种方式依赖于设备自身的通信协议与通信网口，不需要额外部署其他硬件，数据采集服务器通过局域网与设备直接连接，从而实现数据的交换。

(2)工业网关采集传输方式

此方式主要针对没有以太网通接口的设备，或不支持以太网通信的设备，通过部署工业以太网关来连接设备，以实现对设备的数据采集。

(3)远程IO采集传输方式

此方式用于针对不能直接通过以太网接口通信，且没有控制单元的设备。通过部署远程IO的方式来实现设备数据采集。

3.2 数据存储技术

铝冶炼作为典型的流程性企业，其数据具有分散性、数据体量大、异构性等特征。因此，传统的DAS、SAN、NAS 等数据存储方式已不能满足大数据环境下的业务需求。HDFS存储方式因其高容错、高可靠性、高吞吐率等[14-15]特性而得到了国内外研究者的认可。

HDFS存储方式采用master/slave主从架构，由一个控制节点和多个数据节点构成[15-16]，架构如图2所示。通常，HDFS存储方式会将一个完整的文件信息拆分为若干个子信息，并存放在不同的数据节点，控制节点则用于存储数据节点的文件元数据，相当于整个集群目录。

图2 master/slave主从架构图

传统的MySQL等关系型数据库通常被部署在一台服务器上。而HBase是一种基于HDFS的分布式非关系型数据库，通常部署于多台服务器上。

3.3 大数据分析处理技术

Hadoop通常采用Map/Reduce模型来实现海量数据的分析处理，该模型的核心思想为“分而治之”，即将一个复杂的任务分解为多个简单的子任务进行并行处理，而后将处理结果汇总分析。其中Map 负责“分”，Reduce负责“合”。工作流程如图3所示。

图3 Map/Reduce模型工作流程图

3.4 大数据分析挖掘与可视化技术

大数据分析挖掘技术用于揭示所收集数据中隐藏的、未知的、有价值的信息。针对不同的生产流程，构建相应的数据模型，而后用于对采集的数据进行分析挖掘和评价。

可视化技术用于对通过数据挖掘技术得到的信息直观的展示出来，是建立在数据分析挖掘的基础上。通过借助可视化工具或其他方式将挖掘到的数据信息形象化展示出来。

4 大数据平台实践及应用

铝冶炼企业作为典型的流程性企业，工序多、控制系统多、业务系统多。生产过程数据类型涵盖了结构化数据、半结构化数据、非结构数据。各控制系统主要分散于各生产工序、各业务系统分布于办公区域。生产过程数据未能实现数据共享，数据价值未能挖掘利用。因此，本文针对某铝生产企业设计开发了大数据平台，具体实施情况参见下文。

4.1 数据采集传输

针对全厂生产过程数据，本文采用直接联网通信采集传输方式、工业网关采集传输方式、远程IO采集传输方式相结合来采集生产过程数据。考虑工控设备的安全运行，通过部署工业网关将办公系统与工控系统进行隔离，以防止外部病毒的侵入攻击工控系统。

由于各控制系统、业务系统分散于各工序，针对这一特点，本文通过分布式多线程方式来实现数据的采集传输，即一个主采集点部署于数据中心，多个子采集节点部署于各个生产控制系统与业务系统。同时，各个采集节点支持多种接口协议，从而满足企业数据的采集、传输。分布式架构如图4所示。

图4 数据采集传输网络图

针对关系型数据，如门禁系统、人力资源管理系统和MES等数据源的采集，当数据量比较大时使用sqoop进行数据抽取，每日定时更新的数据则通过使用Kettle数据抽取工具，最后通过建立的数据采集任务将关系型数据库中的数据抽取到基于Hadoop的HDFS存储的Hive中。

对于在线检测装置和PLC/DCS系统生成的非关系型数据，通过使用OpenTSDB时序数据库开放的API接口编写JAVA代码,实现数据的读取工作。

4.2 数据存储

针对数据存储，本文采用分布式架构，利用多台服务器、Hadoop及其生态软件搭建企业数据中心，并在各服务器部署关系型数据库、实时数据库，用于满足不同数据类型存储需求。

对于关系型数据，本文利用Oracle、MySQL、SQL Server等数据库进行存储。此外，由于工控数据为时序数据，因此产生频率快、数据量大。一般的关系型数据库并不适合对本文工控实时数据的存储和管理。因此，本文针对海量实时数据，利用OpenTSDB、RRDtool、Kdb+、TimescaleDB、InfluxDB等数据库进行存储。工控实时数据存储算法如表1所示。

表1 数据存储算法

4.3 数据可视化展示

(1)常规数据可视化

Kibana、grafana作为一款开源的数据挖掘与可视化工具，可以用于日志数据分析、时间序列数据分析等。它们不仅功能强大，如支持直方图、线形图、饼图、热图和内置的地理空间等常见的可视化展示，同时也易用。

针对常规数据的可视化，平台嵌入了Kibana、grafana等可视化组件，用于实现数据的分析和可视化。

(2)模型开发与可视化

为了实现工艺生产流程数据可视化分析，平台开发了模型管理模块，为工艺机理模型、机器学习模型等的开发提供了开发环境，开发者可在此模块根据工艺生产需求构建相应的分析模型。目前系统嵌入了常规的加权平均模型、关系分析模型、特征聚类模型等。

图5 铝液波动与极距可视化图

图6 模型管理模块界面图

5 结 论

本文利用物联网与大数据等相关技术构建了面向铝冶炼的大数据平台，完成了从数据采集到数据使用的统一管理。通过对生产管理信息系统和生产过程系统的数据集成，实现了铝冶炼企业生产过程数据的规范化和多维度融合。主要贡献如下：

(1)平台具有多样化数据接口，能适应不同场景的数据采集传输。

(2)平台解决了企业内部各业务应用系统信息孤岛问题，实现了数据的一站式管理。

(3)平台具备一站式数据挖掘与分析功能，能对采集的数据进行挖掘分析。