宝钢5 m厚板工厂级数据中心开发

闫 博,刘 晔,丁建华,焦四海

(宝山钢铁股份有限公司中央研究院,上海 201999)

建立数据中心是钢铁制造业实现数据化与智能制造的基础[1]。数据中心一方面提供数据采集接口,对企业经营管理的业务数据、机器设备互联数据以及销售运维等外部数据进行采集、清洗;另一方面,基于工业大数据处理、分析、建模等关键技术,根据具体应用场景及需求,结合领域知识和算法,实现顶层应用支撑,产生应用价值。

开发数据中心,最大挑战是解决数据的关联性问题,这也是构建数据应用的基础。普遍采用自动化四级控制系统的钢铁业,L1到L4分别用于基础自动化、过程控制、生产制造控制和产销管理,有时候也把特殊仪表作为单独的L0级。在生产过程中,在L0到L4不同层级上产生不同体量、不同频度的海量数据。相应数据采集的频率也有很大的区别。L0/L1以毫秒为单位,L2是以毫秒、秒为单位,主要过程控制还在秒级到分钟级,所以L0-L2实时性是重要的关注点;L3实时性相对较低,数据总体频度以天为单位,最快也会是以小时为单位;L4实时性更低,数据总体频度以周为单位。这些数据按照系统架构存储在不同的平台上,呈现复杂的多频度异构特征,从结构特点上可分为时间序列数据、二维数据、多维数据和非结构化数据多个种类,在频度上覆盖毫秒级、秒级、分钟级直到大跨度数据各类情况。虽然总体上满足了从市场到现场的信息流程传递的要求,但基本上是自上而下地接受指令并完成制造过程设计与控制、生产工序的过程控制、机械设备的基本动作控制。数据逐层传递,往往因为数据时频上的差异,丢失了大量的细节,甚至不能完成有效的数据传递,加之与业务逻辑的强耦合性,关联特征标志的提取过程非常复杂,所以数据很难得到充分利用。因此解决这一挑战,各专业的融通发展最为重要,一方面制造业对于数字化及智能制造的认知还存在不足,更为关键的是ICT从业者往往对工业领域缺少业务专业积累和知识沉淀,缺少将制造业与ICT技术融会贯通的实践经验[2]。

韩国POSCO开发的PosFrame平台以及印度塔塔公司的一些实践,把工序和工件、产品数字化,并把这些工序和工件、产品数字化所得到的数据收集、关联、储存,通过智能分析的手段获得知识,去指导或直接用于控制,来改善运营的经济技术指标、产品的质量水平、优化生产工艺乃至提升安全性等。但是,如何更系统地进行生产过程、工件、产品的数字化,在什么范围建立数据采集、规整、存贮、分析和应用开发系统更合理,如何实现数据的覆盖面和运行高效的协同等,实际上都还是一些开放的问题。

宝钢以5 m厚板厂为样板对象,结合生产实际、业务需求驱动,开展了一系列数字化及智能制造的研发应用实践,建立了工厂级数据中心。该厚板厂于2005年建成投产,年产量200万t,建厂之初就采用了四级计算机控制系统,其架构符合GB/T 20720.1—2019/IEC 62264-1:2003和ANSI/ISA-95.00.01—2000企业控制系统集成的标准中的连续控制模式。

1 方案设计

宝钢5 m厚板的数据中心和智能制造平台PIDAS,其中PIDAS是Process Intelligent Data Application System的简称,旨在创建钢铁制造业过程智能化与数据应用系统,其中工厂级数据中心做为PIDAS的核心,总体开发思路是充分利用现有自动化四级控制系统的基础设施与数据资源,开发多频度异构工业数据采集、处理与存储技术,解决工业数据的关联问题,具体包括硬件平台与软件平台两个部分。

数据中心的硬件平台建立了基础计算与存储集群以及专用的数据交互与采集网络。其中自主开发的计算与存储集群为上层应用提供动态、高效和安全的计算与存储服务;数据交互与采集网络,在纵向上连接生产系统L0～L4层级生产控制与制造管理系统,在横向上跨工序连接炼钢、连铸、加热、轧制、冷却到精整以及离线热处理,并预留连接下级工序工厂的接口,全面实现制造过程各类异构数据的物理联通。

数据中心的软件平台充分利用国内外先进技术,建立自主的、安全高效的工厂级数据应用技术栈,避免商业软件的近期壁垒与远期风险,在当前技术封锁日趋严重的国际形势下意义重大。利用形成的技术栈,自主研发了数据存储框架、消息调度框架、数据采集框架、数据应用框架、高级功能框架、监测与报警框架。利用自主开发的多频度异构工业数据采集、处理与存储技术,主要解决数据的逻辑联通性(包括可获取性、异构性、关联性等问题),通过对各类数据的充分理解和研究,PIDAS系统通过实现一系列数据采集工具,在消息调度系统的统一指挥协作下,在物理互联互通的基础上,实现了工业数据高效采集、过滤、标签和关联的相关方法,解决了数据定义、质量与关联等方面的问题,为数据的最终应用建立了良好的数据基础。

通过图1所示的系统架构,PIDAS数据中心密切结合了轧钢工厂相关的营销、制造、生产、设备、管理、操作、研发等不同方面的工作需要,覆盖了轧钢工厂全流程的数据,针对不同角色、不同场景开发实现了相应的数字化、智能化应用功能。

2 方案实施

2.1 数据中心硬件平台

厚板轧钢工厂的硬件平台,包括数据中心基础硬件平台和数据采集网络。

2.1.1 基础硬件平台

数据中心基础硬件平台围绕工厂级综合数据中心的异构数据采集与智能化控制进行设计开发,性能、功能和稳定性满足平台要求。该数据中心具备以下特征:

图1 PIDAS系统架构

(1) 总存储空间在200TB以上,为整个厚板大数据系统的存储基础;

(2) 提供运行和管理30～40台独立服务器的能力,作为整个厚板大数据系统的计算基础;

(3) 具备在线热备份能力;

(4) 硬件构架具有较强的无缝扩展能力;

(5) 硬件构架具有较强的热恢复能力。

该基础硬件平台为轧钢工厂数字化和智能制造解决方案的数据综合性应用层、大数据应用层、人工智能应用层的开发部署提供了基础条件。

为了满足上述的技术特征,数据中心使用了平台虚拟化技术进行规划、实现,包括计算虚拟化和存储虚拟化。通过使用控制程序(Control Program,即Virtual Machine Monitor或 Hypervisor),隐藏特定计算平台的实际物理特性,为数据中心提供抽象的、统一的、模拟的计算环境。

采用虚拟化技术,将一台服务器的资源分配给了数台虚拟化的服务器,有效利用了资源,确保应用程序发挥出最高的可用性和性能,大幅提升效率;保证了在共享物理资源的同时相互完全隔离,在可用性和安全性方面,虚拟环境中运行的应用程序远优于在传统的非虚拟化系统中运行的应用程序;虚拟服务器独立于硬件进行工作,通过改进灾难恢复(信息技术与管理概念,指自然或人为灾害后,重新启用信息系统的数据、硬件及软件设备,恢复正常商业运作的过程)解决方案提高了业务连续性,当一台服务器出现故障时可在最短时间内恢复且不影响整个集群的运作,使数据中心的运行更加可靠;降低了部署成本,也间接降低了安全等其他方面的成本;系统兼容性大幅提升,所有的虚拟服务器都与正常的x86系统相兼容,可部署多套不同的系统,将因兼容性造成问题的可能性降至最低;此外,平台运维管理难度、工作量也大幅下降。

2.1.2 数据采集网络

数据采集网络是数据中心的基础。该数据采集网络由硬件防火墙、主网络节点和采集终端集群组成。该数据采集网络保证了厚板数据采集的能力和范围,为确保数据中心数据采集内容完整性、实时性提供了硬件保障。

整个网络拓扑的设计、配置和管理均自主完成,采用了终端节点的端口隔离和VLAN技术,数据采集网络与主干业务网络之间隔离,保证指定的IP、端口、应用可以通过,其他不明数据不能通过,设置访问控制列表,对通讯端口和IP进行检查后再进行接入。既保证了数据中心网络的安全性,同时也保证了数据采集效率。

数据采集工作完全覆盖宝钢5 m厚板从轧制线到精整、剪切和热处理等生产关键工序,如图2所示,包括二切、炉前、加热、轧制、预矫直、冷却、热矫直、精整、追加小工序、热处理、检验,并将表面检测仪表和探伤仪表等特殊仪表、专业仪表纳入到数据采集工作中。集中了厚板产线各工序设备层L0、基础自动化层L1、过程控制层L2、制造执行层L3、产销管理层L4、数据仓库等各层级数据。

图2 PIDAS数据采集网络示意图

2.2 数据中心软件平台

数据中心软件平台是支撑PIDAS系统高层功能的底层专用系统框架。实现系统的存储、调度、采集、应用和监测等方面的基础软件功能,对数据综合应用层、数据知识性应用层、数据智能应用层的各类应用软件功能提供底层基础。能够满足轧钢工厂对实时数据(毫秒级别)、准实时数据(秒级别)、过程数据(分钟级别)、仓库数据(月级别)的存储和查询的容量和性能要求。

软件平台具体包括数据存储框架(DSF,Data Storage Frame)、消息调度框架(MDF,Message Dispatch Frame)、数据采集框架(DCF,Data Collection Frame)、数据应用框架(DAF,Data Application Frame)、高级功能框架(AAF,Advanced Application Frame)、监测与报警框架(MDF,Monitor and Alert Frame)等。

数据存储框架(DSF)提供分布式的多类型数据存储系统,如图3所示,实现统一的数据存储框架,支撑整个厚板大数据系统数据的存储和获取功能,同时实现数据整理功能,该功能将采集服务获得的数据进行整理,包括标签、关联和统计处理等,并将处理的结果存入DSF底层存储单元。

DSF为数据库类型数据(Oracle,DB2)开发通用型数据采集库;为结构化文档类型(JSON,XML,ENV)、非结构化文档类型(正则表达式,模式匹配)开发通用型数据采集库;为PLC数据类型(PDA)开发通用型数据采集库;利用通用型数据采集库针对每个数据采集对象开发具体的数据采集服务;针对特种仪表,开发相应的数据采集服务;对于专业仪表,在专业采集系统上二次开发,开发出相应的数据采集服务。

数据采集框架(DCF)负责对各种类型的数据采集任务进行管理和调度,其中包括增、减和配置采集任务,采集任务触发管理,多个采集任务并发、串行管理,采集任务执行结果的管理,错误信息管理等。

数据应用框架(DAF)负责对建立其上的各种类型的数据应用(DAs)提供公共功能的支撑,其中包括如何同步地完成数据服务请求、如何异步的完成数据服务请求、各类统计算法的实现、各类分析算法的实现、各类图表的生成、各类报告的渲染、权限管理等。

图3 数据存储框架(DSF)数据处理过程示意图

2.3 数据中心安全措施

为保证工厂级数据中心的网络与数据安全,硬件方面,在基础自动化、过程控制网络的出口处部署工业安全防护墙,通过防火墙再接入数据采集网络。数据采集网络与公司内部信息网之间,部署商用防火墙进行隔离,保证指定的IP、端口、应用可以通过,其他不明数据不能通过。由于数据接入点较多,1台主机感染病毒就会对系统产生较大影响,数据采集网络在主机接入的交换机端口上启用访问控制列表,限制通讯的端口和IP后再进行接入。

软件方面,数据中心软件平台的系统运行监测和报警框架(MAF)是一个分布式的系统状态主动监测和报警系统。MAF负责监测DAF、DCF和DSF内每个节点的系统运行情况,包括计算负载、内存使用量、存储空间、网络状况等,并根据配置对出现的问题进行报警。

3 应用实践

做为厚板数字化和智能制造平台PIDAS的核心,宝钢5 m厚板工厂级数据中心从2015年逐步建立以来,已稳定运行5年多时间。

由图4可以清晰地看到,PIDAS建立的数据中心绝不是传统意义上的MES或类似的制造管理系统的数据库,它是实现了厚板工厂级跨工序、跨平台、跨层级的数据收集、规整、标签、存储、查询、分析和智能应用功能,解决了厚板厂工业异构数据高效采集、存储、使用难题的工厂级的数据中心。更深层次上,正是由于建立了跨工序、跨平台、跨层级的数据中心,使得当前PIDAS不仅可以为制造管理系统提供更丰富、更先进的制造管理模型,而且也为生产过程管控提供更优化、更精准的过程控制模型。比如基于数据中心的业务价值多视角的可视化技术,解决了工业数据多维度表征,满足业务需求的可视化难题;基于数据中心的业务知识化建模与持久化技术,解决了流程型工业数据价值挖掘的难题,建立了从流程型工业数据提炼知识,再将知识应用于在线控制的创新路径;基于数据中心的多系统动态协同智能控制技术,解决大数据与智能化在流程型工业中缺少应用场景、无法落地的难题,实现了真正有价值的应用,开启了轧钢工厂智能化控制的路径。

通过上述的数据中心与在其基础上开发的各类应用,宝钢5 m厚板取得了效率、效能和质量的快速提升,并获得了知识传承上的好处,为企业创造了巨大的经济效益和社会效益。

图4 当前PIDAS在工厂控制系统所处位置示意图

4 结论

(1) PIDAS数据中心的开发是5 m厚板工厂从自动化、信息化过渡、升级到数字化、网络化、智能化的核心与基础。通过开发多频度异构工业数据采集、处理与存储技术,解决了工业数据中心建设的核心问题。

(2) 建立轧钢工厂PIDAS数据中心的硬件平台,包括数据中心基础硬件平台和数据采集网络,使得宝钢5 m厚板的数据采集工作完全覆盖从轧制线到精整、剪切和热处理等生产关键工序,包括特殊仪表、专业仪表,集中了厚板产线各工序设备层L0、基础自动化层L1、过程控制层L2、制造执行层L3、产销管理层L4、数据仓库等各层级数据,为实现轧钢工厂数字化和智能制造提供了基础条件。

(3) 建立轧钢工厂PIDAS数据中心的软件平台,实现系统的存储、调度、采集、应用和监测等方面的基础软件功能,对数据综合性应用、知识性应用、智能性应用的各类应用软件功能提供底层基础。能够满足轧钢工厂对实时数据(毫秒级别)、准实时数据(秒级别)、过程数据(分钟级别)、仓库数据(月级别)的存储和查询的容量和性能要求。

(4) 宝钢5 m厚板充分利用现有基础设施与数据资源,紧密关联核心业务、数值应用场景,实现了跨生产工序、跨控制层级、跨数据采集和存储平台的数据中心。