张晓龙,余 海,边小勇
(武汉科技大学 计算机科学与技术学院,湖北 武汉430065)
现在许多工业生产线都采用高速测量装置、分散控制系统 (DCS)和可编程逻辑控制器 (PLC)等设备,这些设备产生了大量的生产数据。这种生产数据是连续到达、实时变化的海量数据序列,被称为实时数据流。它是实时、连续、有序的数据序列,每个数据出现的顺序和时刻都不可控制[1-4]。现有的这些控制设备由于受到存储空间的限制,难以长期保存实时数据,通常采用的方法是提取数据中的少量特征信息之后,数据流不予保存。进而导致无法追踪以前的生产实际状况,也就无法利用实时数据分析工艺生产过程。同时,大多数工业企业的ERP系统已经构建,现有的ERP系统没有与生产过程建立实时联系,使企业管理者不能及时、准确的掌握生产过程,给生产过程管理带来障碍。
李志强等[5]讨论了实时数据在石化企业的应用,基本实现了实时数据的采集和展示;石钢等[6]研究了实时数据在电厂的应用,介绍 (plant information,PI)实时数据库的基本技术和生产机组的性能计算;王正风等人[7]探讨了实时数据的存储、查询,以及实时数据与关系型数据的数据同步技术,为我们进一步挖掘实时数据流的应用潜力提供了参考。以上的研究表明实时数据库在电力企业以及石化冶炼企业得到了比较好的应用,但是在钢铁行业应用成果还比较少。此外,现在的实时数据库应用主要方向还集中于实时监控、实时报警和简单报表等相对较简单的功能,对生产过程能力管理等高级应用涉及较少。
基于以上原因,本文设计和开发了钢铁生产过程实时管理系统。通过采集实时数据,根据过程管理的基本方法对钢铁生产过程进行监控,改变了厂级控制系统和企业级ERP系统之间的信息孤立状态,实现了生产过程精细和精确管理,提高了生产管理控制水平。
钢铁企业的实时生产监控系统一般由客户端模块和服务器模块组成,在增加了关系数据库管理模块后,整个系统的服务器端包括实时数据流管理服务器和关系数据管理服务器,前者负责采集和保存现场采集的实时数据流,后者负责管理实时数据流中抽取的特征值信息以及各种生产工艺的标准信息。客户端运行后同时与两个服务器交互,从实时数据流服务器取得实时数据展示趋势,从关系型客户端取得特征值数据展示产品生产整体状态。实时数据流服务器是系统的数据基础,它要保证采集数据的完整性、及时性,此外存取数据的高效与否关系着能否实时监控生产过程。
钢铁实时数据流管理模块是为了现场生产数据的实时准确采集,从而使得管理人员及时监控生产状态,实现不进入现场也能掌握实时生产情况。其功能需求如下:
(1)生产实时数据的及时、准确采集。对于系统中直接连接生产车间仪表的工艺数据,其产生的数据上传到实时数据管理服务器,再传输到客户端展示,中间的延时不超过10秒。从现场临时数据中心转发的工艺数据,再传输到客户端展示,中间的延时不超过5分钟。通过实时采集和展示生产数据,才能使生产管理人员及时发现问题,从而及时解决问题,避免发生大的生产问题和生产事故。
(2)生产实时数据的完整、长期存储。生产中的实时数据是企业的宝贵财富,是分析生产过程的基础。系统需要采集到生产线的所有工艺,甚至包括多个厂区、数十条生产线的成千上万个工艺点。这些实时数据/历史数据需要在线保存三年,在此之后需要下线进行永久保存。
(3)实时数据流管理模块的开放性。关系数据管理模块需要从实时数据模块提取特征值,企业的ERP系统也需要从中获取生产状态信息,未来的决策支持系统和数据挖掘系统也需要能够从中获取数据。
钢铁企业的实时数据管理模块中保存的是一系列的按时间序列排列的生产工艺数据,并不能直接的展示生产情况,工艺数据和产品数据脱离了连接。通过关系数据管理模块整合产品和工艺数据,使生产状态清晰地展示给用户。其功能需求如下:
(1)校准工艺起止时间。在现场生产环境中,所有工艺的测量位置都不在同一个位置,钢铁产品经过各个工艺点位置的时间就不相同,所以关系数据管理模块需要校准每个工艺的起止时间,这关系着工艺特征值的计算是否准确。
(2)计算产品 (钢卷)的工艺特征值。钢卷的工艺特征值包括工艺的最大值、最小值、平均值和标准差,工艺特征值能从宏观上反映生产状况。在关系数据管理模块中通过校准工艺起止时间后计算产品的工艺特征值。
(3)与企业中其他系统的通信。关系数据管理模块需要能够从企业原有的ERP系统中获取工艺生产标准,也要求能够将特征值上传给企业的ERP系统。
系统的客户端运行在企业管理部门、技术管理部门和生产操作车间。企业管理主要查看各类统计报表,包括工艺参数周报表、月报表、季报表和年报表,对工艺生产的整体情况进行掌握,为生产经营决策提供数据支持。技术管理部门查看工艺的历史数据,调查工艺某段时间生产的稳定性,为改进工艺过程提供数据参考。生产操作车间查看工艺的实时监控画面,工艺报警或生产异常时及时调整设备,避免出现重大生产和质量问题。
图1所示为某钢铁企业的整体的实时生产过程管理系统的整体架构。本系统主要由实时数据采集、数据管理和系统应用三部分组成。生产厂区的实时数据库首先由各厂区的过程控制系统采集,然后通过过滤压缩后上传到实时数据管理模块中,对实时数据管理模块中的工艺数据校准工艺时间、提取特征值 (最大值、最小值、平均值和标准差等)后存储到关系数据管理模块中,供客户端应用程序使用。
实时数据采集模块是本系统的基础,只有及时准确的采集数据才能真正发挥实时数据的作用,为过程管理水平的提高提供数据基础。
在现代钢铁企业各分厂的生产车间中,已经建立比较完善的工业控制系统,为了有效的利用现有的资源,同时也避免直接采集控制仪器数据对生产带来影响,本系统是从现有生产车间的工业控制系统中的控制服务器获取数据。车间控制服务器的数据通过接口程序写入实时数据库。同时为了隔离车间的局域网和企业的内部网络,对每个车间配置一台双网卡的接口机,既实现了数据的采集也实现了网络的安全访问控制。
图1 钢铁生产过程实时监控系统结构
本系统实现了各主要生产车间和厂区的主要参数的实时数据采集,采集到的实时/历史数据包括了各个厂区、生产线和主要工艺点的历史数据和实时数据,可以全面监控各个厂区的实时生产情况。
数据管理模块是本系统的核心部分,存储了所有采集的实时数据和历史数据,特征值数据和标准数据。本模块又分为两大部分:实时数据流管理服务器和关系数据管理服务器。
在实时数据流管理领域,实时数据/历史数据的高效存取关系着系统的应用效果,在工业生产中一般把实时数据流存入实时数据库。目前实时数据库产品有美国Wonderware公司的Industrial SQL,美国 OSI soft公司的 PI(plant information),美国 AspenTech公司的 IP21 (Info-Plus.21)。在本系统中,我们选用PI实时数据库作为实时数据流管理服务器存储实时数据流。PI实时数据库系统是基于客户/服务器 (C/S)、浏览器/服务器 (B/S)结构的商品化实时数据库平台,在压缩效率、容量和响应速度上与其他实时数据库相比具有明显的优势[8-9]。
实时数据流管理服务器负责存储历史/实时数据,提高了系统的稳定性和可靠性,本系统采用双服务器备份模式,一台服务器主要用于采集实时数据,一台服务器主要用于前端监控使用,可通过配置任意切换其使用方式。
目前,实时数据流管理服务器中已经加入了4个厂区的15条生产线的5000余个工位点 (可根据用户需求继续添加,目前最大支持点数是10万),每个工位点对应现场工业控制系统中的一个工艺,现场每增加一个工艺测量点,可在实时数据流管理服务器中建立一个工位点与之对应。在实时数据流管理服务器中存储的是工艺点的实时测量值,是一个值和相应时刻的数据。
在实时数据流管理服务器中是通过创建归档文件来保存实时数据,在本系统中,目前创建了500个大小为1G的归档文件,按照目前的实际使用情况预计可以保存5年左右的历史数据。归档文件采用的是循环使用的方式,当第一个文件使用完成之后,接着使用第二个文件。当所有文件都全部使用完之后,清空最早使用的归档文件,从该文件开始继续循环使用。为了避免历史数据被覆盖,在归档文件使用完之前,采用文件拷贝的方式把归档文件备份到其他磁盘中,实现数据的永久保存,当需要使用这部分数据时,重新把归档文件接入实时数据流管理服务器即可。
关系数据管理服务器中存储的是以钢卷分类的工艺特征值数据、从ERP系统下发的工艺标准数据和产品检验结果数据。实时数据流管理服务器的主要优势在于能存储大量的实时数据、响应速度快,但是在保存生产线的层次结构、对象之间关系等方面略显不足。本系统采用Microsoft公司提供的大型关系数据库SQL Server 2008作为关系数据管理服务器。关系数据管理服务器也采用双机备份的方式,服务器1主要从实时数据流管理服务器中收集工艺特征值、获取从ERP下发的工艺标准和产品检验数据,服务器2从服务器1中使用订阅-发布的方式同步数据,用于客户端查询。
系统应用模块通过查询实时数据流管理服务器实现对生产过程的实时监控,根据关系数据管理模块中工艺标准对工艺的实时状态进行报警,提醒生产人员对生产过程进行干预,使得生产过程中出现的问题能够得到及时处理。同时用户能够对钢卷生产的历史信息进行查询,包括工艺参数的长期趋势、历史钢卷数据、钢卷的工艺缺陷信息、各类统计报表和工艺生产的过程性能。
生产过程实时监控系统以Windows Server 2008作为服务器,实时数据流管理服务器使用两台服务器主机采用双机备份的方式,采用PI实时数据库作为实时数据流中心,提供实时数据存储、查询服务,关系数据管理服务器也使用两台服务器及双机备份的方式,采用SQL Server 2008作为关系数据中心,利用 VB.NET+Process Book (OSI Soft ware公司提供的客户端开发工具)进行开发,实现了实时数据流的采集、与企业ERP系统通信和实时数据流在客户端展示等功能。
由于系统中分别采用PI实时数据库和SQL Server 2008数据库作为实时数据流管理服务器和关系数据管理服务器,而关系数据管理服务器需要从实时数据流管理服务器中提取产品信息和工艺的特征值,所以需要实现实时数据库和关系数据库之间的通信。PI服务器提供了两大数据访问接口:PI ODBC和PI SDK。PI ODBC是PI的开放数据库互连接口,使用户可以完全按照访问关系数据的方式访问PI实时数据库。PI SDK是PI数据库软件开发包,包含了访问PI实时数据库所需要的 API函数[10-12]。
在本系统中,使用的是PI ODBC。通过在SQL Server 2008中建立到PI服务器的链接服务器,在此链接服务器的基础上就如同操作关系型数据库。通过把PI实时数据库中的工艺特征值、工艺起止时间等导入SQL Server关系数据库,便于客户端查询产品生产状况和工艺特征值并且同时上传给企业的ERP系统。
在钢铁生产线中,通常在生产线的结束部分测量钢卷的开始和结束时间,而大部分工艺的测量位置并不在生产线的结束部分,所以钢卷的起止时间并不是测量工艺真正的起止时间,为了更好地反映生产实际情况,在本系统中对工艺的起止时间进行了校准。
对于少量极其重要的工艺,在生产线中的工艺测量位置同时设置了焊缝检测仪。当钢卷通过焊缝检测仪时,焊缝检测仪的测量值发生跳变,在系统之中把焊缝检测仪也同时设置一个工位号,焊缝检测仪的实时数据也可以保存至实时数据流管理服务器中,根据这些跳变值就可以获得钢卷通过该工艺的准确时间。
然而对绝大部分工艺并没有类似焊缝检测仪之类的工艺时间测量仪器,通过在钢卷起止测量位置设置一个测速点,并以该点作为判断钢卷行进速度的依据,可以通过以下方式对工艺起止时间进行校准vi)/2]*(ti+1-ti),Si与δL 进行比较,其中,vi是测速点在第i个测量值速度,ti是第i个测量值时间,δL是该工艺点到钢卷起止位置测量点的距离。计算工艺开始时间,t1是钢卷测量点的开始时间,当Si>=δL时,ti为该工艺的开始时间;计算工艺结束时间,t1钢卷测量点的结束时间,当Si>=δL时,ti为该工艺的结束时间。
通过校准工艺的起止时间能够准确的计算工艺的特征值,为查询和报表的生成提供了实际可靠的数据,使得使用者更精确追踪钢卷工艺的历史情况。
在钢铁生产中,所有工艺都需要有过程控制的标准范围,只有按照标准生产的产品才能是合格产品。为了反映工艺的达标状况和设置报警状态,需要各个工艺的过程控制标准数据。
工艺的标准首先由标准部门按照订单生成一条长字符串记录,该标准记录是经由企业的ERP系统使用WaLink软件 (一种使用TCP报文协议传输数据的工具)传送到本系统的关系服务器。服务器使用存储过程通过定义的报文结构解析工艺标准记录。报文结构定义见表1。
表1 工艺标准报文结构
在报文字符中严格按照字段的顺序传递工艺标准,其中,长度表示该工艺标准所占字符串长度,类型中C表示字段是字符型,F表示字段是浮点型,N标准字段是整型。
钢铁生产过程实时监控系统的建立实施为企业构建了一个实时数据管理平台。在这个平台上开发了一系列生产过程管理的应用,包括过程能力管理、工艺生产实时监控、工艺历史趋势追踪和各类统计报表功能,企业可以根据不同需求发挥生产现场的实时数据流的作用。
过程能力 (process capability)是指生产线生产产品质量好坏能力,它衡量生产过程内在的一致性,也叫工序能力[13]。
过程能力指数 (capability of precision,Cp)被定义为工艺控制范围的宽度除以过程能力。它是指工序中生产因素均处于规定的条件下,产品所应该具有的质量水平。Cp计算时要求工艺的均值μ与工艺的控制中心M重合,否则偏移的增加将导致Cp值变小,不合格品增加[14-15]。本系统在实际计算过程能力指数时,充分考虑了工艺的实际生产情况,采用修正后的过程能力指数Cpk来衡量生产过程。一般情况下当Cpk≥1.33时此生产过程能被接受
式中:UCL——工艺的控制上线,LCL——工艺控制下线,M= (UCL-LCL)/2,μ——所有样本的均值,σ使用R/d2或/c4估计,其中是所有子组极差的均值,S所有子组标准差的均值,d2、c4为修正系数,可通过查询国际 《常规控制图》GB/T4091-2001表获得。
系统采用PI实时数据库中的工艺点数据计算过程能力指数,衡量生产的过程能力,计算时工艺点的数据精确到秒级,在没有实时数据的情形下,企业只能根据一批钢卷的工艺平均值计算过程稳定性。此时,实时数据库的使用使企业的过程能力管理能力有了精确的衡量表2是一段时间钢卷的某个工艺的过程能力指数。
表2 钢卷工艺过程能力指数
在表2中为厂区1在一段时间内生产的钢卷信息,通过计算每个钢卷的温度测点1的所有实时值形成的Cpk值。通过比较,这段时间的温度测点1的Cpk值均大于1.33,因而认定生产过程较为稳定。
过程性能 (process performance)是一个过程总体生产能力衡量,反映的当前过程的状态。
过程性能指数 (performance of precision,Pp)被定义为工艺控制范围的宽度除以过程性能,它反映的一段时间的系统的实际状态。Cp与Pp的区别在于Cp的计算要求生产过程是在稳态下,其σ使用/d2或/c4估计,分别是子组的极差的均值和子组的标准差的均值;而Pp反映的实际生产状态,不一定要求是稳态下进行计算,其σ使用S进行估计,S是所有样本点的标准差。本系统在实际计算过程性能指数时,为了避免公差中心与样本均值之间的偏移,采用修正后的过程性能指数Ppk来衡量生产过程。一般情况下过程被接受的评判标准为Ppk≥1.67
式中:UCL——工艺的控制上线,LCL——工艺控制下线,M= (UCL-LCL)/2,μ——所有样本的均值,σ使用S估计,S是所有样本的标准差。
从计算过程可以看出,过程能力指数计算时使用子组的标准差的均值估计σ,充分考虑了子组之间的波动,其反映的是短期的过程能力;而过程性能指数使用整体标准差估计σ,关注的是样本整体的生产状况,其反映的长期的过程能力。
由于过程能力指数反映的生产过程的长期过程能力,所以在系统中计算单元不再是单卷钢卷,而是按照某类生产订单或工艺大类计算过程能力指数。表3是一段时间的生产过程性能指数。
表3 工艺生产过程性能指数
在表3中为厂区1在一段时间内生产的钢卷信息,根据工艺类别计算该类别的多个钢卷的温度测点1的所有实时值所形成的Ppk值。通过比较,这段时间C1、C5、C7这三个类别的钢卷的温度测点1的Ppk值均小于1.67,所以这段时间的生产状态略差,而其他类别的钢卷的温度测点1的生产状态良好。
为了监控工艺的实时状态,同时也为了直观地反映各个工艺在生产线中的分布情况,在系统中按照现场设备的分布情况绘制了生产流程图,在图中对应位置展示不同的工艺,使用户能很快熟悉使用系统。在流程图中一个数值能对应一个工艺点,显示该工艺的实时数据。为了及时同步生产数据,工艺点的刷新频率一般可设置为5秒,对于少数变化频率高的工艺,设置刷新频率为1-2秒。图2为某生产线的实时监控画面。
图2 工艺实时监控画面
在图2中实时显示当前正在生产的钢卷信息,包括钢卷号、速度、温度和厚度等重要工艺参数的实时数据,用户可远程查看当前的生产情况。
实时数据流管理服务器还具有使用较小的空间存储大量的数据的特点,用户可以访问任意时间段的任意工艺的数据,本系统保存的工艺数据都是秒级的数据,这使得工艺分析人员在需要分析工艺历史数据时不用再为没有数据或数据不足而烦恼。系统中提供了工艺的历史趋势跟踪功能,用户通过该功能可以比较任意时间段的趋势,也可比较不同工艺在同一时间段的趋势,为用户改进工艺提供了历史数据依据。图3是某工艺的一段时间的趋势。
工艺历史趋势图描述了工艺的长期趋势,通过趋势图能够掌握不同钢卷、不同时期该工艺的走向,工艺人员通过工艺的趋势图分析工艺、改进工艺。在图3中,一个柱状图为一卷钢的工艺趋势,前面较低的柱状图和后面较高的柱状图为不同钢种类别的钢卷,其整体趋势具有较大差异。
图3 工艺历史趋势
为了衡量一段时间工艺生产的整体状况,本系统提供了各类生产统计报表功能,为管理部门掌握生产状况提供了依据。本系统充分利用实时数据流管理服务器的优势,所有的统计报表都精确到秒级数据,改变了以前的报表粒度比较粗糙的状况,生产线中的任一点变动都能反映到报表中,例如工艺合格率报表不再根据工艺平均值合格即合格,而是计算该工艺的所有测量点,以合格点数与总点数之比获得工艺合格率。
系统还结合了报表功能和历史趋势追踪功能,当管理部门发现报表中出现异常状况时,可以查询工艺的历史趋势,从而找到异常的原因,为管理措施的制定提供了详细的数据依据。
本文提出了一种利用钢铁企业实时数据流建立实时数据中心的方法,系统整合了各厂区、生产线的实时数据和历史数据,使得这些宝贵的企业数据能长久保存,为企业搭建了一个基于实时数据流的应用平台,使得企业生产过程中的实时控制系统与企业级ERP系统之间存在信息孤岛得以消除,全厂信息均衡,实现了精细化的过程管理。管理人员、工艺人员只需在系统客户端前即可了解历史/实时生产情况。管理水平也上升到一个新的高度,用户获得不再是一个粗糙的平均值,而是整个实时生产过程。实时数据流的应用还有更宽广的应用前景。
:
[1]ZHANG Xiaolong,ZENG Wei.Research and advances of realtime data stream clustering [J].Computer Engineering and Design,2009,30 (9):2177-2181 (in Chinese).[张晓龙,曾伟.实时数据流聚类的研究新发展 [J].计算机工程与设计,2009,30 (9):2177-2181.]
[2]Park N H,Lee W S.Grid-based subspace clustering over data streams [C]//Proceedings of the 16th ACM Conference on Information and Knowledge Management.Lisbon:ACM,2007:801-810.
[3]QI Kaiyuan,ZHAO Zhuofeng,FANG Jun,et al.Real-time processing for high speed data stream over large scale data [J].Chinese Journal of Computer,2012,35 (3):477-490 (in Chinese).[亓开元,赵卓峰,房俊,等.针对高速数据流的大规模数据实时处理方法 [J].计算机学报,2012,35 (3):477-490.]
[4]CHEN Y X,TU L.Density-based clustering for real-time stream data [C]//Proceedings of the 13th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.California:ACM,2007:133-142.
[5]LI Zhiqiang,SHI Hongrui.Design and application of PI realtime database in petrochemical enterprises [J].Automation In Petrochemical Industry,2008,54 (6):54-56 (in Chinese).[李志强,石红瑞.PI实时数据库系统设计及在石化企业中的应用 [J].石油化工自动化,2008,54 (6):54-56.]
[6]SHI Gang.Application of PI real-time database in SIS of power enterprises[J].Modern Metallurgy,2010,4 (2):57-59(in Chinese).[石钢.PI实时数据库在电厂SIS系统中的应用[J].现代冶金,2010,4 (2):57-59.]
[7]WANG Zhengfeng,HUANG Taigui,GE Fei,et al.Application of PI real-time database in wide area measurement system[J].Electrotechnical Application,2008,27 (5):66-67 (in Chinese).[王正风,黄太贵,葛斐,等.PI数据库在广域测量系统中的应用 [J].电气应用,2008,27 (5):66-67.]
[8]YANG Yuanyuan,WANG Xining,WANG Jianhua.Application of real-time database PI in enterprise MES system [J].Automation &Instrumentation,2009,24 (12):38-40 (in Chinese).[杨源源,王希宁,王建华.实时数据库PI在企业MES系统中应用 [J].自动化与仪表,2009,24 (12):38-40.]
[9]LIU Hongxia,NIU Fuli.Research and improvement of data compression algorithm in real-time database [J].Control and Instruments In Chemical Industry,2010,37 (6):72-75 (in Chinese).[刘红霞,牛富丽.实时数据库数据压缩算法探讨与改进 [J].化工自动化及仪表,2010,37 (6):72-75.]
[10]PENG Chunhua,LIN Zhongda.Application of PI real-time database in SIS of power system [J].Industrial Control Computer,2003,16 (6):28-31 (in Chinese).[彭春华,林中达.PI实时数据库及其在电厂SIS系统中的应用 [J].工业控制计算机,2003,16 (6):28-31.]
[11]ZHANG He,LU Wuyi.To realize the communications between the OPC clients and the RTDB [J].Computer Engineering &Science,2008,30 (5):81-83 (in Chinese).[张河,鲁五一.OPC客户端与实时数据库通信的实现 [J].计算机工程与科学,2008,30 (5):81-83.]
[12]GAO Xiaodong.SIS-based data collection and process control data mining [D].Shanghai:Shanghai Jiaotong University,2009:24-26 (in Chinese).[高晓栋.SIS系统的电厂过程控制数据的挖掘研究 [D].上海:上海交通大学,2009:24-26.]
[13]MA Lin.Six sigma management [M].Beijing:Renmin University Press,2007:190-216 (in Chinese).[马林.六西格玛管理[M].北京:中国人民大学出版社,2007:190-216.]
[14]SHENG Zhirong.Some research on process capability analysis and process capability indices [D].Shanghai:East China Normal University,2007:7-23 (in Chinese).[生志荣.过程能力分析与过程能力指数的有关研究 [D].上海:华东师范大学,2007:7-23.]
[15]Pearn W L,Shiau J J H,TAI Y T.Capability assessment for processes with multiple characteristics:A generalization of the popular index Cpk [J].Quality and Reliability Engineering International,2011,27 (8):1119-1129.