大数据在钢铁行业质量管理中的应用研究

◎ 王悦晓 施灿涛 杨星 吴秀婷

钢铁行业属于典型的资源密集型、资金密集型行业。伴随着多品种小批量定制化发展趋势以及高质量发展的必然要求，如何缩短产品制造周期、提高生产命中率、降低生产成本成为钢铁企业面临的重大问题。随着云计算、物联网等新兴技术的不断发展成熟，基于工业大数据构建全流程质量管理体系，对生产过程中的质量数据进行收集、存储、分析和预警等，可以更加科学地指导产品生产、质量标准修订及其他产品质量管理工作。因此，运用大数据技术推进企业全面质量管理日益受到钢铁行业的青睐。

钢铁质量管理存在的问题

产品质量管理是随着现代化生产的发展而逐步发展起来的，目前已进入到全面质量管理阶段。在产品质量管理过程中，存在着大量未能充分挖掘的数据价值，造成钢铁行业质量大数据资源的浪费。

1.数据采集信息孤岛现象严重

目前，大部分钢铁企业都在生产线上加装了各类传感器、监测仪等设备，以实现生产过程的相关参数检测和数据存储。但是受缺乏统筹、分步上线以及传统信息技术限制等因素影响，各生产线往往建立单独的数据采集系统，各系统数据共享困难，导致上下游业务之间存在严重的数据孤岛。下游生产环节无法及时得到上游质量数据，难以在生产环节及时发现质量问题，造成生产成本、废品率居高不下。因此，质量数据全流程管控、上下游数据充分共享对于建设大数据质量分析具有非常重要的作用。

2.数据质量控制面临巨大挑战

在数据质量方面，钢铁行业的质量大数据也适用“二八定律”，即少量的数采点位在质量数据分析方面占有较大的使用价值。在数据收集、处理过程中，受数据采集系统链路、硬件故障和人为因素等主客观因素的影响，数据质量问题广泛存在，而此类数据的大量存在将直接导致大数据分析结果出现偏差，不利于质量管理。

3.海量数据无法确保有效存储

钢铁行业内各种状态监测仪器逐渐向多功能、系统化和智能化方向发展，随之产生的铁水含量、高炉温度、气体含量和轧材硬度等大量生产质量数据，以秒级单位迅速增长，传统的关系型数据库和集中式文件管理效率已经无法实现对海量数据的有效保存查询与计算的功能。因此，要实现海量数据下的质量数据分析、挖掘，需对钢铁行业传统的数据存储技术更新优化。

4.数据价值尚未得到充分挖掘

当前，数据已成为企业优良资产。虽然我国钢铁企业自动化水平较高，数据收集仪器较全，但是大部分企业只是将海量质量数据作为产品缺陷的追溯基础，大量数据遗失，数据利用单一化、局部化等使得数据价值无法得到充分挖掘，也无法为自身带来可视的经济效益。

构建多源异构质量数据仓库

1.质量数据特征

大数据在钢铁行业质量管理方面的应用是基于全流程、全工序、全品类的综合性全流程质量管理数据平台，涵盖了质量策划、过程检验、综合判定和事后分析整个生命周期的管理流程。钢铁质量大数据是指能够反映质量特性的各类数据，钢铁行业质量大数据是在目前质量数据的基础上拓展到大数据范畴，其具有数据量巨大、数据处理速度快、数据多样性和数据价值密度小等特征。此外，钢铁行业质量大数据的收集特点、数据结构等还表现为：质量数据来源较多，主要包括设备底层仪器仪表、现场PLC控制系统、二级区域控制系统、MES系统、设备管理系统、ERP系统等；数据采集设备繁多，数据流通协议复杂；以结构化数据为主，同时涵盖声音、图像和视频等非结构化数据；非正常数据较多，数据降噪困难等。因此，应用大数据技术，构建多源异构的质量大数据仓库是实施大数据在钢铁行业质量管理应用的基础。

2.质量数据采集

钢铁行业质量大数据的采集涵盖产品设计、研发、采购和生产的全流程，从而为数据处理提供必要基础。数据采集实施中采用工业网关网闸等安全措施，保证现场控制系统所在工控网络与管理网络安全隔离。与周边系统集成，在数据清洗的基础上，匹配生产炉次号、轧批号等相关信息，实现数据按照毫秒级、秒级、分钟级等不同级别的工艺数据的定制化采集方案。

3.质量数据处理

数据处理是针对数据采集信息的可用性及边际价值进行必要的清洗，及时准确地分辨信息是否与质量管理工作相关，并确定其相关程度，剔除一些无关紧要的数据，保留相关性较高的数据。钢铁行业质量数据处理主要包括罐次号/炉次号匹配、轧批号匹配等，用于质量数据分析、追溯等相关业务。同时可支持手工补录、数据修正和异常灾备等相关业务场景。

4.质量数据存储

数据存储是构建质量数据仓库的关键。通过系统集成，采用历史数据库，将质量数据与配置、事件、概貌和生产业务数据集成起来，通过空间和时间上的整合，实现工艺过程参数（如温度、压力、流量等参数）、设备运行参数（如运行状态、电机温度、电机电流等参数）、检测设备数据等多源数据按照不同主题、不同应用场景的自动存储。

5.质量数据分析

数据分析主要是针对不同分析目标，多方向、多维度的对产品质量数据进行分析，如采集地工艺参数、设备运行状态参数等数据信息，通过人工智能、大数据技术等分析采集地大量质量数据，并根据不同使用目的建立产品质量数据平台，实现质量数据实时分析、预测和判定，为生产制造人员、质检人员等提供质量信息，同时还可以实现质量预警，保证产品性能更加稳定。

大数据在钢铁质量管理中的应用前景

大数据技术在钢铁行业质量管理中的应用主要体现在质量实时监测及预警、在线分析及预判、自动判定及放行、质量分析及诊断等方面，实现“事后检测”向“事前预防”的转变。大数据在钢铁行业质量管理中的应用有助于提升企业全流程质量综合管控水平和客户定制化服务体验，进而在企业转型、模式变革和生态进化等方面提供强有力的数据支撑。

1.质量在线风险预测

以传感器、物联网、数据仓库和机器学习等技术为依托，通过基于规则的知识库，搭建质量分析及预判模型，实现生产过程中的质量数据实时分析以及产品故障实时诊断，能够将事后质量管理转移至事前预测，有效降低企业生产成本。

质量预判主要包含质量异议的风险评估模型、质量异议严重程度评估模型以及质量异议发生概率评估模型。质量异议风险评估主要包含质量异议严重程度预测、质量异议发生概率预测。质量异议严重程度是指，针对预测可能发生的质量异议的风险程度的评估，是发生的质量异议不足以影响销售、产品降级、产品发生重大质量异议不能销售等量化后的结果。质量异议发生概率是指在以往产品生产过程中，生产的实际总数量与发生质量异议的产品数量之间比例的统计量。

质量预测在炼钢、轧钢生产过程中具有诸多应用场景，根据生产过程数据对钢水、钢坯、轧成品质量进行预判，为生产过程提供科学指导与决策支持，提高精细化管理水平。具体应用场景包含但不限于转炉终点磷含量预测技术、设备状态监测与维护预测、基于聚类分析的新钢种变形抗力预测、精轧厚度命中情况等。产品质量异议的风险评估能够帮助企业提高风险预警能力，将不合格品数量控制在较低范围内，从而提高企业的生产管理水平，降低生产成本。

2.质量监控及自动判定

对生产环节实时监控能够有效掌握生产现状，发挥质量管理的事中检测与管控的作用。一方面，运用大数据快速获取、处理和分析能力，为生产管理人员提供可视化交互引擎、人机交互管控模式、可视化关键信息展示。如碳当量、硫含量、轧成品规格、出炉温度、冷却速度等相关参数。另一方面，通过传感器网络将生产过程监控与企业运营联系起来，在加工过程中尽早发现存在的质量波动，并通过生产和企业运作的匹配尽早作出反应，实现对最优企业运作的预期并自动调整生产流程。

在钢铁制造过程中，各工序生产环节复杂，每个环节工艺参数设置较多，造成生产过程中诸多产品发生缺陷的可能性，如擦伤、温度过高、边裂以及划痕等。通过大数据挖掘，构建一个集成多方面的生产缺陷识别模型，利用图像处理、成分检测等技术将工艺参数与缺陷类型进行关联，分析缺陷类型及原因。通过质量预判模型的自学习特性，及时发现不合格品，实现产品质量分级管控。目前在此方面的应用已逐渐发展成熟，如智能缺陷系统检测技术、转炉炉衬侵蚀动态监视技术、转炉炼钢终点精准控制技术等。

3.全流程质量数据管理

全流程质量管理系统采用在线质量管理与离线质量管理相结合的方式，实现在线对生产过程工艺数据、性能数据的监控、质量决策，离线质量追溯和质量趋势分析。全流程质量数据管理涵盖铁水生产、炼钢、铸机和轧钢等钢铁企业生产的全流程的工艺数据、质量数据、生产数据的采集、存储等，实现对数据的抽取、集成和展示，从而为每一批次钢种的质量分析、质量追溯和质量决策提供有力的数据支撑。在数据处理方面，通过构建MapReduce①并行计算框架以及HBase②分布式数据库，为整个数据管理框架提供高效的数据处理能力，从而减少海量数据处理的难度。

建议

由于钢铁行业质量管理呈现出生产过程复杂、数据来源繁杂和通信机制众多等特点，因此提升钢铁行业质量大数据的质量是大数据处理的必然前提。

1.获取高质量的感知数据

明确设备对质量数据检测的要求，减少多读、漏读和误读的情况。预先设定机器读取数据的标准，采用更加先进的检测设备，从而在设备读取质量数据过程中减少冗余数据的产生。

2.构建高效数据清洗机制

在处理设备读取数据过程中，可通过基于规则发现、关联分析、聚类分析和偏差检测等多种方式发现异常的质量数据，并通过机器学习、冲突数据检测和规则学习等方式删除、修复异常的数据。

3.建立数据采集标准

坚持以应用为导向，从数据质量的定义、评价、分析及改进等方面进行闭环管理，从而达到数据质量管理的持续优化。

注释：

①MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。

②HBase是一个分布式的、面向列的开源数据库。