基于大数据的钢铁数字安全监控管理平台设计

周晓舸,姚文英

（北京首钢自动化信息技术有限公司,北京市100041）

基于大数据的钢铁数字安全监控管理平台设计

周晓舸,姚文英

（北京首钢自动化信息技术有限公司,北京市100041）

阐述了钢铁企业安全保障管理体系创新面临的形势,分析了大数据技术的内涵,提出了构建基于互联网、云计算平台、大数据分析及优化控制的钢铁数字安全监控管理平台的思路,并设计出相应系统。系统能够为用户提供合理的安全环保管理策略,实现对企业安全环保监管全程动态监控及长效预警,进一步提升企业安全监控能力。

大数据；云计算；钢铁数字安全监控；平台架构；安全环保管理

当前,我国经济已进入从高速增长转为中高速增长,结构不断优化升级,从要素驱动、投资驱动转向创新驱动的新常态,钢铁行业也随之发生新变化。进入2015年,钢铁行业仍然由于下游需求减弱,钢材价格大幅下跌,企业资金紧张凸显等处于转型升级的“阵痛期”,企业面临的生产经营形势依然严峻。同时,随着国家新修订的 《安全生产法》、《环境保护法》的出台,对钢铁企业生产经营管理工作中的生产安全和环境保护管理工作也提出了更高的要求。而保障生产安全和环境的因素数据众多、分散,不同类型数据包含的信息又各具特点,只有综合各类因素数据所包含的信息才能得出影响生产安全和环境的真正因素并预测出安全环境信息。因此探索既符合产业发展方向,又契合企业发展实际的分析方法去管控新常态下的生产安全和环境保护工作,为企业实现可持续发展提供坚实保障,是钢铁企业迫在眉睫、亟待解决的头等课题[1]。

在大数据概念提出后,我国将大数据纳入战略性新兴产业,并相继在各行业采取了一系列政策措施促进其发展。2015年4月12日,由京津冀三地科技主管部门推动,整合70余家钢铁企业、节能减排机构、高校院所及金融机构,以企业为主体,建立了以大数据为支撑的“钢铁行业节能减排产业联盟技术创新中心”,构筑我国钢铁行业第一个区域网络化的创新平台,推动我国钢铁行业污染排放达标治理。因此,积极推广应用“大数据、物联网、云计算”等智能化新技术与钢铁企业融合创新,推进“互联网+”行动计划,在企业安全环保管理方面着力建设数字安全监控管理平台,搭建钢铁安全生产保障系统,打造“安全钢铁”、“绿色钢铁”、“互联网钢铁”,目前是各钢铁企业对生产安全保障体系提质增效热点研究的一个创新模式[2]。

1 大数据的基本概念

1.1 大数据的定义

在“互联网+”正在向第一和第二产业全面渗透的大背景下,越来越多的数据使得单纯扩展服务器硬盘容量、提升磁盘阵列性能等传统的存储数据的方式越来越不适应企业的实际需求,以大数据技术为基础的分布式计算平台也必然成为时代的新宠,大数据分析也应运而生。大数据是指无法在一定时间内用传统流程或软件工具对其内容进行撷取、管理和处理的,需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的数据集合。而大数据分析就是通过收集、整理生活及生产中方方面面的这些数据,并对其进行分析挖掘,进而从中获得有价值的信息,最终衍化出的一种商业模式[3]。

1.2 大数据关键技术

大数据技术用于在成本可承受的条件下,通过非常快速(velocity)的采集、发现和分析,从大量化(volume)、多类别(variety)的数据中提取出价值(value)。其要处理的数据不仅量大,而且呈现非结构化的特点,因此在各个处理环节中可以采用分布式存储、并行处理等方式进行。大数据涉及的关键技术包括：数据采集技术、分布式并行处理技术、大数据挖掘分析技术、云计算等。可以说,大数据融合云计算已经成为IT领域新一代的技术与架构。

并行处理技术将传统的查询、分解及数据分析进行分布式处理,将处理任务分配到不同的处理节点,对数据一致性要求不高,具有很高的扩展性和可用性,特别适用于海量的结构化、半结构化及非结构化数据的混合处理。

数据挖掘和分析技术采用可视化分析、数据挖掘算法、预测性分析、语义引擎、神经网络等分析技术有效地从大量的、不完全的、模糊的实际应用数据中,提取隐含在其中的潜在有用的信息和知识,揭示出大量数据中复杂的和隐藏的关系。

云计算主要基于资源虚拟和分布式并行架构两大核心技术,将大量异构的服务器及网络、存储设备构建为统一的资源池进行监控和管理,并根据实际资源使用情况对资源池灵活分配和调度,从而为各类系统应用提供可扩展的海量存储资源及超强计算能力。云计算技术具有按需服务、超大规模、高扩展性、虚拟化、高可靠、通用化等特点。

2 系统设计

钢铁数字安全监控管理平台采用基于大数据技术的Hadoop开源架构,通过集群及节点的分布式部署,使数据存储于多个节点,利用节点分布式计算架构,并行进行数据的分析计算,从而有效解决了钢铁企业海量生产安全数据在传统集中存储模式下前期投入空置资源较多、而后期扩展需求不定的问题。系统能够动态扩展部署、在线升级,同时保持原有系统架构及设备平滑过渡,极大提升了生产安全数据（工业电视/安防视频、重要设备生产运行监控值、火灾消防设备运行值、产线运行监控参数、厂区环境监测值等）读写的效率,挖掘出生产安全价值信息进行分析,为当前流行的预防型和精细化安全管理模式提供科学、有效的安全危险因素和隐患分析,并提供相应的措施供安全管理人员提前预防或消除事故隐患。

钢铁数字安全监控管理平台架构[4]以Master节点（或命名节点）作为管理核心,其上运行多个后台服务（如JobTracker）,负责客户端服务的请求响应及反馈。采集的安全数据分布保存在HDFS（Hadoop分布式文件系统）集群节点内,通过HBase建立访问的索引。MapReduce对分布存储在HDFS不同节点的安全数据进行分解,以就近进行分析、计算。多个数据节点可以并行进行计算分析,然后将结果汇总,存储到HDFS或者反馈给客户端。钢铁数字安全监控管理平台架构如图1所示。本平台主要包括信息采集、信息传输、数据转发与存储、智能安全预警和环境评测、信息检索查询显示等部分。

图1 平台架构

2.1 信息采集

钢铁数字安全监控管理平台通过在钢铁生产线的各个重要安全监控点及环境检测点布局视频监控、传感器、数据采集器,借助平台定义的数据采集接口及通信接口,实时地利用传感器及数据采集器对现场生产设备的运行参数及环境参数,生产现场安防、消防、安全防护设备、环保设施的运行参数、厂区大气环境参数等进行采集,同时将采集的现场数据、视频图像进行合成压缩,然后通过无线局域网、互联网传入平台数据库中。

2.2 信息传输

钢铁数字安全监控管理平台基于WLAN无线局域网、互联网和GSM移动通信网络实现对信息安全、可靠、稳定的传输,满足大数据共享的要求。现场生产安全数据采集器通过WLAN无线局域网或局域网将数据传输至HDFS分布存储节点进行存储, Master节点与分布节点之间采用高速网络（千兆甚至更高）实现数据的交互,移动客户端则基于GSM移动通信网络与平台之间实现数据资源的互动。

2.3 数据转发与存储

在分布式监控节点中的虚拟机上安装转发及存储（类传统NVR或流媒体服务）软件,采用并发的、带有缓存的模块来处理数据交换,实现数据的存储及转发、虚拟机之间共享计算和网络资源。由于用户端设备所支持的数据格式不同,并且图像显示分辨率受到传输带宽的限制,在转发数据时需要对源数据流进行格式和分辨率转码,以适应用户实际的格式和图像分辨率。

2.4 智能安全预警和环境评测

24小时持续产生大量的生产安全视频摘要和特征数据,体量大、增长快、结构多样、价值密度低,借助Hadoop分布式存储技术,统一存储至Hadoop大数据集群,形成统一的大数据云存储资源库,使用Hadoop MapReduce分布式计算模型进行快速、多次、全局性的智能安全预警和环境评测。智能安全预警和环境评测包括实时预警评测分析和离线预警评测分析。安全预警和环境评测分析模式主要包括图像识别、行为检测、移动跟踪、设备运行参数对比、生产安全相关系统参数关联、环境参数与产线设备运行参数关联、安全/环境影响因素建模识别等。

2.5 信息检索查询显示

在监控中心采用Web技术,以图形化人机界面实现信息的实时/历史动态查询检索以及预警评测信息的实时显示报警。职工信息查询则采用多种常用的网络传播途径,扩散和发送实时和历史的生产安全和环境动态消息。职工可以根据自己不同的需求,通过短信、WAP网站、手机应用程序、互联网网站等方式主动感知周围人员、环境、设备,获知周围安全信息,及时获取预警预报信息,从而在灾害发生或即将发生时快速撤离危险区域。

3 结束语

如今在“互联网+”的强力推动下,互联网技术与制造业融合不断深化,同时也为钢铁业带来了新的契机。作为安全环保监控大户的钢铁企业以及各级安全监管部门,面对钢铁行业“三低一高”,即低增长、低效益、低价格,以及环保治理保持高压态势的新常态,应抢占先机,加速推进基于大数据技术的钢铁数字安全监控管理平台的建设,有效提升钢铁安全环保管理信息化水平,实现对安全生产的实时、远程和全方位综合监管,从而增强钢铁企业的安全保障、应急救援能力,有效防范和遏制安全事故发生,促进钢铁行业持续安全、稳定、健康发展。

尽管大数据技术较新,存在着很多问题,诸如：各系统互联互通缺乏统一技术标准、大数据平台建模分析稚嫩缺乏实践经验,大数据平台缺乏专业的规模运营等,其在钢铁企业安全监控管理的应用还在探索阶段,但大数据技术应该也必将成为提升钢铁企业安全监控管理水平的重要技术手段。钢铁数字安全监控管理平台建成后将从本质上提升钢铁企业生产安全和环境保护管理水平。

[1] 马小平,胡延军,缪燕子.物联网、大数据及云计算技术在煤矿安全生产中的应用研究[J].工矿自动化,2014,40(4)：5-9.

[2] 黄育德.大数据与钢铁企业生产力提升[J].经济研究参考,2014 (10):49-52.

[3] 孟小峰.大数据管理：概念、技术与挑战[J].计算机研究与发展, 2013,50(1)：146-169.

[4] 黄素萍,葛萌.Hadoop平台在大数据处理中的应用研究[J].现代计算机,2013（29）:12-15.

Design of Steel Digital Security Monitoring and Management Platform Based on Big Data

ZHOU Xiaoge,YAO Wenying
(Beijing Shougang Automation Information Technology Co.,Ltd.,Beijing 100041,China)

The paper describes rigorous situation of innovation of iron&steel enterprise safety security and management system, analyzes the connotation of big data technology,puts forward thought of iron&steel digital security monitoring and management platform based on Internet,cloud computing platform,big data analysis and optimal control,and the corresponding system has been designed.The system can provide the users reasonable safety and environmental management strategies,achieve dynamic monitoring and long-term early warming for enterprise safety and environmental during the whole period and further enhance enterprise safety monitoring ability.

big data;cloud computation;steel digital security monitoring;platform architecture;management of safety and environmental protection

TP393

B

1004-4345(2015)03-0048-03

2015-05-11

周晓舸（1984—）,男,主要从事冶金自动化、信息化、智能综合管理平台的应用与研究。