煤矿大数据安全预警云平台设计

刘 斌

（神木市能源局信息指挥中心，陕西 神木 719300）

0 引言

煤炭开采活动受限于多变的复杂环境，近年来，由于国家高度重视矿山生产安全，2019年《煤安监【2019】42号国家煤矿安监局关于加快推进煤矿安全风险监测预警系统建设的指导意见》等文件先后出台，在现有安全预警系统和政策监管的共同作用下，国内煤炭开采活动形式略有好转，但仍事故频发。

目前国内众多学者对数字矿山、智慧矿区领域进行了不同的研究，略有成果。阙建立、罗香玉等人通过分析智慧矿区的特点，介绍了支撑智慧矿山的技术架构，吕情绪、窦林名等人通过大数据、云平台等技术智能判识冲击矿压风险与多参量监测预警。以上学者分别从不同角度对智慧矿区如何解决精稳预警难题进行深入探讨，但仍存在以下几个问题：首先基于大数据的智慧矿山预警平台须保证数据的精确实时性，但实际数据采集过程中难以达到数据准确性，在遇到大面积悬顶隐患、老空水害、自燃发火隐患等问题时无法及时预警。

智慧矿山的建设离不开海量多元异构数据的处理，鉴于此，以数据为基础，以大数据云平台技术为依托，提出一种煤矿大数据安全预警云平台技术方案，以期分析煤矿安全数据，为矿区安全精稳预警决策提供数据支撑。

1 煤矿安全预警平台建设面临问题

自陕西煤矿安全监察局【2020】152号文件《关于做好矿用设备监察管理系统联网和设备管理工作的通知》发布以来，保证人员与设备的可靠环境任务重中之重，这些人员与设备的可靠环境包括通、采、掘、机、运等80多个子系统，这些子系统相互协同配合，构建成了一个庞大复杂的运行体系，在工业互联网、工业物联网、大数据、云平台背景下，这一运行体系也逐步从机械化、自动化、数字化向智能化、智慧化方向发展。陕西省煤矿信息化建设也逐步由数字矿山、感知矿山向智慧矿山转变，虽然取得一定成果，但是在数据处理方面仍存在多方面挑战。

1.1 保证获取数据准确性

矿山的生产数据主要由基础数据、传感器感知数据和外部数据组成。目前，填报数据获取的真实性、周期性较差，一些非结构化视频数据获取的真实性、实时性较好，感知层采集的数据真实性、实时性仍需增强。因此如何增强数据的可依赖性成为建设智慧矿山的关键因素之一。

1.2 全方位融合分析数据

数据作为信息的原始资料，是通过数字、图形、 文字、及介质来描述的事件、现象的特征，数据类型的研究是数据融合技术的基础。煤矿的安全预警平台经过多年信息化演变，已经衍生出海量的结构化和非结构化数据，它包括矿山矿压监测数据、GIS数据、瓦斯监测数据、矿图数据等，其中技术人员分析重点在不到5%的结构化数据，因此数据采集过程后并没有对数据进行深入分析、挖掘、关联、融合，使数据存在大量信息孤岛、业务鸿沟和系统烟囱，无法从更多的角度感知事故风险，进而不能真正将虚数据变成实数据，从而不能精稳实现风险预警和智能研判，难以实现安全关口前移。

2 煤矿安全预警平台关键技术

该文将大数据预处理技术和Hadoop云平台框架应用于煤矿灾害监测预警系统中，使用大数据预处理技术对感知层采集的数据进行清洗、集成、规约和变换，利用Hadoop计算框架和分布式框架及生态技术实现数据分析的可视化显示。

2.1 Hadoop云平台

Hadoop是一种分布式计算框架，可以对海量的数据进行分布式存储和分析，Hadoop项目结构如图1所示。

图1 Hadoop项目结构

云平台是以虚拟化技术为基础，以网络为载体的超级计算，其通过基础架构平台或软件等服务形式，整合了大规模可扩展的计算，存储数据应用等分布式计算资源来进行协同工作。从技术方面看，云平台的体系结构由物理资源、虚拟资源、管理中间控件和服务接口组成。从实现角度看，云平台体系结构由用户界面、系统管理、部署工具、服务器集群、服务目录和资源监控组成。

其中HDFS是一种分布式文件存储系统，它具有存储数据量大、流式数据访问等特点。一个HDFS集群具备两个管理节点NameNode和Secondary NameNode，还拥有多个数据节点DateNode。NameNode作为主服务器，它用来监控DateNode节点的运行状况以及协调存储任务或者文件分接任务的分派，Secondary NameNode的主要作用是协助主服务器处理映象文件和事务日志，而DateNode节点属于数据存储的基本单元，负责存储本地数据并定期上传到主服务器。

2.2 基于数据融合的大数据预处理技术

现实环境中单一传感器采集的数据容易受到煤尘、高温、水蒸气和辐射等因素干扰，大部分数据存在异常或缺失的脏数据，因此，要对数据进行清洗、集成、规约和变换，就要将异常数据进行丢弃或者填补，但直接将数据丢弃会导致数据样本减少，从而降低分析精准度。所以往往通过填补方法进行数据预处理，常见的填补方法有移动平均线插值法、AR模型插值法，但以上几种方法都是基于单一传感器对环境进行监测并且上述方法会将误差进行传导，存在采集信息有限、数据准确性低等问题。

数据融合技术是一种将通信信息、数据分析、人工智能等多种技术集成于一体的数据处理技术。可以有效解决以上几种问题，因此根据一些特定监测场景，例如瓦斯气体在巷道中运动的特性和在开采过程中岩移运动对支架围岩所产生的作用力的矿压特性，实现多元传感器集群的数据融合、采集、剖析、处理等过程。

3 煤矿安全预警平台设计

3.1 系统功能设计

基于大数据预处理和Hadoop云平台的煤矿安全预警平台主要由多元传感器集群、煤矿数据云存储中心以及交互中心三个部分组成，系统总体结构如图2所示。

图2 系统总体结构图

该平台的主要功能：将传感器集群采集到的数据通过较优的存储策略上传并存储到平台上；将传感器集群采集的数据汇总起来进行资源和管理的再分配，并对这些数据进行深度挖掘和数据融合处理，对矿山风险进行有效预警，实现安全关口前移。

数据采集功能的结构由微震与围岩应力测量系统以及它们各自的接入端、云处理服务器和通信网络组成。数据采集功能流程为：各个煤矿将接入端实时生成、更新的微震和围岩应力测量数据以包的形式通过工业以太环网上传到云处理服务器中，随后云处理服务器将这些包文件进行归类转换，矿区上传的数据包文件类型主要有W震动波型文件Data文件、含有文字和图表的压缩图文文件Surfer文件、报表文件Plot文件、数据库类型文件SOS文件以及其他类型文件，云处理服务器将Data文件和Surfer文件进行图形化处理后转换成图片格式存到云端，再将处理后的Surfer文件底图与SOS数据库文件相结合经过数据融合技术最终显示到云共享平台上。因此数据采集功能主要有文件归类、文件转存、可视化功能，功能结构图如图3所示。

图3 数据采集功能功能结构图

煤矿灾害数据具有数据规模大、数据种类的以及数据延伸范围广等特点，针对以上数据特点若采用关系型数据库，则会遇到数据结构不便调整等问题，因此该文选用云存储这种具有扩展性强、可靠性高的存储架构作为处理庞大的安监数据最适合。各个煤矿将接入端实时生成、更新的微震和围岩应力测量数据通过工业以太环网上传到云处理服务器中并存储到MySQL数据库或Hbase数据库，对上传文件类型来说，则将分好类的文件存到HDFS中，因此云存储框架如图4所示。

图4 云存储框架

该文设计的HDFS集群包括4个Node节点，通过副技术可以有效提高数据的可靠性，但在实际情况中副本存在性能和存储差异并且煤矿灾害的突发性导致经常要对数据进行读写操作，HDFS系统通常采用默认副本策略，该策略会使数据副本随机集中存在某个上Node节点上，发生监测数据在Node节点分布不均的情况，严重则导致负载溢出的现象。因此该文采取基于节点性能的副本存储策略，该策略可以有效将读写或并发操作发散到多个节点进行并行处理，降低系统响应时间，提高资源利用率。具体实现思路如下：首先将4个Node节点的存储空间利用率、CPU利用率、磁盘读取速率、传输速率、内存占用率作为指标列建立一个4×5的指标矩阵并对其进行规范化处理，依次定义每个指标的权值为=0.2、=0.1、=0.3、=0.3、=0.1，对矩阵进行赋权后得到矩阵，通过分析可知每列指标的最大值和最小值，然后通过欧式距离法求出每个Node与最大值和最小值的距离，最后选出个节点作为最佳存储副本的节点。

操作人员通过构建数学模型对传感器集群采集的多源数据进行影像重构操作，生成优化数据层，再应用到云共享平台，最终显示当前预警信息图件。该文采用基于特征的数据融合技术，在处理服务器把Data文件和Surfer文件进行图形化处理并转换成图片后，抽取原始信息中的特征信息，特征信息需具备原始信息的充分表示量或充分统计量特点，根据生成的图像波普利用小波变换对其进行频率域-空间域的变换和多层分解，再对待融合数据统计方差和均值，确定子带和基子带的融合值，最后通过小波逆变换重构图像。

3.2 云平台设计

在3.1.1中提到将分类好的监测数据通过计算机群组搭建的Hadoop集群将海量多元异构数据文件批量存储到云端上；在数据层上，HDFS集群可以对其进行删、改、查等操作；云共享平台的预警显示是采用B/S模式，通过应用层的接口调用HDFS API，进行Hadoop集群交互，访问HDFS；通过用户层可以进行注册、登录、访问云平台获取一系列的灾害分析情况。该文的Hadoop云存储框架如图5所示。

图5 云存储平台结构划分

该文搭建的Hadoop集群硬件信息见表1。

表1 硬件信息

软件平台为Linux Ubuntu 14.06操作系统，开发工具为IDEA，软件所需环境见表2。

表2 软件环境

4 结论

该文以煤矿安全预警平台为背景，针对传统煤矿安全预警数据采集过程中难以达到数据准确性，数据存在大量信息孤岛、业务鸿沟和系统烟囱不利于对数据进行深度挖掘、分析和融合等问题，结合大数据技术和云平台框架对海量数据进行处理，该平台保证了煤矿生产高效、稳定、可靠运行。