矿山机电设备运行大数据应用研究*

张新

(绍兴职业技术学院 浙江绍兴 312000)

0 引言

大数据技术是继物联网、云计算等技术之后发展起来的先进技术，大数据技术的出现和应用必将成为矿物开采与加工效益提升的倍增器，也将推动和加快矿山二化融合的进程。近些年来，我国矿物开采与加工设备快速发展，但是设备可靠性、稳定性和信息化等方面还存在诸多问题，特别是对各类数据的应用重视不够，数据信息孤岛和碎片化十分严重，大量数据没有发挥它隐藏的价值[1-2]。大数据技术在矿山领域的应用起步不久，发展势头较好，但是大数据技术应用总体还处于发展初期，本文以煤炭洗选加工为研究背景，以机电设备运行状态数据采集为切入点，提出了基于多传感器和LoRaWAN远程接入网设计数据采集系统，通过构建云计算服务中心的技术方案，详细阐述了矿山大数据技术平台的构建和数据处理流程，对机电设备工作数据和其它各类数据进行分析和研究，以机电设备运行数据采集源为例，对大数据分析做了一些尝试，并对存在的问题作了简要说明，为矿山大数据应用起到一个抛砖引玉的推动作用。

1 数据采集与数据传输系统

1.1 数据采集系统架构

煤炭洗选厂主要加工工艺包括对原煤进行清洗、筛选和加工处理等，这些加工工艺采用了各式各样机电一体化洗选设备，为了保障煤炭洗选的顺利开展，需要一定数量的信息化保障管理系统，洗选厂人-机-环-管等信息化系统产生出大量各种规格的数据，设备运行状态数据直接关系到煤炭洗选加工质量和效益，因此设备数据采集是洗选厂重要且关键的数据源，为此，设计和研究洗选设备状态数据采集系统，数据采集系统架构如图1所示[2-3]。

图1 数据采集系统架构

1.2 洗选设备与数据采集传输

煤炭洗选设备在二化融合的推进下，朝着互联互通、自动诊断、无人值守的方向发展[3]。选煤设备一般是指直接用于和辅助用于煤炭洗选的所有设备，如重介质旋流器、浮选机、浓缩机、加压过滤机等，以选煤机械为例，主要涉及分选、破碎、煤泥水处理、干燥、筛分、产品运输等设备，这些设备的显著特点是类型繁杂、设备多、连续生产、大型化、重型化和结构复杂。通常情况下，对设备故障诊断一般是在少量参数和数据的基础上，依赖专家的经验开展设备诊断，随着设备大型化、自动化的发展，设备状态监测数据爆发式增长，因此采用自动化监测手段对其工作参数监测是保障设备可靠安全运行的前提和基础，基于大数据分析可以评估设备故障状态，诊断发生原因，做到及时维护保养和维修，提高设备使用寿命。

煤炭洗选厂涉及电机、带式输送机、洗选设备、筛分设备、泵等多类型设备，洗选加工设备大多是大功率重型加工设备，往往对设备冲击很大，相对容易损坏。洗选设备长期处在饱和运行状态，机械磨损、疲劳、振动、高温、过载、超重等多方面原因，导致设备中的零部件变形、破损和发生故障，如轴承、振动筛横梁断裂和损坏侧板，或者烧坏电机、减速器损坏、输送带变形和断裂等。通过分析研究，洗选设备故障诊断和预知维护涉及多类因素，主要有电机电流、CST启动装置功率、声音、振动和温度等，但以振动和温度影响最大，设备其它运行环境也会造成不同程度影响，如室温、粉尘、湿度、人员安全、原煤等[1-2]。煤炭洗选设备运行状态监测对象主要包括电机、减速器、激振器等，设备的监测对象和监测点多，有的采样频率较高，而且需要持久连续不断地监测，因此产生大量的数据，通过对设备状态数据监测可为设备的运行和维护分析提供高价值数据。

设备状态数据采集系统基于LoRa远程低功耗通信技术开发，采用LoRa国际联盟推出的LoRaWAN协议标准和系统架构。煤炭洗选厂规模一般都较大，涉及设备多，单设备所需监测点和参数对象多，设备布设在工厂各个角落，覆盖区域较广，通信环境比较复杂，特别是洗选设备大多是大功率设备，会产生各种无线干扰，煤炭洗选厂自然环境较差，各种粉尘和物品较多，因此对数据采集系统在数据传输和信号采集提出较高的要求。基于LoRa技术的远程数据采集系统具有远距离、大规模、低功耗、低成本和抗干扰性强、穿透性好的优势，这些技术优势恰恰是洗选厂设备监测系统所需。基于LoRa技术的通信平台在复杂环境下通信距离超过2 km，可以同时实现较大规模的传感器接入，由于采用了自组网，可以大大节约通信费用，提高系统可靠性和实用性。数据采集系统主要设备包括：监测终端、LoRa通信基站、网络服务器和云计算平台。通信网络采用典型的星形网络，根据洗选厂规模配置LoRaWAN基站的数量，理论上一台基站能覆盖2 km半径范围的区域，为了提高通信可靠性和稳定性，依据采集数据流量，可适当增加基站数量，实现采集终端与基站之间多对多通信方式，大大提升通信效能。采集终端可以同时向多基站发送数据，通过传感器采集设备运行状态数据，以单跳通信方式，LoRa 射频模块把数据发送给LoRa基站。LoRa基站是一透明的中继网关，利用ADR 技术、多通道接收采集终端数据，LoRaWAN网络服务器接收网关转发的采集数据同时实施LoRaWAN网络管理，所有数据包括设备状态数据通过多种通信网络传输，最终输入云计算服务中心，利用大数据技术对洗选厂的各类数据进行储存、处理、分析、挖掘和可视化[4-5]。

2 基于大数据技术的云服务平台

2.1 大数据技术平台

大数据技术是一种在云计算平台基础上的数据分析与处理技术，主要涉及数据获取、存储、处理、挖掘、可视化和管理等核心技术。矿山大数据技术平台框架如图2所示，在平台管理的统一协调下，利用底层数据接口，把机电设备、监控、环境、管理等数据统一接入并进行抽取和清洗，基于Hadoop、HDFS、数据仓库(Hive)和分布式数据库(HBase)等技术，实现对海量数据的存储和访问。在算法服务管理和算法运行调度框架下，利用二类大数据计算引擎Spark和Storm，实现矿山机电设备大数据算法的离线和实时计算服务[6-8]。

图2 矿山大数据技术平台框架

矿山云计算服务中心数据处理流程如图3所示，服务中心实现了数据接入、筛选、存储、挖掘、处理和可视化展示等功能。数据是第一要素，在理解和分析矿山各类数据源的前提下，研究人-机-环-管相关的各类动态和静态数据，通过多种途径获取信息化系统的所有数据包括日志数据、感知数据等[9]。通过对洗洗厂各类数据(包括机电设备运行数据)相关的关键数据库分析，从而可以确定数据采集对象、要素、设备以及采集流程。利用多种类型的数据访问适配器，依据数据来源、存储方式和接口形式的特点，配接数据访问适配器，把采集的原始数据通过 ETL 工具进行抽取、净化、转换并加载处理，实现对各类数据的清洗和整理从而提高数据质量。矿业生产产生的海量数据基于云平台存储，把历史数据和信息永久保存。开展对生产业务(设备故障诊断和预知维护)数据多维度的分析、挖掘和知识评价，采用多种关联分析算法进行分析计算，对人-机-环-管监测数据分析，根据各分系统业务进行危险源特征、属性的多维度分析[10-11]。大数据数据处理技术主要包括离线计算方式和流式实时计算2种，通常离线计算适用于先存储后计算，数据系统性、准确性要求较高的业务模式，而流式实时计算一般用于动态性数据处理，动态数据处理要求实时性强、数据源多、处理速度高，具有可扩展性强、容错性好、性能优等特点。大数据处理十分强调数据可视化，以用户良好体验为最高设计准则，采用多种图形直观展示数据。

图3 矿山云计算服务中心数据处理流程

2.2 云计算服务应用系统

矿山云计算服务平台采用大数据分布式集群技术，基于Hadoop 和NoSQL技术为构建大数据计算平台体系[11-12]，实现海量数据的高效处理与存储。

以机电设备状态数据应用为例说明大数据应用系统，基于对机电设备温度、振动、电机电流、启动装置功率等实时状态数据采集，构成统一的IPO(Input-Process-Output)运行模式，设备状态数据采集系统产生并积累海量原始数据，这些数据包括参数变化和工况变化规律，结合运维信息数据库，利用大数据技术研究设备故障诊断模型和判据，对存储的海量数据，在线或离线方式进行数据挖掘与分析，实现机电设备故障诊断、可靠性和稳定性评估、故障类型分析和预测预警等。依据机电设备故障和隐患预测预警，建立应急实时联动机制，实现维护和管理人员的实时移动报警提醒，通过可视化显示技术及时对外发布，实现机电设备实时健康状态显示和调度服务。应用系统功能模块有：系统配置、数据存储与信息查询、故障诊断与预测、健康度评估、危险度评估等。

2.3 大数据分析技术

大数据分析(BDA)是采用描述性、诊断性、预测性和规定性的分析模型对所采集和存储的海量数据开展数据分析，针对特定问题的解答或发现新见解的过程，它可以告诉决策者最近发生了什么，预测和展望未来，提出可以采取的相应行动、路线和建议等。大数据分析的核心涉及模型建立和算法应用二个方面，这二方面也是矿山大数据技术应用的关键和难点所在[13]。

矿山机电设备大数据动态监测与诊断系统是矿山大数据分析平台的核心应用系统。基于大数据技术，以矿山各类各型设备生产规范规程为依据，结合综合自动化、在线监测以及矿山生产日常获取的动态和静态数据开展数据分析，利用设备状态、运行环境等海量多源数据进行深度融合分析，实现设备状态评估、故障诊断和预测预知，提高对矿山机电设备科学管理和使用寿命。矿山大数据分析的基础是海量数据采集和存储，通过传感器和LoRa远程传输平台构建的机电设备状态数据采集系统采集海量数据，结合监控、环境、管理和各类日志数据的获取，通过ETL的各种数据处理工具，整理合并归整填补后统一存储在云服务中心。大数据分析需构建数据分析模型，可以构建3类分析模型：一是通过关联分析、时间序列分析、回归分析、多维统计分析、聚类等方法分析各类状态数据，发现它们之间的关联关系及变化规律，建立历史知识模型；二是通过多维统计和挖掘分析的手段，构建设备状态评价、故障诊断和预测预知模型；三是随着认知的深入，通过智能学习和迭代，对各类模型(状态评价和故障诊断模型)进行修正、补充和完善[14]。针对机电设备，应用系统设计了设备动态诊断及风险评估预控、重大危险源预测预警、设备寿命预测评估、生产加工效能评估决策等主要模块，依据各自特点建立相应分析模型，采用回归树算法、贝叶斯算法、决策树算法等多类算法进行解算处理。以机电设备振动信号采集为例来分析研究，机电设备故障很大部分原因是由于振动造成的，在分析模型中主要考虑对采集的振动信号进行时域和频域分析，通过计算出绝对均值、偏态指标、峰值、有效值等多个特征指标来开展评价分析。对正常状态和待评估状态的振动信号进行预处理，各计算得出多参数特征指标，利用投影寻踪法对正常状态的特征指标进行投影，通过待评价设备运行状态投影参数指标对比分析，可获得设备的运行状态，实现早期故障预警和预知维护的功能[15]。大数据分析结果最终要面向用户，数据分析的展示是大数据分析的重要方面，数据可视化通过各种图形和线条直观形象地表征分析结果，目前大数据可视化软件和工具较多(如Datawrapper、Highcharts等)，可视情况依据所展示的需求选择合适的软件进行可视化处理，做到更加人性化地为用户服务。

矿山机电设备状态大数据分析目前处于初始应用阶段，无论模型的构建还是算法的应用都不是十分成熟，大数据分析的关键和核心是分析模型的构建，由于对大数据技术应用认知的不足，所建立模型很难在短时内较准确地反映设备状态的实际，需要在实践中提高认知和大数据技术的应用水平，通过不断的迭代应用来修正和改进。

2.4 系统平台构建与分析

矿山大数据分析管理平台处于起始初期，采用基于普通台式计算机搭建 Hadoop 云服务处理中心，用来验证大数据平台的实用性和基本性能。利用4台IBM-S822LC 服务器构建Hadoop 集群，服务器配置： NVIDIA Tesla K80 GPU、 内存256 G 、固态硬盘960 G以及 10 T的磁盘阵列，组成 Hadoop 集群的4台服务器中1台作为 Hadoop 的主节点即NameNode，其他3台服务器作为从节点即为DataNode,实现海量数据的高效处理与存储。

采用2种存储模式的实际使用对Hadoop 集群和Oracle 的数据存储性能开展测试，利用设备运行大数据统一描述后RDF(资源描述框架)的数据，实施海量RDF数据解析与加载，记录单机和集群系统对数据进行解析和加载的时间，结果表明：RDF三元组数据量在低于 1.23 M量级时，Oracle 系统运行性能明显优于大数据处理平台， 但三元组数据量超过 1.23 M量级后，Hadoop 集群的性能充分体现。另外，在大数据处理平台上进行了基于2种数据清洗模型的数据处理，在数据量较小时，基于时间序列的数据清洗模型效果较优，但随数据量的不断增大，系统初始化、中间文件生成与传递所耗时间相比数据清洗时间越来越少，基于双 MapReduce 的大数据清洗模型就突现明显的优势[13-15]。

3 结语

以矿山机电设备运行数据采集为切入点，采用多传感器基于LoRa物联网远程通信接入平台实现数据采集系统，实现了对矿山机电设备温度、振动等数据的实时采集，为矿山大数据提供了关键性数据。基于大数据技术研究矿山机电设备运行状态数据，提出了矿山大数据技术应用平台和数据处理流程，在云计算服务平台支持下，实现矿山机电设备各种异常状态和故障的预测与判别以及多参数之间相互关系的分析与预测，为大数据技术在矿山领域的应用提供借鉴。