智能矿山大数据采集与云传输研究与应用

赵 奕,何煦春,张维国,石 磊,韦永兰,丁 涛,马文利(中国恩菲工程技术有限公司,北京 100038)

1 前言

矿山信息化和智能化的基础是数据,数据采集和存储服务是矿山数字化转型的核心,将数据知识化,知识图谱的发现和数据规律的挖掘,为矿山智能化决策,打通IT和OT,实现矿业两化融合的关键。

数据采集装备是围绕矿山行业的物联网、大数据、云计算、5G技术、人工智能等深度融合的关键环节,大力推进智能化装备、智能化系统等技术的研发、创新和应用,是进一步提高矿山生产效率和智能化建设的必然选择,是建设安全、高效、绿色的智能矿山的重要任务和未来矿山创新发展的方向[1-2]。

金属矿山数据采集主要存在以下问题:①地下矿山环境复杂,多为无线与有线(主干网)混合网络,低带宽状态下如何数据抗干扰安全稳定传输;②金属矿山作业地点分散且不同时期不同厂家建立的采集系统标准与规范不同,多源异构现象明显,如何进行数据融合等问题[3]。

随着云计算与大数据时代的到来,物联网技术飞速发展,数据上云已经成为趋势,传统的集中式系统应用逐渐表现出其局限性,数据的采集逐渐向分布式形式倾斜。在此背景下,本文研究设计一套分布式大数据采集研究,用以解决金属矿山企业传统采集系统低带宽稳定传输和多源异构融合等问题,以保障矿山数据的高效采集与存储,为后期大数据分析打下坚实的基础。

2 综述

2.1 研究背景

本研究为十三五国家重点研发计划项目“基于大数据的金属矿开采装备智能管控技术研发与示范”中课题“金属矿山开采过程及装备数据智能采集与融合技术”的支撑研究,主要针对谦比希东南矿体数据采集智能代理开发与分布式系统构建。

2.2 研究目的

本研究为“金属矿山开采过程及装备数据智能采集与融合技术”的组成部分,涉及的关键研究包括:

①矿山开采过程及系统多维度数据采集与通信;

②矿山生产装备及系统数据融合与存储系统构建;

③矿山生产装备异动数据语义识别、检索与可视化。

本研究应用的目的是为其他课题的系统构建提供数据支撑,形成“智能矿山大数据智能采集一体化解决研究”,实现数据从边缘端→云端→用户的大数据智能采集,为用户提供矿山生产装备数据采集、传输、存储、处理、检索等功能。

2.3 研究内容

研究的内容主要为:

(1)构建矿山本地边缘端数据采集系统,实现对智能矿山本地过程与装备数据的采集。

(2)构建云端数据传输系统,最终实现从项目现场(非洲赞比亚)至国内(天津超算中心)的大数据采集与跨洲传输。

3 技术研究及论证

3.1 技术路线分析

数据采集在工业上的使用大致可分为基于通用微型计算机的数据采集系统、基于单片机的数据采集系统、基于DSP数字信号微处理器的数据采集系统和基于混合型计算机的采集系统四大类。本文的研究主要基于通用微型计算机的数据采集系统。

矿山生产系统一般为非集中作业,各个工序控制系统较为分散、类型多样且网络环境复杂。为避免集中式数据采集系统配置复杂、灵活性差的缺点,本项目采用分布式系统适应矿山分散的、易变动的数据采集场景。分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统,分布式系计算机节性能要求不高,可以设计成为嵌入式的小型系统[4-7]。为此,本研究拟定的分布式数据采集系统的技术路线如图1所示。

图1 数据采集技术路线图

为实现矿山智能装备数据从“设备端”→“本地边缘端”→“云端”→“用户边缘端存储”的智能采集工作,针对不同的采集场景,组合采用

①数据采集器(Data Collector,缩写DC);

②数据采集智能代理(Data Agent,缩写DA);

③数据终端采集单元(Data Terminal Unit,缩写DTU)。

构成分布式系统来完成数据采集、传输、存储、处理、检索等功能。

3.2 系统架构设计

经过对矿山的数据采集场景进行梳理和总结,主要包括现场数据采集和云端数据传输两大场景,并经过场景分解后构建如下采集平台的结构,具体如图2所示。

图2 数据采集与云传输结构图

1)现场数据采集

现场数据采集主要实现了数据从“设备端”→“本地边缘端”的传输。这部分工作的主要特点是由于矿山现场存在多种工业通信协议,标准不统一、互不兼容,数据采集配置复杂,为此需要对采集的对象进行分类处理。经过对谦比希东南矿体现场调研分析,矿山现场数据采集对象主要有7类:移动装备、控制器、多功能表、上位系统、数据库、文件和流媒体。

(1)移动装备:铲运车、凿岩台车及各种卡车等。特点是需要加装传感器,一般采用无线+有线网络组合传输数据。

(2)多功能表:各种具有TCP/IP数采接口的仪表,如配电系统的电表等。特点是连网即可实现采集,有线无线均可。

(3)控制器:主要针对各种PLC、DCS等具有控制器的系统直接进行数据采集。特点是一般具有TCP/IP数采接口,有线无线采集均可。

(4)上位系统:针对各种上位系统进行数据采集。特点是上位系统一般可以提供一致的对外接口,如ModBus、OPC及WEB API等接口。

(5)数据库:针对各种实时/历史数据库、关系数据库等的数据采集。特点是这些数据库均提供一致的DBLink接口。

(6)文件:针对各种非结构化或半结构化文档数据。特点是该类数据采集属于文件的网络传输,具有成熟的传输协议,如FTP、SFTP等。

(7)流媒体:针对声音、摄像头视频及图像数据。特点是该类数据采集已经存在比较成熟的采集协议,如 RTSP、RTMP 等。

2)云端数据传输

云端数据传输实现了数据从“边缘端”→“云端”→“用户边缘端”的传输。分布式采集系统采用多个DA节点,包括多个本地边缘端DA节点、云端数据路由DA节点及用户边缘端DA节点。

分布式采集系统中的节点可以向其他任意节点推送数据,示范项目中的本地端DA可以经过华为云路由DA节点推送数据到恩菲的DA节点。

3.3 系统技术研发

整个平台的关键部分为 DTU、DC和 DA的研发。

1)DTU

数据终端采集单元(DTU)作为数据采集的边缘设备,实现现场设备的数据采集与传输。主要具有以下功能:

①集成TCP/IP协议:外置协议TCP/IP协议,具备TCP/IP数据通信功能;

②串口数据通信:支持将RS232、RS485、RS422等常见的串口转换成TCP/IP数据,并进行传输;

③支持自定义心跳包:典型的DTU被设计成支持永久在线功能。这要求DTU包括开机自动拨号和心跳数据包,以使其永久在线(当长时间没有数据时);

④参数配置及永久存储:在不同的应用中,数据中心的IP地址、端口号和串口的波特率是不同的。这一特性让DTU终端设备支持参数配置,并且配置的参数可以永久保存,主要是保存在内部的永久存储设备,比如常见的FLASH或EEPROM。用户开机后,DTU又会根据设定的参数自动工作。

2)DC

数据采集器(DC)的主要作用为工业现场数据转发及数据隔离功能。

在硬件方面采用物联网网关FameIoTVisit X300的定制化设备,主要硬件配置为RS-232口2个,485口2个/网口2路,WIFI,3G/4G/5G模块1个,防护等级IP30。

在软件方面,由于工业现场设备种类多、通信协议标准多,DC内置支持各种主流的工业通信协议的软件系统,包括 Modbus、OPC、DNP3、DLT 645、IEC 60870-5-104、西门子 S7系列 PLC、AB PLC、GE PLC等。通过配置多个不同通信协议的采集和转发通道DataCollector可以实现对使用不同通信协议的各类现场设备数据的稳定采集,并可以根据业务需要将采集到的数据转发到多个上层平台或系统中,实现数据一次采集多次复用,帮助用户降低信息集成过程的复杂度和成本。

3)DA

数据采集智能代理(DA)的硬件设备可以采用PC机或工控机,为取得最大的灵活性,本项目采用定制化低功耗小型化的计算机设备,其主要配置为CPU:I7/32GRAM/256GSSD;RS-232口2个,485口2个/网口2路,WIFI,3G/4G/5G模块1个,4USB。其上的操作系统为微软的Win 10 IOT Ent 2016,以适合低功耗设备运行。

DA软件的作用主要为汇集采集器中传递的数据,进一步将数据进行缓存处理并上传致云端进行处理。本研究设计如图3所示。

在本研究中的DA节点分为2种:普通DA节点和路由DA节点(Master Date Agent,简称MDA)。DA的共同功能包括数据库访问功能、分布式组网功能、文件与流媒体传输功能、消息功能、安全功能、模型支持、OPC UA、断点续传、数据缓存及定时任务等。此外,MDA节点除上述功能外,还包含节点注册及数据路由功能。

3.4 实验平台验证

由于该矿山位于非洲赞比亚,前期在国内搭建实验平台模拟现场数据采集与云传输应用场景进行验证,其结构如图4所示。

图4 试验平台结构图

实验平台搭建成功后结合DC、DA进行了大量的测试与验证工作,对研究技术路线、系统架构、系统技术方案及应用进行了充分的验证,测试报告包括:

①多代理分布式系统网络组网实验;

②移动设备数据采集实验;

③控制器数据采集实验;

④上位数据采集实验;

⑤与超算组网测试;

⑥文件传输断点续传测试;

⑦工业实时数据库Fame History访问实验;

⑧节点关系数据库自动同步测试;

⑨远程流媒体传输数据测试。

4 智能矿山项目实施

4.1 矿山概况

赞比亚是非洲中南部内陆国家,富含矿藏。该项目谦比希铜矿东南矿体位于赞比亚铜矿带的中部,距基特韦市(KITWE)28 km。谦比希铜矿东南矿体为新建智能矿山项目。

(1)采矿生产流程如图5所示。

图5 采矿生产流程示意图

(2)东南矿体大量采用先进智能装备及技术:卡车运输自动化、电机车有轨运输无人驾驶、铲运机出矿自动化、远程控制破碎锤及平板给矿机、全自动化双臂凿岩台车、单孔自动化中深孔台车、装药台车等。

(3)建设的信息化系统:采用Sandvik AutoMine实现铲运机远程自动化控制,并且采用Sandvik OptiMine对采矿生产及铲运机进行调度与日常管理。

生产信息管理采用Citect Scada+ Citect Historian汇总各个控制子系统数据,采用Ampla的数据分析功能对生产数据进行统计与分析。

(4)网络拓扑结构如图6所示。

图6 井下网络拓扑图

4.2 数据需求

1)采集装备

金属地下矿山的生产装备类型主要有采矿设备、排水设备、通风设备、运输设备、供配电设备和提升设备等。

2)数据类型

矿山领域的数据主要来源于现场设备、自动化、信息化系统等。从数据采集的类型上看,主要分为结构化数据(如各种时间序列数据、关系数据库数据等)、半结构化的数据(各种文档如 PDF、XLS、DOC等)和非结构化数据(音频、视频等)。具体来说,矿山领域主要应用的数据包括以下几种,具体见表1。

表1 金属矿山采集数据类型

3)数据

智能矿山实现生产现场的感知与执行,通过工业物联网,实现矿山的人、机、料、环等数据的全面感知与采集,提供生产实时监控和计算决策分析,并最终将决策指令发送给控制系统进行精准执行。通过全面感知提供智能矿山完整的数据支撑,精准执行实现生产计划、生产操作指令、智能决策的落地实现,最终落实在对生产设备的操作控制、工艺流程的优化控制,实现通过感知和执行体现业务系统的价值。主要采集数据:地测采数据、矿物特征数据、监测监控数据、生产运行数据、安全环保数据、设备数据、能耗数据、质计量数据等。

4.3 现场数据采集

1)系统结构

根据上述的研究并结合谦比希东南矿体的网络情况,规划出采集系统的结构如图7所示。

图7 谦比希东南矿体数据采集结构图

现场数据采集实现了谦比希东南矿体各类数据的采集。

采集的数据分类、类型、采集方式和协议汇总参见表2。

表2 金属矿山数据采集示范表

2)采集方案

根据地下矿山典型生产装备整理出五类采集装备的采集点位,具体如图8所示。

图8 生产装备采集点位参考图

具体的数据采集方案说明如下。

(1)遥控铲运车。铲运车等相关设备的数据均已采集到Optimine系统内,经与设备厂家协商后,开放Optimine相关的SQL Server数据库的只读账户,DA通过网络直接连接SQL Server数据库读取数据。

(2)水泵。将DTU安装到水泵本体上,通过硬接线等方式采集水泵本体相关检测数据后,使用无线(Wifi/4G)方式通讯到现场DC,后由DA完成数据采集后传输到云端MDA进行数据处理。

(3)风机。根据谦比希东南矿体现场实际情况,风机相关数据,通过融合控制网络将数据传输到位于采矿综合楼内的核心PLC内,然后再通过OPC DA通讯将数据采集到生产信息系统,之后存储到Citect Historian数据库,DA通过网络读取Historian数据库数据。

(4)井下配电设备。使用DC,通过Modbus通讯协议采集多功能表数据,使用无线/有线通讯方式通讯到现场DA完成数据采集后传输到云端MDA进行数据处理。

(5)提升机。使用DC的协议转换功能,通过Modbus-TCP通讯协议采集设备PLC控制器数据,使用无线/有线通讯方式通讯到现场DA种完成数据采集后传输到云端MDA进行数据处理。

(6)实时/历史数据库。使用DC,采用OPC通讯方式采集实时/历史数据库数据,使用有线通讯方式通讯到现场DA完成数据采集后传输到云端MDA进行数据处理。

(7)工程师站。使用DC,采用OPC通讯方式采集实时/历史数据库数据,使用有线通讯方式通讯到现场DA种完成数据采集后传输到云端MDA进行数据处理。

(8)视频(流媒体)。现场DA完成视频(流媒体)文件数据采集后传输到云端MDA进行视频(流媒体)数据处理。通讯网络可采用现有融合控制网络。

4.4 云端数据传输

云端数据传输研究需要DA和路由DA共同组建为多层分布式数据采集平台,具体如图9所示。

图9 云端数据传输结构图

云端数据传输研究包括三个部分的应用:

(1)谦比希东南矿体DA节点:由一个或多个DA组成,实现底层DC生产数据的汇聚采集功能,并且向华为云主机中的MDA节点提供数据或文件,数据暂存于云VPS的DB Server中,文件暂存于云VPS File Server中。

(2)华为云MDA节点:因为谦比希东南矿体所处位置在非洲,为实现跨洲际的数据传输,保证数据传输的稳定性,在本项目中采用华为云在非洲约翰内斯堡的云主机作为路由DA节点。该路由DA节点可以看作是数据的中转站,可以中转和缓存数据及文件,为恩菲/超算DA节点提供数据。对于实时数据的传输,MDA含有转换模块可以实时转换谦比希东南矿体传入的控制系统实时数据。

(3)恩菲/超算DA节点:其中含有DA用于接收数据、文件后存入后端数据库和文件数据库中供其他系统和用户访问。

数据传输步骤与结果:

①节点配置;

本次传输中涉及节点包括:

华为云MDA节点,名称cmic;

谦比希东南矿体DA节点,名称seob#cmic,连接控制控制上位系统实时数据库;

恩菲/超算DA节点,名称nscc#cmic,连接存储的数据库。

②设置传输任务;

首先,构建数据传输的lua脚本,该传输脚本的主要作用是通过谦比希东南矿体DA节点seob#cmic将矿山控制系统数据通过节点cmic将数据推送至节点nscc#cmic所连接的数据库中。最后,将此脚本配置为连续运行任务后启动运行。传输任务脚本示例如图10所示。

图10 传输任务脚本示例

③传输结果;

任务启动后,传输任务连续运行,每次将2 000条的数据存入nscc#cmic节点所连接的 SQL SERVER数据库中。实际传输数据57亿条,存储容量为178 GB,用时96小时,平均速度540 KB/S。图11所示为SQL SERVER表磁盘占用量。

图11 数据存储磁盘占用量

5 结论

随着科技的发展和进步,传统矿山企业逐渐走向数字化、智能化、网络化,不可避免快速产生大量数据。同时,矿山的分散的、易变动的数据采集场景以及跨网域的、云端化的数据采集的需求,决定了需要以一个灵活、易扩展的方式构建新一代的数据采集系统。

本文中的“基于多代理的分布式采集”的设计思想是将复杂采集任务拆分为多个节点子任务,进而节点自动组网后共同完成复杂的数据采集工作,系统在谦比希东南矿体实施后初步取得了不错的效果,将在进一步的研究中提高该系统的应用推广价值。