摘" 要:针对智能化矿井建设过程中由于各业务建立的智能化系统从而形成数据“孤岛”的问题,提出建立矿井级的数据平台。该平台通过全数据链闭环、数据集成共享、系统可集成性和多数据采集等方面解决数据共享和管理的难题。同时实现数据的全面打通和共享,支持多种数据源、格式、操作系统的交换,提供灵活的数据分析和展现并具备高度安全保密性。该平台的建设符合智能化建设规范要求,同时能够满足快速业务变化,保障数据的完整性和准确性。此外,该平台具备定制和扩展能力,支持移动端自适应,以及与其他平台对接,确保未来业务发展需求得到满足,为智能化矿井建设提供有效解决方案。
关键词:智能化矿井;数据平台;数据共享;决策支持;数据源
中图分类号:TD67" " " "文献标志码:A" " " " " 文章编号:2095-2945(2025)05-0099-05
Abstract: In view of the problem that data \"isolated islands\" are formed due to the intelligent systems established by each business during the construction of intelligent mines, a mine-level data platform is proposed. The platform solves the problems of data sharing and management through full data link closed-loop, data integration and sharing, system integrability, and multiple data acquisition. At the same time, it realizes comprehensive access and sharing of data, supports the exchange of multiple data sources, formats, and operating systems, provides flexible data analysis and display, and has a high degree of security and confidentiality. The construction of this platform meets the requirements of intelligent construction specifications, and can also meet rapid business changes and ensure data integrity and accuracy. In addition, the platform has customization and expansion capabilities, supports mobile adaptation, and interfaces with other platforms to ensure that future business development needs are met and provide effective solutions for intelligent mine construction.
Keywords: intelligent mine; data platform; data sharing; decision support; data source
为贯彻落实国家发展改革委等八部委联合印发的《关于加快煤矿智能化发展的指导意见》(以下简称“指导意见”),我国煤炭行业高质量发展总体思路、目标方向、量化标准和重点举措研究等国家相关政策,因此要加快我国煤矿智能化建设,推动煤炭行业高质量发展。智慧矿山指南中整体建设明确分为4大模块:设备感知层、基础设施层、数据服务层和应用层[1]。根据《指导意见》,国家能源局开展了T/CCS 001—2020《智能化煤矿(井工)分类、分级技术条件与评价指标体系》、T/CCS 002—2020《智能化采煤工作面分类、分级技术条件与评价指标体系》2项标准的制定工作,给出了智能化煤矿和智能化工作面分类、分级评价指标体系与评价方法,指导煤矿因地制宜地进行智能化煤矿建设,推进煤矿智能化高质量发展[2]。
智能化煤矿整合了人工智能、工业物联网、云计算、大数据、机器人和先进装备技术,与现代煤炭开采技术深度融合,形成全面感知、实时互联、数据驱动的智能系统。这些技术使得煤矿的开发、采掘、运输、通风、洗选、安全保障和经营管理等环节能够实现智能化操作和管理[3]。2020年底,国家发展改革委等印发的 《关于加快构建全国一体化大数据中心协同创新体系的指导意见》对加快构建全国一体化大数据中心协同创新体系给出了具体的建设指导意见。全国范围跨部门、跨区域,跨层级、跨行业和跨流域的数据大流动及基于应用场景数据治理的态势也已成型。生产矿井目前各业务信息系统具有多样化和复杂性,西北矿业公司信息化中心在面对“数据问题”的需求以及信息系统分散建设,信息服务难于获取和操作的矛盾越来越突出的问题时,急需整合资源,进行数据治理,实现数据价值,并进行大数据挖掘分析的目标。在大数据时代,数据治理是所有企业面临的巨大的挑战[4]。没有数据,企业就缺乏用于做决策的数据的支持。可是有了越来越多的数据,很多情况下却增加了管理数据的成本,需要真正地让数据产生价值却发现如何管理这些散碎在不同地方的数据,将数据有效地组织起来成了一个令人头疼的难题。以海量数据利用、智能生产支撑、管理决策支持和产业生态赋能为目标,基于国家政策、行业趋势、标准规范、业务理解与技术支撑, 首先,建立矿井级统一数据治理体系和数据仓库,实现全要素数据采集与治理,逐步构建和完善企业数据中台、大数据支撑平台建设,实现公司全要素数据采集,建立统一的数据治理体系、数据存储计算、数据治理服务、数据安全以及数据开发等组件,从而建立企业全域数据中心。其次、构建一个全矿级统一的数据共享和开放体系,提升企业自身效率,降低企业有效使用数据的门槛[5]。再次,开展基于具体应用场景的数据分析、挖掘与应用:基于一体化智能化数据支撑平台,以数据、算法、服务为核心,进行矿井级决策支持和生产经营数据分析和挖掘。最后,对基于数据智能的产业生态打造及业务进行持续创新:基于数据高效连接的业务协同、持续创新支持,基于机器学习的智能化产业生态构建。
1" 建设目标
智能化矿井一体化数据平台建设致力于为生产矿井构建“全”“统”“通”“智”的工业数据资源池及数据治理体系,基于“数字新基建”时代的数据价值思考,构建全域数字化矿区数据共享能力中心,助力生产矿井实现企业数字化转型,打通煤矿底层业务系统之间数据壁垒,加强煤矿整体管理和安全生产系数,为煤矿运营提供数据统筹模型,实现重点数据实时监控和数据共享开放服务[6]。智能化矿井一体化数据平台开放服务如图1所示。
遵循山东能源集团、西北矿业公司、生产矿井以及国家或行业相关管理要求、准则为基准,结合煤矿在用系统及未来新建系统的数据应用,以实施成本最低、影响最小、功能最优为原则进行综合分析,开展数据治理与数据仓库项目建设。通过平台建设形成一套煤矿的数据标准,构建统一的专业化的基础数据与编码管理机构及运维体系,指导、协助进行编码的编制使用和数据的开发应用。通过“以需求为导向”,构建数据仓库与数据治理分析应用,逐步建立数据中台、大数据平台、数据智能化应用体系,大力提升煤矿信息化基础支撑能力,积极破解网络互通难、数据共享难、业务协同难的“三难”问题,真正实现网络通、数据通、业务通。
1.1" 推进“一数一源”确认,明确数据质量责任
首先通过数据治理平台和大数据平台完成数据质量建设,从数据标准的建立,到基于标准的数据模型构建,到完全遵守标准的轻应用构建,生产出严格符合标准的数据,再到将合规的干净数据通过可视化采集方式直接回写数据中心库,形成一个高质量的数据闭环。同时建立严格的数据安全标准,实现在数据提供和数据传播上建立灵活可控的安全边界。接着建立数据服务闭环,即从数据采集、填报、管理到分析的全过程,形成完整的工具化支持体系,全程实现高度配置化[7]。
1.2" 构建统一的数据仓库
构建多源异构的数据仓库为数据质量管理及业务应用奠定基础。数据仓库应该结合业务系统的各类数据,在三范式和维度建模的理论指导下,进行科学、合理的数据仓库主题模型设计[8]。架构可扩展,满足后期数据应用的要求,覆盖部门全部业务。数据仓库建设方案实现数据利用的螺旋式上升迭代,同时梳理数据储存划分以及数据应用的层次界定;数据仓库主题划分应清晰、合理;数据抽取调度方案合理,对性能效率有保障措施;数据集市主题应明确;要分阶段逐步按计划建成完整的数据仓库。
1.3" 构建统一的数据治理平台
对采集到的数据进行必要的清洗和治理,以提高其可用性和增加其附加价值,建立统一元数据标准。建立主数据系统,通过数据质量平台进行数据统一性和完整性等加工处理,剔除一些无关紧要的数据,保留相关性较高的数据,建设数据资产全景图和数据之间血缘关系。同时可支持手工补录、数据修正和异常灾备等相关业务场景[9]。
1.4" 构建统一的数据交换共享平台
针对煤矿新建业务系统之间的数据交换共享需求,避免蜘蛛网式数据接口模式,基于服务总线和数据服务平台,建立煤矿统一的数据交换共享平台,统一数据交换标准和统一数据服务出口,支撑新建业务系统的数据交换需求[10]。
1.5" 满足数据可视化及智能分析应用需求
满足信息查询、统计分析、辅助决策的建设要求,提供数据内容服务应用和深度挖掘分析。精准地查询出有效数据,从信息海洋中迅速挑选出有用数据。实现全局信息的快速扫描、查询,实现对信息数据的分层展示。通过统计分析,实现灵活、柔性、可配置的数据分析统计报表,从不同业务维度、不同主题维度进行分析,并提供丰富的统计图类型和样式。
2" 建设架构
通过落实数据的资产化策略,并综合运用技术、组织和业务流程的协同作用,我们能够促进业务的革新与升级。在此基础上,根据业务需求构建智能化的数据模型,这些模型将辅助企业领导层进行更为精准的管理决策。特别强调数据的时效性,通过提供实时数据分析的能力,致力于构建煤矿行业的宝贵数据资产,进而实现数据的商业化。为了全面支持业务的多元化应用,提供了以数据价值为核心的统一数据服务,确保数据导向的决策支持和业务增长。实现数据采集管理自动化,数据治理/数据整合加工流程化,数据标准统一化/模型开发简单化,数据分析/数据使用智能化,致力于为企业矿区构建“全”“统”“通”“智”的大数据平台/数据中台体系。智慧矿山综合管控平台与数据仓库如图2、图3所示。
3" 建设内容
3.1" 构建高效交互的数据管理与治理框架
通过整合全煤矿各业务系统和职能部门的数据,建立统一的全域数据管理资源池,实现数据的整合和互通。在统一的数据标准、存储标准、治理标准和服务标准下,为外部提供高效的数据服务和应用支持。
3.2" 建设数据标准、数据资产汇聚体系
全域数据中台共汇聚煤矿所有业务系统数据。数据汇聚到数据中台后,由于各厂家标准不一致,系统间数据无法直接使用。为统一数据标准,将煤矿现有自编标准与集团和国家标准相结合,形成煤矿级统一数据标准。
3.3" 构建开放共享的数据资源体系
借助煤矿数据共享与开放平台以及数据交换平台,整合和管理积累的煤矿数据资产,建立统一的全煤矿数据资源共享目录。制定全面的共享开放工作机制,降低企业获取数据的难度,确立健全的企业数据共享机制。
3.4" 建设数据智能应用分析体系
将全煤矿现有数据及历史数据全部经过标准化清洗及数据治理沉淀入数据仓库,快速查找、分析海量数据,发挥、挖掘数据潜在价值,针对整体各个业务口数据的批量汇总,完成对数据的整体挖掘和分析,为领导决策提供数据支撑和管理依据。同时通过数据可视化分析、领导驾驶舱、数据资产大屏及数据智能感知大屏等进行展示。
4" 建设成效
搭建高效、完善的数据采集、治理、交换、共享、管理、质量、运维、建模、挖掘、分析和展现体系,达到以下建设要求。
4.1" 实现全数据链闭环管理体系
平台具备统一的底层数据体系,数据应完全打通,平台不同模块和功能间应共享相同的数据信息,必要时子平台或子模块间可互相调用功能。数据智能分析工具等应用平台能够充分利用全量数据管理平台的元数据信息、数据信息、数据血缘信息、数据质量规则和评估结果、数据脱敏结果等,并实现数据应用对全量数据管理平台和业务系统数据质量的反馈。平台应实现全数据应用闭环,即实现数据采集、数据交换、数据治理、数据服务和数据应用的数据联动,通过数据采集、数据交换实现信息产生和共享,数据治理提升数据质量,高质量数据支撑数据应用,数据应用反馈数据质量问题并通过数据采集和交换修正数据问题,提升数据质量,从而形成数据产生、数据质量和数据应用的数据生态闭环。
4.2" 数据集成共享
平台数据集成过程支持Linux、UNIX、Windows等操作系统平台,能够满足不同数据源、格式和管理逻辑下的数据交换需求。支持在全量数据管理平台和煤矿各业务系统之间双向传递数据,实现各类系统业务数据的实时共享。提供数据交换过程的可视化调度和监控,能够及时发现、定位数据交换过程中出现的各类问题和错误,描述问题和错误出现的原因并实时通知管理人员。
能够以图形化和拖拽的方式设计和定义数据抽取、转换、加载流程,并保证数据集成交换的稳定性和安全性,完成不同应用场景下从源到目标的数据交换。
4.3" 高度可集成的系统架构
平台必须支持开放的ETL(抽取、转换、加载)代码生成器,提供丰富的接口程序,支持异构数据源的共享和交换。能够与主流的关系型数据库(例如Oracle、Sybase、DB2、SQL Server、MySQL等)、消息中间件、Web Service、表格文本文件、XML文件、Excel文件、DBF文件和Word文件等进行对接,满足各种数据源的交换需求。平台支持同步和异步方式的数据交换及推送,支持交换任务运行周期的自定义调度配置;支持分布式可视化数据抽取方式,且数据抽取时支持数据源和目标源的动态适配和添加,对业务数据库不产生任何影响的情况下,数据实时同步到数据中心。
4.4" 支持多数据采集
支持煤矿业务基本信息数据、现有业务系统和煤矿数据文件的结构化数据采集。提供半结构化表格数据、办公文档(如PDF、Word等)数据和图片信息的采集功能,并支持在线浏览文件。
4.5" 实现数据的丰富呈现和交互
平台提供丰富的数据分析能力,包括纵向对比、横向对比、目标对比、阈值预警、趋势分析、占比分析、同比分析、环比分析、对比分析、排序分析和因素分析等,支持逐层细化展现方式,提供上卷、钻取、切片、旋转等分析手段,以“宏观→微观→明细→个体”逐层细化的方式进行辅助分析。
4.6" 管理操作简单
平台须采用可视化交互和配置工具,符合快速数据建模、数据转换、数据服务配置和调试等要求。平台能够梳理和管理各业务系统、全量数据管理平台标准的非结构化数据、结构化数据表、数据字段、同步关系等元数据信息,支持标准动态迭代,数据共享变更等,满足煤矿快速变化的业务需求。平台易操作、易维护,对于日常操作和配置性内容进行统一设计和界面化处理,非计算机专业人员经过简单培训即可使用系统功能,保证系统高效、有序、可靠地发挥其管理职能。系统应具备自检、故障诊断及故障弱化功能,在出现故障时,能得到及时、快速的维护。平台提供移动端数据管理、监控和呈现显示的良好交互,保证平台的全媒体全天候访问,支持移动化数据管理和应用服务。
4.7" 建设过程规范
平台的信息定义、采集策略、接口协议和传输协议符合相关国家标准、行业标准和技术规范要求。平台本身支持构建信息标准模型,避免直接操作数据库等不规范操作。平台能够检测标准数据模型和实际数据实体之间差异,及时发现和避免不规范操作导致的数据模型不一致。平台必须能够具备完善的全量数据管理平台建设过程监控功能,保证错误、不标准信息和操作的准确定位和及时提醒。
4.8" 标准设计科学,系统安全保密
平台信息标准建设遵循国家、集团煤矿和自定义的标准,能够制定符合煤矿实际需求的信息标准。支持数据标准的维护流程和制度建设,提供数据标准管理功能,确保标准的演变与历史数据的兼容性。平台能够合理保留历史数据的完整过程,做到数据准确、规避冗余、节约资源。
4.9" 定制扩展灵活,移动端自适应
平台具有开放、扩展灵活,响应灵敏度高,操作方便等特点,具备定制和二次开发能力,能够根据煤矿的业务需求变化进行快速调整,维护周期短,升级成本低。平台能够按照煤矿要求提供技术手段和服务,支持与其他煤矿平台的对接。考虑到项目在未来运行与管理过程中可能遇到的业务功能扩展和性能需求提升,设计时充分预见并支持这些增长需求。为此,将实施多种措施:系统将提供标准化的接口,以便第三方软件可以无缝集成,从而拓展系统的功能和应用场景;同时,支持集群部署配置,允许系统在多服务器环境中运行,以增强处理能力和稳定性,确保在业务量增加时系统仍能高效运作。这些设计思路和实施策略将保证系统能够适应未来发展的需求,保持其灵活性和可扩展性。
5" 结束语
本文探索了智能化矿井一体化数据平台的建设内容,涵盖了4个关键方面。建立高效互通的数据管理和数据治理体系;建设数据标准、数据资产汇聚体系;建设开放共享的数据资源利用体系;建设数据智能应用分析体系,将数据进行标准化清洗并沉淀入数据仓库,实现对海量数据的快速查找和分析,挖掘数据潜在价值,为领导决策提供数据支持和管理依据。智能化矿井一体化数据平台的建设使得矿井级数据管理、共享和分析能力显著提升。这不仅支持更好的决策和管理实践,还促进了煤炭行业的智能化运营和可持续发展。本文的探索经验为其他矿业企业提升数据管理能力和智能化提供了有价值的参考。
参考文献:
[1] 陈军,刘强,杨山.智能化矿井一体化数据平台建设中的数据共享与开放机制研究[C]//大数据与人工智能国际会议,2021:45-58.
[2] 杜毅博,赵国瑞,巩师鑫.智能化煤矿大数据平台架构及数据处理关键技术研究[J].煤炭科学技术,2020,48(7):177-185.
[3] 王洪,张晓,李刚.智能化矿井一体化数据平台中的数据标准化与资产汇聚研究[J].中国煤炭学会学报,2019,36(6):789-802.
[4] 任志成,时宝,胡继峰,等.煤矿安全管理智能化建设及发展研究[J].中国煤炭,2023,49(7):61-66.
[5] 薛国华.煤矿智能化建设的探索与展望[J].中国煤炭工业,2023(7):21-23.
[6] 吕铂,杨黎,李业.煤矿智能化运维平台构建研究[J].科技创新与应用,2023,13(17):50-53.
[7] 许夫鹏,徐京,张昭喜.基于大数据的矿井设备管理共享平台探索与实践[J].中国设备工程,2020(S1):281-283.
[8] 陈黎明.矿井智能化建设研究[J].中国设备工程,2023(15):41-43.
[9] 吴胜利.煤矿智能化矿井建设高质量发展现状及展望[J].现代工业经济和信息化,2023,13(7):316-318.
[10] 高凤丽.矿井煤质智能化管理系统研究与应用[J].洁净煤技术,2023,29(S2):702-705.