基于多语义情景协同感知的煤矿执法系统研究

张瑞庭，付 元

（1.国家矿山安全监察局黑龙江局，黑龙江 哈尔滨 150007；2.煤炭科学技术研究院有限公司，北京 100013；3.煤矿应急避险技术装备工程研究中心，北京 100013；4.北京市煤矿安全工程技术研究中心，北京 100013）

煤矿日常安监执法是保障煤矿安全生产的重要手段。为了提高煤矿执法过程的高效性与客观性，郜彤等[1]研究了一套执法终端软件，在一定程度上实现了执法的规范化，但执法文书应然需人工制作，并打印后确认签字；刘梅华等[2]研究了基于捷联惯性导航的执法系统，实现了执法轨迹可查询，提高了执法信息的可信度；罗冬祥[3]针对现场执法过程了提出明确处置措施的适用情形以及优化了执法文书样式，解决了现场执法人员执法效用的疑惑；王浩[4]针对人工编辑的执法文书逻辑较差以及不规范等问题，设计了一种执法文书智能生成系统，提高了执法文书的智能化程度；刘建等[5]研究了基于“国家安监云”的执法平台，提高了执法效率。但在日常执法工作中，现场执法设备和技术相对匮乏，执法信息不能实时传输与更新，不能有效监管执法过程[6]，且主要以人工问答等为主，存在监管手段、装备落后，取证过程时空不连续，以主观经验评判为主等问题。

针对上述煤矿执法中存在的问题，有必要研究基于时空位置信息、视频图像信息、文本、图像、语音等多语义情景协同感知的煤矿执法系统，该系统可以实现执法场景自动识别、业务自动导航、闭环执法，达到井下精准执法的目的。

1 煤矿执法系统

1.1 煤矿执法系统架构

执法系统架构如图1。

图1 执法系统架构Fig.1 Law enforcement system architecture

煤矿执法系统由矿山安全生产执法平台、移动执法设备和煤矿安全管控云平台组成。移动执法设备主要实现环境信息、人员位置信息与检查信息的采集、执法辅助信息的展示、受检设备的感知等功能；矿山安全生产执法平台主要实现执法检查任务的处理、执法检查信息的解析与处理、检查状态的实时监测、检查证据的可信固化等功能；煤矿安全管控云平台主要实现执法任务的发布以及管理执法结果、电子物证数据等。执法系统运行时，执法设备连接到井下无线网络，实时传输惯导信息和视频图像到井上执法平台，执法平台在线进行情景识别，并下发场景信息到执法设备。

1.2 执法流程

执法系统运行时，执法设备连接到井下无线网络，实时传输惯导信息和视频图像到井上执法平台，执法平台在线进行情景识别，并下发场景信息到执法终端。执法人员通过执法终端完成执法检查后，执法文书和执法视频可在线传输到井上执法平台。因此，构建了“执法任务获取-井下执法取证-执法报告生成-执法结果判定-执法文书上传”闭环执法链路，闭环执法流程图如图2。

图2 闭环执法流程图Fig.2 Closed loop law enforcement flow chart

2 情景协同感知的多模态融合技术

针对煤矿安全监察执法工作需求，结合深度学习领域多模态融合技术，构建了一个协同感知模型，对智能场景识别算法、情景数据处理技术、惯性导航、多参数检测、语音视频同步可信取证等多语义情景进行多模态融合，构建多模态融合架构和融合方法，形成基于情景感知驱动的移动执法方法。

2.1 深度学习多模态融合架构

多模态融合策略是集成不同类型的特征来提高机器学习模型性能，消除不同模态的异质性差异；多模态协同架构是将各种单模态在一些约束的作用下实现相互协同；由于不同模态包含的信息不同，因此协同架构有利于保持各单模态独有的特征和排它性。协同融合框架示意图如图3。

图3 协同融合框架示意图Fig.3 Schematic diagram of collaborative fusion framework

2.2 深度学习多模态融合方法

基于模型的融合方法是从实现技术和模型的角度解决多模态融合问题，常用方法包括多核学习方法[7-8]（MKL，Multi-Kernel Learning）、图模型[9]（GM，Graph Model）、神经网络方法（NN，Neural Network）等。神经网络多模态融合方法在图像字幕处理任务中表现良好[10]，主要模型包括神经图像字幕模型、多视图模型等。

通过面向多语义情景协同感知的多模态融合技术，融合文本、图像、语音、视频、空间位置等多元信息，构建多模态多情景决策模型，经过信息转换和融合，实现移动执法的情景识别、业务自动导航。执法人员通过执法摄像头、惯性导航等设备采集数据，后台服务器使用集成以上技术的多模态融合模型计算出结果，返回移动执法设备这一流程的核心计算功能。

3 便携式手持执法设备

3.1 执法设备架构

执法设备通过云端的GIS 服务获取井下的地图，并从后台服务获取的检查地点、检查内容、信标位置等信息；执法设备通过USB 接口连接佩戴在检查人员安全帽上的摄像头，对拍摄到的视频画面进行分析，实现情景感知；执法设备通过连接的甲烷、氧气、一氧化碳传感器对环境中的气体参数进行测定。执法设备硬件结构图如图4。

图4 执法设备硬件结构图Fig.4 Hardware structure of law enforcement equipment

基于情景感知驱动的执法设备，能够通过传感器及其相关的技术使设备能够“感知”到当前的情境。执法设备通过导航位置信息，自动感知执法人员所在区域，结合视频图像信息采集分析，自动定位要检查的目标设备。针对煤矿安全管控云平台推送的执法任务，通过相应的情境感知，自适应地触发执法路径、执法流程、执法内容、执法标准、执法设备及其他执法辅助业务，为执法人员提供推送式服务，规范执法人员在重要区域及关键设备执法过程中的自由裁量权。

3.2 惯性导航定位技术

惯性导航是一种自主导航方法[11-12]，它是通过测量运动载体自身的加速度并进行计算来完成导航任务[13]。捷联式惯性导航系统并没有稳定的实体平台，以导航计算机产生的数学平台来取代实体平台，陀螺仪与加速度计则直接与运动载体固联[14]。

基于MEMS-IMU 的定位系统通过惯性器件采集行人的三轴加速度数据和三轴角速度数据，通过算法计算出载体的姿态信息，可以计算出姿态坐标转换矩阵，然后将三轴的加速度数据信息由载体坐标系转换到导航坐标系下，通过算法的计算得到行人的位移信息。惯性导航原理图如图5。

图5 惯性导航原理图Fig.5 Schematic diagram of inertial navigation

执法设备通过蓝牙与惯性导航模块连接，实时获取当前的位置信息。为解决惯导模块可能出现的偏航问题，可沿巷道每隔一段距离部署1 个蓝牙信标，信标的坐标已事先在执法平台设置好，并发送给执法设备，当检查人员经过信标附近时，惯导模块会自动捕获到信标的编号，执法设备根据信标的坐标对当前位置进行修正，并以此为基准继续进行惯性导航。

3.3 数据并行采集技术

数据采集架构图如图6。

图6 数据采集架构图Fig.6 Data acquisition architecture

执法设备需采集环境参数信息、惯导定位信息、图片视频信息，设计时建立并行数据采样接口，建立2 路高速通道并行采集一氧化碳、氧气体积分数，采集器选用ADS 系列高速ADC（模拟数字转换器），采样速度高达65MSPS；建立2 路低速通道，并行采集供电电压、驱动电压数值；同时建立1 路串口通道采集甲烷体积分数，1 路蓝牙通道采集管道位置坐标，1 路USB 通道采集图片视频信息。硬件上建立的7 路独立采集通道保证了数据的实时响应。通过分布式数据采集通道，实时采集环境参数信息、定位信息及图片视频信息，利用高速ADC 和UFS 闪存技术，快速对数据进行采样和存储，通过IEEE 802.11n传输制式在线传输视频流、人员位置、执法数据。

4 执法平台

执法系平台分为5 个功能模块：基础信息、检查任务、地理信息、记录管理与终端管理，矿山安全生产执法平台功能模块结构图如图7。

图7 矿山安全生产执法平台功能模块结构图Fig.7 Functional module structure of mine safety production law enforcement platform

5 实验测试

执法系统测试效果见表1。

表1 执法系统测试效果Table 1 Test results of law enforcement system

执法场景：A1 矿井中央变电所030201 甲烷传感器上午8:00 时出现1%报警1 min，目前该传感器上传值为0.41%；煤矿安全管控云平台推送执法任务到执法平台，执法平台收到执法任务后进行提示，并可查看执法内容。

执法任务内容：①核查A1 矿井中央变电所实际甲烷体积分数并与030201 甲烷传感器数值进行比较，核查030201 甲烷传感器是否测量超差；②对A1 矿井中央变电所030201 甲烷传感器进行安标有效性检查；执法设备弹出任务“请编号ZY001 于10:00 到13:00 之间前往A1 矿井中央变电所检查执法”；③走路过程中，执法人员通过执法设备GIS 界面实时查看自身位置，执法人员行走路线形成轨迹线路（走过的点连成一条线），当走到变电所附近时，井上执法平台GIS 界面弹出视频弹窗，并显示“中央变电所”字样，井下执法终端GIS 界面弹出“已到达中央变电所，请检查执法”，同时进行语音播报。随后弹出对话框“开始检查”，“稍后检查”，执法人员选择“开始检查”，此时执法终端开启自动录像，记录执法过程。

6 结 语

1）通过研究基于时空位置信息、视频图像信息、执法人员行为状态等多语义情景协同感知技术和方法，开发出情景感知驱动的执法平台。情景感知驱动的执法平台，具备执法任务获取、执法任务分配、执法任务管理、执法场景识别、执法报告生成等功能，极大提高了监察执法的高效性和客观性。

2）通过面向多语义情景协同感知的多模态融合技术，从文本、图像、语音、视频等多个领域获取信息，实现信息转换和融合，构建了多模态融合架构和融合方法，形成基于情景感知驱动的移动执法方法。

3）根据执法任务规划执法路径，结合情景感知结果与空间位置信息，实现执法内容的自动触发，并提示执法人员相应的执法标准，规范执法人员的自由裁量权。