智能消防机器人与无人机协同系统*

陈昶宇 钟琪 许正豪 钟佩杭

广东理工学院 信息技术学院 广东 肇庆 526100

引言

随着物联网的兴起，各种智能化设备应用，人物感应，都逐步普及到社会各个方面。互联网经过多年的发展，智能化应用设施的大量应用，为物联网的下一步发展，飞跃前进，都打下了坚实的基础。尤其在5G技术高速发展的今天，低延迟﹑高速率﹑大带宽成为物联网发展的一大推动力。

在我国现代消防救援中无人机是一种重要的辅助设备，通过无人机能大幅度增强消防抢险能力。无人机的主要优点有指点飞行﹑视觉追踪﹑感知避障﹑搜救可靠﹑视野范围开阔﹑机动灵活等。通过这些优点，再加上对无人机的规范利用，可提升火灾救援效率，减少人民群众的生命财产损失。

针对化工﹑石油类仓库发生火灾时，消防人员难以进入现场，火场易燃易爆等情况，消防人员随时会有生命危险。履带式消防机器人可以代替消防人员进入危险的火灾救援现场实施灭火﹑救援等，最大程度上保障了消防员的人身安全，有效防止意外发生，满足新形势下的消防实战需求。

1 运作流程

系统总体分为：无人机勘测模块﹑地形分析模块﹑智能消防机器人远程操控模块﹑火源追踪模块这四大模块[1]。大体行动流程如下：由消防车搭载无人机﹑智能消防机器人﹑终端到达火情处，救援人员调度无人机，配合地形图使用地面操作系统进行初步火情勘测，获取三维立体地形图。通过所搭载的传感器，将温度分布﹑火源分布点﹑火势集中点﹑地形等数据发送给地面的5G基站，5G基站接收到数据以后，将数据中转给服务器终端，经过服务器进行大数据分析﹑对比﹑筛选﹑计算后，推演出智能消防机器人大致路线，再返还数据在终端上实时显示。根据返还回来的数据结果，救援人员通过终端远程操控智能消防机器人进入火情处，进行实时勘测，通过机器人搭载的火源追踪模块并上传数据至服务器进行实时分析，实时更新救援路线。根据救援路线智能消防机器人迅速前往火源点，进行灭火或对火源点火情进行压制。系统运行流程图如图1。

图1 系统运行流程图

2 功能具备

2.1 远程实时控制

远程实时控制建立在网络和数据的基础上，通过终端以无线形式读取设备的状态数据，并结合实际需求，借助无线网络来给无人机和消防机器人的无线模块发送指令，完成动作[2]。其控制灵活，可以突破时间﹑空间的限制。救援人员利用远端遥控设备通过通信网络将控制指令传送到近端控制器 （一般是可编程控制器PLC），PLC接收到控制指令后通过内部的可编程存储器将指令转化为机器语言指令，从而完成对设备的操控，达到远程监测﹑远程控制﹑远程维护设备的目的。远程控制处理流程会持续进行，不断循环，直到达成目标。而通信网络的主要工作就是传送状态信息以及动作指令，通信网络必须保证传输信息和指令的准确性和可靠性。 除此之外，监测系统会将监测到的数据以及设备的运行情况返回到计算机处理中心，数据平台会将这些数据储存起来并分析处理，为后续的控制和检修提供基础。

2.2 实时更新最佳路线

当消防机器人进入火场执行灭火任务时，云端服务器结合无人机传感器反馈至与云端信息，形成一个细粒度的栅格化的“路径场”，再通过D*lite算法，做出最优的路径规划。消防机器人不断检查不断检查该路径上的障碍是否发生变化，当发现障碍或者障碍发生变化，且蔓延到该路径上时，上传至云端服务器，D*lite将第一次重新规划路径，服务器发送指令，使消防机器人绕过火情严重点，而当火情再次蔓延，封住之前规划路径的前进通道时，通过收集之前寻路产生的信息，D*lite将重新第二次规划，通过增量搜索的数据再利用直接在受阻碍的当前位置重新规划出一条最优路径，然后继续前进[3]。

2.3 热源探测系统

消防机器人通过热成像传感器扫描出温度分布图，扫描完成后，立刻通过RTMP协议将数据发送给服务器，检测设备对周围热源实时更新，实时将数据返回给予云端服务器进行分析，将数据返回至救援人员所操作的终端上，确保救援人员能够实时了解火情。

3 技术含量

3.1 消防机器人探测系统

消防机器人可以根据灾害事故现场情况依赖于各种电子元器件进行探测，装载摄像头可将现场情况通过通信网络实时传输给后方系统处理，同时有赖于各种传感器。主要分为两类：一类是内部传感器，用来探测在灾害事故现场中消防机器人自身状态参数，反馈给中央大脑DSP，进行合理的路径规划，并根据灾害事故现场情况合理安排，使消防机器人有序开展工作。另一类是外部传感器，用来探测灾害事故现场的各项数据（障碍物情况﹑火场温度﹑辐射热强度﹑有毒气体或者可燃气体种类和浓度和氧气含量等），为后方处理系统提供原始数据。

3.2 图像噪点修复

在对焦侧及中部密集点进行拍摄时，小的晃动问题并显示很严重，由于距离比较远，小的晃动就会或画面的不稳定，影响识别精度。晃动的原因有以下几种情况，一是气流和风向对无人机产生的影响，二是无人机电机转速不平衡导致无人机导致行过程中出现低频晃动，三是无人机与摄像系统的连接上有一定的方向震动。这些问题都有可能使图像产生噪点。

而CCD和CMOS感光元件也都存在有热稳定性（hot pixel）的问题，就是对成像的质量和温度有关，如果机器的温度升高，噪音信号过强，也会在画面上不应该有的地方形成杂色的斑点[4]。

因此我们对设备进行设定，使设备在识别前对监测图形进行判断噪点产生类型，进行调节相关传感器的ISO的操作，通过对光的敏感度进行噪点控制，同时采用堆栈模式，将同一机位拍摄的同一场景的多张照片，按照一定的算法堆叠在一起合成一张照片，从而取得降噪﹑去除杂物等效果，达到噪点修复的效果。

3.3 无人机勘测系统

通过无人机飞行平台搭载倾斜相机，采用倾斜摄影的方式获取测区的影像数据，利用自动建模的技术构建实景三维模型；在构建的实景三维模型基础上，通过三维立体量测技术，采集地物地貌特征点﹑线﹑面，最后通过内业编辑的方式制作地形图，从而省去烦琐的外业调绘工作，为快速制作大比例尺地形图测绘提供一种新的解决方案。基于无人机倾斜摄影的大比例尺地形图测绘技术路线如图所示。

图2 无人机倾斜摄影的大比例尺地形图测绘技术路线

构建工程加载影像数据，设置相机参数，编辑pos数据，引入控制点及检查点数据，建立好Smart3D工程，采用2个相机，需设置2个相机文件，通过七参数模型及似大地水准面补偿模型转换到联网所获取的地图下。采取区域网布点，解算控制点5个，检查控制点8个。通过三维实景模型生成基于空中三角测量成果，进行模型分块，在分块模型的基础上，提取测区密集点云，构建不规则三角网，最后对改进后的工作流程中提取的点云进行精度评估。从两个平面区域中，在原始和改进后的工作流节点上选择点的子集，然后分别将平面拟合到这些子集上，比较了拟合平面上各点的均方误差更密集﹑更精确的点云可以为建筑提取清除边界轮廓。

4 本项目优势

4.1 提高消防人员安全系数

当火场里有被困人员时，可供选择的方案就只有消防人员进入火场作业。穿戴式空气呼吸器，理论上能够维持30min供氧，但由于人员多的体力消耗以及神经紧绷，呼吸器往往只能维持20min，整套装备重量达到15kg。消防人员穿着厚重的装备，深入火场内部搜救被困人员，面对随时可能发生坍塌，爆炸，坠楼，穿刺等不可预知的危险，还有着视野受限，现场情况不详，找不到着火点等极端情况。本项目提供的消防机器人可代替消防员，在保证人身安全的情况下完成危险作业。无人机通过高空扫描地形，热成像扫描，精确判断事故发生的地点。在极短时间内为消防机器人与消防人员提供最优救援路线与火情信息，为消防人员提供更精准的判断与抉择。

4.2 5G低延迟

5G技术有低延迟﹑高速率﹑大带宽等优点，在救援前期，火势变化快，利用5G网络低延迟的优点，可实时更新火场状况，高速上传至云端，经过云端服务器，利用D*lite等算法，进行分析﹑对比﹑筛选﹑计算后，统计出数据反馈至终端，以便救援人员能实时检测火情。

4.3 3D地形模型

消防机器人所收集数据通过RTMP协议将AVC（H264）数据发送到流媒体服务器，DensePCR在每一个点周围建造一个邻域，在每一个邻域内运用MLP就可以获得这个邻域内的全局特征，相对于整个点云来说，也就是局部特征，这样能够获取更加准确的轮廓，使消防机器人避障效率提高。

5 结束语

本文基于一种无人机与智能消防机器人协同侦察灭火的应用展开论述。通过无人机装置传感器，对火势变化进行实时远程监测，利用5G网络将数据传至终端，最后进行一系列算法分析得出最优扑灭路线，全程无须人员操作，降低了消防人员的工作难度，最大程度上保障了消防人员的人身安全。