基于精准信息采集与智能分析的新型消防机器人设计

关键词：智能视觉感知机器人系统；精准信息采集；双目立体视觉系统；多源异构信息融合；各向异性卷积

近年来，消防机器人（Fire-fighting Robots，FFR） 技术及产业发展迅速，消防机器人在火源探测和灭火中发挥着越来越重要的作用。

高阶智能灭火机器人是目前研究的重点。而对于传统的消防机器人无法应对多种复杂的火场环境，不能精确采集火场内部信息，做出智能化判断。同时，在信息集成方面，传统的消防机器人信息集成系统在短时间内无法将多种来源的信息进行有效集成，因此采用了能够有效解决此类问题的多源异构信息集成技术。相较于传统的机器人视觉感知系统，智能视觉感知机器人系统在图像处理方面展现出了显著的优势。该系统不仅能够准确识别环境中的物体种类，还能精准感知视觉目标的空间状态，从而实现对环境的全面、高效理解[1]。能够有效地识别在复杂火场内机器周围的物品，并在短时间内做出有效判断。

在针对火场的障碍物进行识别和三维重建方面，传统的消防机器人并不能根据采集信息进行精确识别、立体重建，且该技术仍然处于探索阶段。机器人三维视觉感知数据提供了丰富的周围环境信息，其独特的物体形貌记录方式。从三维数据中直接识别出物体的种类，不仅可以有效避免在使用信息判断后再映射到三维空间时可能引入的误差，而且在环境光照因素对信息采集的干扰方面也有了显著的降低，从而在识别精度和稳定性方面都有了显著的提升，从数据的角度来看，尽管 3D 视觉感知数据具备对物体形貌进行记录的能力，但其局限性却不容忽视。相较于图像数据所包含的丰富纹理信息，三维数据在这方面显得捉襟见肘，导致了关键信息的缺失。此外，由于数据维度的增加，物体种类识别的难度也随之大幅提升，这无疑给后续处理和分析带来了更大的挑战。但主要依赖于三维形貌特征的传统物体种类识别方法，在实际应用中局限性较大，挑战也较大，往往难以达到机器人环境视觉感知的速度和精度的实际需求标准。

为攻克这一难题，引入立体形貌指向性特征提取模型。该模型能够从特定方向的三维形貌截面中精确地提取关键信息，从而为后续对象的类型识别提供更加精确和有效的基础。

1 智能视觉感知机器人系统

针对火场内部图像处理设计了智能视觉感知机器人系统，其中包括对火焰的检测，对人体的检测以及对障碍物的检测。识别和定位火焰属于消防机器人的基本功能，相较于传统的使用基于模型特征的识别方法，采用基于视觉特征的识别方法，对火焰的纹理特征进行分析，此方法稳定性较高，不易受机器运动影响。而对于火焰的精准定位，则采用图像传感器和UV传感器结合的方式进行高精度定位。在火场救援任务中，消防机器人实现高效救援的一个关键功能是对被困者的人体目标进行探测和识别，针对火场内部复杂多变的环境和相对较低的辨识度，在人体探测领域，人体模型法表现出了极佳的精准性，在消防救援任务中，机器人此法以简洁明了的二维图形，巧妙地概括、近似地描述人体的轮廓、骨架及各个关键部位，进而构造出精确的人体模型[2]。限制实际作战性能的一个重要方面就是灭火机器人的机动能力。消防机器人要具备环境感知功能，正确识别地面障碍物，在各种复杂的火灾现场环境中。通过规划路径、导航到达感应目标位置，确定地面上的可通行区域，才能进行灭火作业。针对当前问题，采用了融合非视觉与视觉技术的创新障碍物检测方案[3]。首先利用红外接近传感器的精确性，对障碍物的距离进行初步判断。随后，借助立体视觉技术，通过高效的立体匹配算法，获取视差图。在此基础上，进一步运用V-视差法，实现了对障碍物的精准检测。充分利用环境中的颜色、深度等信息，显著提升了检测精度，确保了检测结果的可靠性。

2 双目立体视觉系统

作为机器视觉领域的关键环节，双目立体视觉技术对人类双眼视觉系统的运行机制进行了深度仿真。这一技术通过对两台摄像机的巧妙运用，将两幅被测图像从不同角度捕捉下来。在先进的电脑视觉技术的帮助下，细致地处理两幅画面，精确地计算出画面的对应点与对应点的位置偏差。双目立体视觉系统的核心在于它以视差原理为基础的操作手法。这一方法的核心在于通过精确测量同一物体在不同视角下的位置差异，进而准确地推算出物体与摄像机之间的实际距离[4]。这种测量方式充分利用了视觉原理，提供了一种高效且精确的距离测量手段。TOF 摄像机和近红外摄像机三种成像装置利用可见光摄像机构建基础视觉系统，从不同的视点对火场中的障碍物进行拍摄，获取目标信息，并根据不同图像的视差进行三维重建。

3 信息技术多源异构融合

针对信息处理和传递，考虑到有多种信息源，采用多源异构信息融合技术[5]。多源异构数据融合（Multi-Sourcedatafusion）是一种多样化的数据，旨在对多种来源进行有效整合和综合分析，包括不同的设备、传感器、系统或网络等。该技术通过充分利用不同数据源提供的多角度信息，旨在获取更为全面、精准的数据结果，从而能够为用户提供更加优质的业务应用和服务体验。通过多源异构的数据整合，数据的潜在价值可以被数据驱动的业务创新和决策优化更好地挖掘出来。在多源信息融合方面采用了特征层融合的方法，为后续的决策分析提供了坚实的数据支持和参考依据，通过对数据源特征信息的获取、关键信息的深入解剖和处理以及关键信息的保留。

系统采用 B/S 模式，由四层架构构建而成，分别是支撑层、数据层、服务层、应用层。在视觉系统捕获的图像数据的基础上，首先从原始观测数据中提炼出具有显著代表性的特征信息。这些特征信息被精心融合成一个统一且高效的特征矢量，进而运用先进的模式识别技术进行处理，以作为后续决策过程的重要参考依据。特征层融合在处理时，将原来的观测数据提取并压缩特征，在保留重要信息的同时，也使处理原始数据的量有所减少。整合二、三维火场内部障碍物特征数据，构建火场三维模型。

进行火灾探测时，须综合分析多传感器数据和视频图像数据。由于传感器设备的监测范围有限，需要从相关场所中筛选出对当前位置有效的传感器设备和摄像头，并根据位置信息调整摄像头的方向，以确保采集到的视频或图像数据能够准确反映当前位置的情况。各个传感器设备相互独立，它们的采样周期和网络协议各不相同，因此数据传输至平台时可能会存在一定的时间误差。为确保数据融合分析的精准性，须依据时间序列，仔细筛选并考虑一定时间段内的传感器数据，从而确保数据的时效性和精确性。在此基础上，将深入剖析单个传感器与摄像头监测所得结果，并运用先进的数据融合算法进行综合分析，从而得出更为精确且全面的火灾探测结果，显著提升火灾探测的准确度和可靠性[6]。

4 立体形貌指向性特征提取各方向异性卷积的模型

为了更好地识别障碍和三维重建障碍，设计了以各种方向异性卷积为基础，从三维形貌截面提取特定方向上的形貌关键信息的三维形貌定向特征提取模型。各向异性的单一卷积网络往往仅限于特定方向的信息提取，如在使用 M × N × 1 的卷积核时，信息提取只能集中在 X-Y 平面上，而对重要 X-Z 方向、Y-Z 方向的信息则忽略不计。这导致模型在感知三维形貌的完整信息时存在明显局限。分层网状车型的设计是基于层状融合来弥补这方面的不足。该模型可以通过巧妙的层状特征融合，将多个从各个方向的异性卷积网络中提取出来的特征整合起来，从而实现对三维形貌的全方位感知。这一创新设计使模型处理复杂数据的能力得到显著提升。

层特征融合法的作用是将各截面形貌信息综合在各向异性卷积模型的输出结果中，从而获得高维向量表达 Fv 的物体三维形貌的总体特征。要求其计算结果 Fv 在设计层特征融合函数时，需要包含三维张量 V 的所有重要信息，以确保分类器能够对不同种类的物体进行正确的区分。 值得一提的是，特征的分层融合法应具有可微性，确保损失函数值能够在训练过程中精确地传递到各个相关的各个方向的异性卷积模型中，进而对模型的收敛性能进行有效保护。图 4 为分层网络模型结构，以层特征提取方法为基础。该模型巧妙地利用了两个各向异性的卷积模型，从而对X 和 Z 方向的物体立体的外形特征进行了精确的学习和提取。此外，这款车型还引入了将物体立体外观的整体特征有效地融合在一起的创新分层融合机制[7]。模型在获得三维形貌的整体特征后，进一步构建了一个强大的特征分类器，通过包含 128 个和 256个隐藏单元的两层全链接函数来精确地输出三维形貌的类别信息。这一设计不仅提升了模型的分类性能，还增强了其对三维形貌特征的捕捉能力。

5 结论

针对高级智能化消防机器人的创新思路，提出了一套基于精准信息采集和智能分析的方案。该方案以图像为媒介，将视觉感知的基础和核心支撑提供给消防机器人。为实现这一目标，设计了由可见光摄像机、TOF摄像机和近红外摄像机组成的视觉系统，同时引入了立体视觉技术以精准采集环境信息。这一系统能够实时将捕获的信息传递给智能视觉感知机器人系统，并利用多源异构信息融合技术，对各类信息进行高效整合。给今后的消防安全工作带来了更为广阔的应用前景。