基于多源图像识别技术的信号设备室智慧巡检系统

黄子辉，林保罗，陈微，吴丽思，张晓明

城市轨道交通信号设备室作为设备集中运行的重要区域，是运营维护的重点。巡检是保证设备正常运行的主要手段，巡检内容主要包括设备运行状态、环境温湿度、设备外观和积尘检查等。目前设备室的日常巡检主要依靠运维人员完成，巡检周期长，并且难以及时发现设备故障或隐患，虽然可以通过提高频率缩短巡检周期，但人工成本高，得不偿失。

因此，越来越多的运营单位开始探索城市轨道交通设备室的新型巡检方式，如：岳强等［1］提出基于二维码技术的智慧机房巡检系统，运维人员通过扫描设备上的二维码进行设备巡检数据录入，取代了传统手工录入，但仍需运维人员到现场进行检查，无法有效地降低人工巡检的成本；孙皓林［2］、王坚强［3］、陈卓雄［4］研究了不同类型机器人在设备室巡检中的应用，实现了巡检的自动化，降低了人工成本，但设备成本投入巨大，不利于大范围的推广应用；胡恩华［5］、郭文亮［6］等应用图像识别技术实现设备室监控图片的自动识别，但图片处理时间过长，效率较低且误报率较高，不适合现场应用。在对比上述技术方案特点基础上，结合现场智能运维低成本、高效率、高精度、高可用性的实际需求，本文设计了一套基于多源图像识别技术的设备室智慧巡检系统，提升城市轨道交通信号设备室智能运维水平。

1 系统架构

设备室智慧巡检系统采用分层分布式结构，由中心设备和车站设备2部分组成，通过3层工业以太网交换机组成千兆监测网络，系统架构见图1。

图1 系统架构

1）中心设备。设置在控制中心信号设备室内，主要包括数据库服务器、应用服务器、操作终端和交换机等。其中，数据库服务器是系统的数据中心，存储基础信息、巡检计划、巡检报告、监测数据及设备异常告警等数据，为应用服务器提供数据支持；应用服务器部署系统的前后端软件，提供数据库服务器的访问和存储、监测数据展示、设备异常告警及数据统计分析等服务；检修人员通过操作终端登录系统界面，配置系统基础信息和巡检模式，查看监测数据和告警信息，下载巡检报告和统计报表。

2）车站设备。车站设备又分为集中站设备和非集中站设备。由于集中站需要监测的设备机柜数量较多，通常部署较多摄像头才能实现覆盖，为避免视频传输占用监测网络的带宽，影响监测网络稳定性，在集中站部署1台图像处理单元和视频存储机，实现图像和视频数据的本地处理和存储；非设备集中站需要监测的机柜数量少，通常使用2～3个摄像头即可实现覆盖，故将非设备集中站图像和视频数据传输至控区内的设备集中站进行处理和存储。图像处理单元作为车站数据处理的核心，部署人工智能算法和巡检软件，图像处理单元从摄像头采集图像后，调用人工智能算法识别图像中设备指示灯的位置和状态信息，再输入到巡检软件进行设备运行状态诊断，最终输出设备状态信息或告警信息，同步到控制中心的应用服务器和数据库服务器，并通过操作终端向检修人员进行展示。当设备室内所有设备检测完成后，形成巡检报告，上传至数据库服务器，检修人员通过操作终端下载查看。视频存储机主要实现监测视频的存储，当系统检测到设备状态异常后，记录设备信息、异常信息和异常时间，供检修人员查询。设备室内安装相应的环境传感器，实时监测设备室的环境温/湿度，实现设备室环境状态的巡检。

2 功能模块

2.1 系统管理

1）角色管理：系统提供管理员和普通用户2种角色，其中管理员拥有全部页面的浏览权限和操作权限，普通用户的权限由管理员分配和管理。

2）帐号管理：用户根据运维组织需求创建运维帐号，并将帐号配置为管理员或普通用户，所有用户均可重置帐号密码。

2.2 智慧巡检

1）巡检模式设置：系统提供自动循环巡检、单次巡检和定时巡检3种模式。自动循环巡检是系统自动进行连续巡检，运维人员可设置两次巡检的时间间隔，默认为0，时间间隔越大，巡检周期越长；单次巡检由运维人员自行触发，点击一次则执行一次；定时巡检是指系统在指定时间进行巡检，运维管理人员根据巡检需要设置定时，设置完成后将巡检配置下发至各设备室图像处理单元执行。

2）巡检数据同步：巡检数据主要包括设备指示灯和设备状态数据。其中，设备指示灯状态数据主要包括指示灯的边框坐标、置信度、颜色和亮灭等，由人工智能算法直接输出；设备状态数据有正常、故障和隐患3种，通过板卡或机箱设备上指示灯的状态数据诊断该设备的运行状态。系统构建了与实际一致的二维仿真界面，当系统完成机柜内设备指示灯识别和设备状态诊断后，自动将结果同步至仿真界面。

3）环境数据同步：系统前端界面实时采集环境温湿度数据，超出设定的上限阈值时，发出异常报警，提示运维人员及时对设备室环境进行调控。

4）巡检报告：每个车站完成一次巡检后都会生成一份巡检报告，当日生成的多份巡检报告合并为一份日巡检报告进行存档，当日发生过设备异常时，还将自动生成一份异常报告，供运维人员进行调阅。

5）实时故障信息：系统检测到告警后，自动将告警信息推送到前端界面，通过声光报警提醒用户及时介入处理。

2.3 数据管理

1）历史数据查询：系统将检测的设备指示灯状态和环境温湿度数据存入数据库中，并提供历史数据查询功能。

2）历史告警查询：系统检测到告警后，自动将告警信息及对应的设备信息存入数据库，并提供历史告警查询功能。

3）历史报告查询：系统每天定时整理当日的巡检数据，形成巡检报告，并存储到数据库中，当运维人员需要查询某日的巡检报告时，可直接通过历史报告查询界面调阅报告。

4）视频回放查询：系统提供正常回放查询和故障回放查询2种方式，正常回放查询由用户自行设定查询条件，故障回放查询是指查询发生故障后截取的视频片段，可根据故障记录或故障时间进行查询。

5）统计分析报表：为运维人员提供巡检次数、故障次数、隐患次数及操作记录等数据统计，自动生成日、周、月度、季度和年度报表。

2.4 生产管理

1）设备信息管理：包括系统设备和被监测设备信息，由运维人员根据各站实际情况进行录入和管理。

2）交接班管理：运维值班人员通过交接班管理功能，将值班时间内的工作情况交接到下一值班人员，避免接班人员出现工作遗漏。

3）天窗点设置：为避免正常检修过程中导致的报警信息被识别为告警，系统提供了天窗点设置功能，运维人员在检修维护前，可在系统上设置天窗点，天窗点内告警均认定为非正常告警。

3 关键技术

3.1 设备指示灯状态识别

系统应用人工智能算法对摄像头监控图片中的设备指示灯进行识别，再根据设备指示灯的不同状态组合判断设备当前的运行状态。由于目标检测算法（You Only Look Once v5，YOLOv5）兼具检测速度和检测精度的优势，主要用于检测图片或视频中的物体状态，被广泛应用于行人车辆［7］、安全帽［8-9］、障碍物［10］等检测应用中。故本系统使用YOLOv5算法检测设备指示灯状态。

使用YOLOv5进行目标检测时，首先将一幅图片分成S×S个网格，每个网格对中心点落入其中的目标进行检测。每个网格要预测B个边框，每个边框要回归自身的位置（x，y，w，h）并附带预测一个总体置信度，同时每个网格还要预测C个类别的概率，记为C类。YOLOv5最终输出为S×S×（5×B+C）的一个张量。最后去除可能性较低的目标窗口，使用非极大值抑制去除冗余窗口，剩下就是识别出来的目标物体。YOLOv5运行原理见图2。

图2 YOLOv5运行原理

YOLOv5的网络结构见图3，主要由输入端、主干网络、颈部和输出端4部分组成。其中，输入端对图片进行数据增强、自适应锚框计算和自适应图片缩放，增加数据集图片数量，并使不同尺寸的图片缩放至网络设置的标准尺寸，再输入网络进行处理；主干网络用于提取特征，并不断缩小特征图，主要结构包含Focus（聚焦）模块、CBL（标准卷积）模块、CSP1_3（跨阶段部分连接）模块和SPP（空间金字塔池化）模块；颈部实现浅层图形特征和深层语义特征的融合；输出端包含3个目标检测头，分别为80×80×255、40×40×255和20×20×255，对骨干网络提取的特征图进行多尺度的目标检测，并生成预测类别，返回目标位置的边框坐标和置信度。

图3 YOLOv5网络结构

设备室巡检主要通过设备指示灯判断设备运行状态，设备指示灯有红、绿、黄3种颜色和亮、灭2种状态，形成的组合信息共有6种：红色亮灯、绿色亮灯、黄色亮灯、红色灭灯、绿色灭灯和黄色灭灯。在实际应用中，灭灯信息对设备故障的判断没有帮助，因此，需要识别的类别仅有红色亮灯、绿色亮灯、黄色亮灯3种。没有被识别的指示灯均表示为灭灯状态。再通过YOLOv5返回的指示灯边框坐标进行信息匹配，获取指示灯对应的基础信息。

系统收集了500张各个角度拍摄的不同机柜设备运行图片，并按4∶1的比例划分为训练集和测试集，对训练集图片中亮灯的设备指示灯进行标注。为提高模型训练效率，选用官方提供的YO⁃LOv5s预训练模型进行模型训练。

准确率、召回率、均值平均精度是评估YO⁃LOv5算法模型性能优劣的3个重要指标。其中，准确率表示模型识别相关目标的能力，准确率越高，误检越少；召回率表示模型找到真实标注框的能力，召回率越高，漏检越少；均值平均精度是指所有图片内所有类别平均精度的平均值，其值越高表示模型预测精度值越高。系统训练过程中模型迭代1 000次的收敛曲线见图4。由图4可见，模型训练最终的准确率为73.6%，召回率为94.5%，均值平均精度为93.8%。其中均值平均精度超过90%，说明模型在整体上预测精度较高。

图4 收敛曲线

3.2 设备状态诊断

系统使用YOLOv5算法识别的设备指示灯坐标、状态和颜色数据不能直接用于设备状态诊断，需要与设备基础信息结合后才能使用。

首先，对每个摄像头监控的设备指示灯进行多次识别，计算多次识别的坐标平均值，作为设备指示灯的基础坐标，由运维人员标定，标定结果存入数据库中；然后，对监控图片中的设备指示灯状态进行识别，获取所有亮灯的设备指示灯颜色和边框坐标等数据，与数据库中标定数据进行匹配，匹配成功后调取对应的设备信息，实现识别结果和基础信息的融合；最后，根据识别结果对设备状态进行诊断，诊断到异常后，向运维人员发出告警信息，提醒运维人员进行处理。

在设备指示灯坐标匹配过程中，共有4种匹配情况：检测设备指示灯颜色、亮灭与标定数据一致；检测设备指示灯亮灯，标定数据为灭灯；检测设备指示灯灭灯，标定数据为亮灯；检测设备指示灯和标定数据均为亮灯，但颜色不一致。不同设备指示灯的颜色、亮灭组合表示了不同的设备运行状态，系统获取设备指示灯的匹配结果后，调用由用户设定的判断逻辑对设备运行状态进行判断，在终端上输出“设备状态切换”“设备存在隐患”或“设备故障”等信息。

4 系统应用

系统在广州地铁3号线开展了试点应用，现场采用高性能图像处理器对人工智能算法进行加速，并配置高清网络摄像头采集设备图片。

4.1 摄像头布设及识别测试

4.1.1 摄像头布设

广州地铁3号线信号设备室机柜宽0.6 m，高2 m，在安装摄像头时，应保证摄像头的监测范围能覆盖柜内应监测的设备。考虑摄像头垂直视场角小于横向视场角，在摄像头垂直覆盖范围满足监测需求的情况下，横向覆盖范围必然满足要求，因此，在安装摄像头时，应优先满足机柜的垂直覆盖。

由于机柜高2 m，使用单个摄像头虽然可以完全覆盖整个机柜，但设备指示灯占有像素不能满足要求，故在本方案中采用2个摄像头进行监测，分别监测机柜的上半部分和下半部分。受设备室现场条件限制，摄像头只能安装在机柜前方高于机柜的位置，避免占用机柜间的通道空间和影响前排机柜开关门。摄像头安装和覆盖示意见图5。

图5 摄像头安装和覆盖示意

摄像头垂直监控范围v为

式中：θ为摄像头1的安装倾斜角度；α为摄像头1和摄像头2的垂直视场角；h0为摄像头1覆盖的最顶部至摄像头的安装高度，一般设计为15～30 cm，越小越好，但摄像头安装高度不能低于机柜顶部；d为摄像头离机柜的距离；v1为摄像头1的垂直覆盖范围；v2为摄像头2的垂直覆盖范围。

在设备室中，通常前后排机柜的监测距离要大于120 cm（一扇门大小60 cm，前排机柜和被测机柜能同时打开），因此，为保证前后排机柜能够正常开关门，摄像头最适宜的安装位置是距离机柜(120±30) cm的范围。系统选用的800万像素摄像头有2种参数：一种焦距为7.5～35 mm，垂直视场角为9°～23°；另一种焦距为2.7～12 mm，垂直视场角为26°～58°。以这2种摄像头为例对摄像头的安装位置、角度进行分析。摄像头垂直覆盖范围见表1，h0设为固定值25 cm。

表1 垂直覆盖范围

由于机柜内设备实际分布空间相对比较集中，只占用机柜上部的一部分垂直空间，而机柜底部多为电源开关，无需进行识别，因此，当垂直可监控范围超过160 cm时均可认为已满足机柜内设备的监测覆盖需求。由表1可知，摄像头垂直视场角为26°、摄像头至机柜的距离120 cm时，摄像头垂直可监控范围为185.70 cm；摄像头垂直视场角为23°、摄像头至机柜的距离150 cm时，摄像头垂直可监控范围为175.00 cm；均满足垂直监控范围大于160 cm的监测覆盖要求。在满足监测覆盖范围的情况下，调整摄像头焦距，为设备指示灯识别提供清晰的监测图片。

4.1.2 设备指示灯识别测试

设备运行状态的诊断依赖于设备指示灯的正确识别，因此，系统对设备指示灯进行了识别测试，识别效果见图6。由图6可见，亮灯的设备指示灯被正确识别为red（红色亮灯）、green（绿色亮灯）和yellow（黄色亮灯）。

图6 设备指示灯识别效果

收集了600张图片，按设备指示灯在图片中占用的像素大小分成6个数据集，系统对这6个数据集进行识别测试，测试结果见表2。

表2 测试结果

由表2可知，当设备指示灯在图片中占有的像素大于20×20 px时，所有图片中的设备指示灯均能被正确识别，无漏检的图片。因此，在实施时，为保证设备指示灯的识别正确率，需对摄像头的监控焦距进行调整，使采集图片中的设备指示灯占有像素大于20×20 px。

4.2 设备室巡检方式对比

以广州地铁3号线（含延长线）设备室为例，全线设有控制中心1个，设备集中站20个，非设备集中站14个，其中设备集中站信号设备室需要监控的机柜为8个，非设备集中站需监控的机柜为2个。将人工巡检和机器人巡检与本系统进行对比，对比结果见表3。

表3 不同巡检方式对比

由表3可知，在单个设备集中站巡检时间方面，本系统的巡检时间最短，巡检效率最高；在准确性、漏检率、人工成本方面，本系统与机器人持平，准确率比人工巡检高，漏检率和人工成本都比人工巡检低；在设备成本方面，人工巡检无设备成本投入，机器人设备投入成本最高，本系统设备投入成本适中。综上所述，本系统更适合在城市轨道交通设备室巡检中应用。

5 结论

本文研究了基于多源图像识别技术的智慧巡检系统及其在城市轨道交通信号设备室中的应用。

1）系统使用摄像头采集机柜内设备的运行状态图片，再通过YOLOv5算法识别图片中的设备指示灯颜色及亮灭状态，实现设备室的自动巡检。

2）经过模型训练，YOLOv5模型识别设备指示灯的均值平均精度达到93.8%。

3）对设备室内摄像头的布设方案进行了研究，通过调整摄像头的焦距，使监测图片中的设备指示灯的占有像素调整至20×20 px以上，实现了全部设备指示灯的准确识别，进一步提升了系统的可靠性。

目前，该系统已在广州地铁3号线进行试点应用，与传统人工巡检、机器人巡检等方式相比，具有巡检周期短，准确率高，漏检率低和整体成本低等优势，具有广阔的发展前景和较高的应用价值。随着该系统在城市轨道交通领域的推广应用，城市轨道交通的智能运维能力也将得到进一步地提升和强化。