基于CNNs 和红外热成像的电气检修智能保护头盔

刘 佳，王兴媛，王 帆，赵进全

（1.中国电力科学研究院，北京 100192；2.西安交通大学电气工程学院，陕西 西安 710049）

在电气设备的日常维护检修过程中，常常由于故障特征不明显、检修人员经验不足、疏忽大意等原因忽视某些电气故障[1-2]，如超负荷运行引起的设备异常、线路长时间暴露在外和接触不良、安装不到位等[3-4]。此外，户外现场作业人员工作地点范围大，位置随机，存在作业过程安全监控不到位的问题。因此，提高电气设备的日常维护检修效率，增强现场作业过程中的人员监控，具有重要的意义。

电气系统的故障通常会有一定的外部表现[5-6]，如局部异常发热，异常放电等。如果能有效地利用这些现象，将会极大地提高设备的日常维护效率，提早预判故障，避免设备突然停运，并对故障的严重程度做出定量的判断[7-8]。鉴于红外热成像故障检测具有灵敏度高、检测效率高等特点[9-10]，该文提出了一种利用红外热成像技术，通过扫描设备的热分布图像，快速检测设备异常故障的方法。现有作业监控手段主要采用视频监控的方式，其具有成本高、性能需求高、对风险难以及时预警等问题[11]。该文通过在头盔内集成惯性传感器，并部署CNNs 神经网络算法，以识别作业人员的运动状态。综上，该文开发了一种电气检修智能保护头盔。该头盔能够实现对人员作业状态的连续监测和设备发热故障的检测与预警，极大地提高了现场检测人员的安全性。

1 系统硬件设计

智能安全保护头盔采用模块化设计，系统由红外热成像模块、LCD 显示模块、无线数据传输模块、AD 按键模块、运动检测模块、主控和头盔主体构成，硬件系统框架如图1 所示。

1.1 主控模块

主控模块主要收集和存储各个传感器的数据，控制和协调各个模块完成预期功能。

硬件系统的主控模块核心为STM32H743II ARM Cortex M7 处理器，其主频高达480 MHz，具有高速SPI 总线、IIC 总线和异步串口总线，具备一定的扩展性，可链接多种传感器和其他功能模块。

1.2 红外热成像模块

红外热成像模块的主要作用是完成区域热感数据采集。该系统采用的红外热成模组为FLIR Lepton 3.5，分辨率为160×120像素，前视水平视场角为56°。其空间分辨率的计算如下：

式中，IFOV 为瞬时视场角，FOV 为视场角，P为红外热成像模组的像元数，S为探测物体与热成像模块的距离，D为被测物体的尺寸。

由式（1）-（2）可知，Lepton 3.5 可在1 m 距离上识别0.6 cm×0.6 cm 的异常发热点，满足对异常发热端子和线路的检测需求。

红外热成像模块基于普朗克黑体定律，可通过红外线对电气设备的实时温度进行检测。普朗克黑体定律如下：

式中，T为标识黑体的绝对温度，c1和c2为辐射常量，λ为光谱的辐射波长，Mλ为辐射通量密度。由于物体温度正比于红外线的辐射强度，因此，可过模块捕获的灰度值判断设备的发热情况[12]。

1.3 运动检测模块

检测和记录人员的运动状态信息，可在人员出现异常运动时及时报警，提高现场作业的安全性，并将运动检测信息作为绩效考核的有效依据，具有重要的现实意义。

运动检测模块内置Nordic nRF52840 处理芯片，围绕ARM Cortex-M4 CPU 和浮点计算单元(FPU)，具有1 MB 闪存和256 kB RAM，主频可达64 MHz，其性能可支持CNNs 神经网络的运行。模块内置LSM9DSI-ST 加速度计，可采集三轴加速度数据并提取特征值，以表征人员不同的运动状态。

1.4 无线数据传输模块

无线数据传输模块主要将温度、运动和预警信息上传，实现远端监控现场操作情况。

无线数据传输模块采用HC08 蓝牙模组，BLE协议与现场校验仪实现数据交互。该头盔以蓝牙连接的方式挂载于现场校验仪上，实现与后台的数据交互。

1.5 LCD显示模块

LCD 显示模块可进行功能选择、系统操作、查看热成像图像和预警信息等。

为保证显示精度和屏幕观感，设计采用SPI 接口的2.4 英寸ILI9341 串口屏幕，屏幕分辨率为320×240像素，显示效果好。

1.6 AD按键模块

AD 按键节约大量了I/O 口，其利用分压电路和ADC 模块实现控制，通过将不同阻值的电阻接入分压电路中，利用单片机的ADC 模块读取不同电压值，确定不同的按键。为了提高按键的抗干扰性，该文采用电阻串联型AD 按键。

2 软件设计

2.1 软件系统设计

系统采用Python 和C++两种编程语言完成开发，其中，利用Python 完成主系统构架、功能选择和具体功能实现部分的代码开发，利用C++完成运动识别部分的代码开发和部署。智能安全头盔软件系统流程如图2 所示。

2.2 异常温度检测

异常温度检测功能可实现对异常发热点的检测和锁定。为提高温度的测量精度，引入预警阈值自适应调节、发射率修正等优化算法。

预警阈值自适应调节功能可以自动根据发热点的发热温度调节预警温度阈值，并自动调节热成像模块的测温范围；针对不同的现场环境，实现不同发射率的高精度测温，引入发射率修正算法。

非接触式红外传感器发射率补偿公式如下：

式中，E为目标物体表面发射率，TO_NEW为测得物体温度，TA_NEW为测量时的环境温度，TO_REAL为目标物体实际温度，TA_REAL为实际环境温度，温度单位为开尔文。可变阈值的异常温度检测流程如图3所示。

温度阈值可通过按键在30～100 ℃之间自由选择，当温度高于预先设定的温度阈值时，系统将自动报警并在屏幕上标定发热位置，同时产生预警信息编码，通过蓝牙模块发送。

2.3 人体运动检测

为解决现场作业监控不到位的问题，该文开发了基于CNNs 神经网络模型的人体连续运动状态检测算法。可识别的运动状态包括静止、走、跑、上楼、下楼五种。

该模块通过三轴加速度传感器采集加速度数据，通过对加速度数据进行滤波、快速傅里叶变换和特征提取，并将特征量导入CNNs 神经网络，以实现对运动状态的检测。人体运动检测软件流程如图4所示。

数据集的质量直接决定着神经网络的实际应用效果，该文将三轴惯性传感器与安全保护头盔融合，采集人员运动过程中的加速度数据。针对五类典型运动：步行、跑步、上楼、下楼、静止，采集四个人（两男两女）的数据。每人每类运动分别采集30 min 以上的样本，构成原始数据集。由于受自身及环境等多种因素的影响，可能会采集到非相关数据，这就需要人工筛查错误数据，对各类运动数据进行检查、分组与标注。

选取相关度高、分离效果较好的特征值来表征多种运动。分析频谱和功率谱特征可知，根据均方根和第1-3 个峰值，可以识别5 种运动。但若引入峰值频率和功率谱作为特征对网络进行训练，识别准确率可继续提高2%～4%。因此，该文以均方根、第1-3 个峰值频率和峰值、频谱功率分布作为特征，三轴共选择36项特征值，构成表征运动状态的特征矩阵。

基于Tensorflow 框架，采用二维双层卷积层结构，链接多层全连接层，构成CNNs 神经网络的基本结构，并在层间引入10%概率的Dropout 层，减少过拟合。经多次优化与调参，神经网络最终结构如图5所示。

2.4 视频录制与文件管理

视频录制热成像的视频，并将图像信息保存在本地，方便后续根据工作需求调取。

通过按键控制，可录制任意长度的工作视频。软件工作流程如图6 所示。

文件管理系统通过按键控制，可自动扫描录制的视频文件，并对视频文件进行播放或删除。文件管理系统工作流程如图7 所示。

3 系统测试

3.1 头盔样机与主界面演示

通过转接板与主控模块连接，智能保护头盔样机如图8 所示。

头盔操作系统采用图形化的操作界面，可以方便地进行功能选择和操作，设备通电开机后进入菜单主界面，通过按键K3/K4 选择上一项或下一项功能，通过K5/K6 进入和退出相应功能，长按K6 关机。

3.2 连续运动检测

运动检测有基于视觉和基于传感器信号，并结合分类算法进行运动模式识别的两种技术路径。利用传感器进行运动识别具有成本低、可移植性好、灵活的特点，应用场景广阔[13-15]。该文依托三轴加速度传感对人体运动状态进行识别。

该文针对五种典型运动共采集了约3 000 份数据，有效数据总时长超过4 h，通过上百次优化与训练可知，多运动识别准确率大于95%。神经网络性能如表1-2 所示。

表1 五种运动模式的识别结果

表1 为五种运动模式的识别结果（混淆矩阵），表中数值代表了数据样本的识别份数，如下楼运动下的第一个数据代表了有375 份被标定为下楼的数据样本被正确识别为下楼。

表2 为计算所得的神经网络的各项性能指标。准确率为分类器正确分类的样本数与总样本数之比，召回率为分类器正确分类的样本数与样本中的正例样本数之比。F1 值(H-mean 值)代表了网络的综合性能，数值越接近1则性能越优，其计算公式为：

表2 网络模型的识别性能

变换后为：

式中，F1 为所求的H-mean 值，Precision 为准确率，Recall 为召回率，TP 实际为正例，预测也为正例的样本数，FP 为实际为负例，预测为正例的样本数，FN 为实际为正例，预测为负例的样本数。

Macro F1 主要针对多分类问题，其数值等于各分类的F1 值的平均值，为0.983。

3.3 异常温度预警功能

异常温度预警功能可自动检测前方区域的异常发热点，异常温度预警效果如图9 所示。底部由左至右分别代表当前发射率、当前预警温度阈值、当前自适应预警阈值调节功能状态、录制功能状态和运动识别结果。

为测试异常温度的检测距离，该文采用了1.0 cm×1.0 cm 的点状发热源对该功能进行测试。预警温度阈值分别设置为40 ℃、50 ℃、60 ℃、70 ℃，并控制发热源温度分别为50 ℃、60 ℃、70 ℃、80 ℃、90 ℃、100 ℃、110 ℃、120 ℃。对多种工况下的异常温度检测距离进行测试，结果如表3 所示。

表3 异常温度检测距离(单位cm)

测试结果表明，当发热源温度高于预警阈值温度10 ℃时，智能保护头盔可在50 cm 距离上有效检测到发热点；当发热源温度高于预警阈值温度30 ℃时，智能保护头盔可在1 m 距离上有效检测到发热点，红外光学分辨率达100∶1。针对固定温度的异常发热点，适当降低预警温度阈值，可大大提高头盔对发热点的检测距离。文献[16]中的红外光学分辨率为12∶1，红外热成像模块光学分辨率普遍低于20∶1。可见，该设计的热成像模块检测距离远、性能好。

3.4 温度测量功能

当异常发热点温度较高，远高于预警温度阈值时，温度测量误差较大，该文开发了预警阈值自适应调节功能，提高温度测量精度。采用HT-9815 型工业测温仪，利用四路高精度热电偶同时测量不同位置的水温，取其平均值作为标准温度。智能头盔水温测量结果如表4 所示。

表4 温度测量精度测试

由表4 可见，智能头盔的测量误差小于±1 ℃（±1.5%），作为对比，文献[17]中采用类似方案的测温系统，其测温最大误差达到±2.2%，该文方案测温精度远高于目前主流非接触式红外测温仪的测量精度（误差±2%）。

3.5 视频录制与文件管理

通过视频录制功能可将视频录制后保存到本地，方便后期查看。录制前系统会自动扫描文件系统，读取最新的视频序列号，并为新视频命名，防止视频数据被覆盖。

增加文件管理系统[18]，方便现场工作人员回放或删除本地视频文件。现场工作人员可通过按键选定视频文件，并可播放或删除视频。

4 结论

该文针对电气检修过程中检测效率低下、容易误判电气故障、现场作业监控不周全等诸多问题，设计了一种基于神经网络和热成像的多功能智能保护头盔。该文分别从硬件系统、软件系统和功能测试三个方面对保护头盔进行介绍。异常温度检测功能可远距离检测异常发热点，当发热源温度高于预警阈值温度30 ℃时，智能保护头盔可在1 m 距离上有效检测到1 cm 直径的异常发热点，温度测量误差小于±1.5%；各运动识别准确率高于95%，其中，步行识别准确率达98.6%，跑步识别准确率达100%，Macro F1 达0.983，网络性能能够满足现场检测的需要，为提高现场检修的效率、预防各类电气设备故障提供了一种有效的工具。