红外和可见光视频监测设备在光学元件故障诊断中的应用

胡争争 李乾 胡豪

（1.中国电子科技集团公司第二十七研究所 河南省郑州市 450000）

（2.国防科技大学前沿交叉学科学院 湖南省长沙市 410000）

1 系统组成

监测诊断设备采用分布-集中式的系统架构，即分布式采集处理视频信息，集中显示输出视频信息及预警信号。该系统架构能够保证数据采集、处理的高效性以及显示输出的友好性，并且便于后续系统的扩展及维护。

按照视频数据流向监测诊断设备分为视频数据采集、传输、处理和显示四个时序环节，基于该时序环节将监测诊断设备的硬件设备分为四个单元，分别为：视频采集单元、视频传输单元、视频处理单元和视频显控单元。系统的硬件架构图如图1 所示。

图1： 监测诊断设备硬件架构图

视频采集单元主要由安装部署在该激光系统中的若干组长波红外相机和可见光相机组成。每一组相机由一台长波红外相机和一台高速可见光相机组成，负责监测一个光学元件。根据不同的光学元件针对性的设置采集帧率、图像像素等采集条件，并将符合要求的视频信息，按照约定的传输协议进行发送，基于需要监测对象的数量可以灵活动态扩展；

视频传输单元主要由光纤交换机和千兆网交换机组成，以满足视频采集端不同带宽的传输要求以及后续采集单元的扩展需求；

视频处理单元主要由若干嵌入式视频采集板组成，完成对红外视频及可见光视频的实时采集及解析，并基于解析结果进行实时故障诊断及预警输出。其中，视频处理单元是该系统的核心单元。根据该激光系统的工作特点，需要视频故障诊断具备实时性及高效性，故视频处理单元需要使用高性能的嵌入式处理板以保证相关算法运行的实时性和高效性。

视频显控单元主要是完成红外和可见光视频的实时监测，并能将视频处理单元发送的预警信号进行可视化的展示，满足监测人员的预警监控要求。其中，输出的预警信号包括预警位置、异物预警和高温预警等。

2 工作流程

监测诊断设备的具体工作流程如下：

首先，监测诊断设备以25Hz 的频率、640×512 的像素采集红外视频，以60Hz 的频率、1280×1024 像素采集可见光视频；

然后，对采集到的红外和可见光视频分三路同时处理，第一路将视频原始数据以RAW 文件的形式直接存储在本地硬盘上；第二路将可见光视频和红外视频分别按照不同故障诊断算法进行实时处理，如果诊断出故障信息，直接将编码后的预警信息发送到显控端；第三路将可见光和红外视频信息解析后，按照15Hz 的频率发送到显控端；

最后，显控端显示接收到的视频信息，并基于预警信息进行故障预警。监测诊断设备的工作流程图如图2所示。

图2： 工作流程图

3 核心算法设计及实现

监测诊断设备的核心就是对光学元件的状态监测及健康状态分析，本文根据该激光系统的工作流程及光学元件的故障特征，运用基于可见光视频信息的异物检测以及基于红外视频信息的温度预警等算法，针对性的对光学元件进行状态监测及健康状态分析。

3.1 基于可见光视频信息的异物检测算法

由于被监测的光学元件工作在低照明场景下，可见光成像的效果较差，为了满足操作员的较好的监测需求，需要对视频进行增强处理；由于监测的光学元件较多且场景不统一，需要针对性的研究场景异物检测算法，及时监测到该激光系统在持续工作时光学元件的状态，在光学元件状态异常时，能够及时监测并输出预警信号，防止该激光系统持续工作时光学元件受到较大的损坏。

激光系统工作过程中，监测光学元件的可见光视场中可能会出现很多亮点，但并不是所有的亮点都是能造成光学元件损坏的异常点。基于光学元件的工作特性，分析发现只有长时间固定不动且范围足够大的亮点才有可能造成光学元件损坏，基于该分析确定了异物检测算法逻辑如下。

为保证诊断数据的有效性，动态处理分析时，获取到三帧连续图像后开始进行诊断，具体步骤如下：

（1）读取数据，逐帧进行中值滤波；

（2）按照设定的亮度阈值进行二值化处理；

（3）将处理后的三帧图像进行叠加，然后使用opencv 中的cal_point()函数，确定视场中最亮点的位置；

（4）根据上述位置，利用opencv 的findContours()函数获取每一帧图像中标记对应亮斑的轮廓；

（5）循环利用opencv 中的contourArea()函数计算图片中所有亮斑外轮廓的面积；

（6）最后，基于诊断标准，保留亮斑面积大于2的外轮廓标注，并输出预警信号。

基于以上算法，该激光系统工作过程中，可见光视频处理的效果图，如图3 所示。

图3： 异物检测算法效果图

3.2 红外视频温度预警算法

该激光系统工作过程中，红外相机监测到的光学元件的温度不仅仅是光学元件的真实温度，而是光学元件的真实温度和反射环境（其他元件）温度的叠加。通过现有手段不能准确采集到光学元件真实温度，但是通过分析发现，正常情况下，该激光系统工作一瞬间，光学元件会出现快速温升，然后迅速达到某种动态平衡（缓慢升温或者小幅度波动）；而系统内其他元件温度一开始也会出现较快温升（温度上升幅度快于光学元件，且热辐射能够反射到光学元件上），然后缓慢上升。

基于以上分析，本文选择峰值温度、温升率及平均温升三个特征值作为高温预警的指标，具体的预警逻辑为：光学元件的平均温升达到设定温度阈值或者光学元件上的某点峰值温度达到设定高温阈值且温升率大于设定值，即输出故障预警信号。

通过采集的光学元件温度数据分析发现：固定场景，正常情况下光学元件的平均温升不会超过20℃且温升率不会大于10℃，但是由于该激光系统工作环境、工作时长以及光学元件累积工作时长等一系列原因，光学元件的峰值温度阈值Tmax并不好直接确定，设定的过高或者过低都不能较好的达到预警的效果，故如何较为准确的确定光学元件的峰值温度阈值Tmax是一个难点。

本文根据每个光学元件的特点，采用动态计算阈值的方法确定每次的峰值温度，即在每次激光系统工作结束后，基于最新的工作数据进行下次工作峰值温度的计算，并将计算结果数值作为下次工作的峰值温度阈值。具体的方法为：首先，利用多次正常工作数据，训练出一致性较好的分布函数；然后，基于该分布函数计算确定后续的峰值温度。

通过对采集的历史数据分析发现，光学元件峰值温度服从正态分布，利用正态分布的3σ 区域确定光学元件峰值温度为：Tmax=μ+3*σ，在后续采集到新的工作数据后，能够利用新数据对阈值进行迭代修正，保证阈值的持续优化。

其中, μ 是n 次峰值温度的算术平均值，σ 是n 次峰值温度的标准差。

选取光学元件M1 的工作数据进行验证，以判断峰值温度的计算是否合理。光学元件M1 的10 次正常工作数据如表1 所示，基于表1 的数据进行计算得出的10次峰值温度阈值数据以及真实峰值温度数据对比情况如表2 和图4 所示。

图4： M1 10 次工作验证结果表

表1： M1 10 次正常工作数据表

表2： M1 10 次工作验证结果表

图4 数据计算说明：在进行峰值阈值迭代修正的时候需要剔除异常数据，即图4 中22-13 及22-18 两次数据不参与峰值温度阈值的计算。

该激光系统在22-13 与22-18 两次实际试验工作过程中，光学元件M1 确实状态异常，并且监测诊断设备按照预警逻辑进行了实时预警，验证了本文中的算法的合理性。

4 结束语

本文基于红外相机和可见光相机双重监测，实现了一种同时具备异物检测和高温预警能力的故障在线监测诊断设备，解决了激光系统工作过程中光学元件的故障在线监测及诊断的难题。本文提出的监测诊断设备包括以下2 大创新点。

（1）使用红外相机与可见光相机相结合的方式对光学元件进行监测。该方法能够保证在不同的阶段，从不同的角度对光学元件进行监测及分析，能够更加准确的对光学元件进行故障诊断；

（2）使用峰值温度、温升率及平均温升三个指标进行故障诊断及预警输出。现有大部分监测诊断设备都是使用固定峰值温度阈值进行故障诊断，不能基于光学元件实际工作的特性及故障特征进行针对性的设计故障诊断算法，故而虚警率高实用性不强，在实际工程中只能辅助操作员进行判断而达不到系统想要的预警效果。本文中的预警输出逻辑能够大幅度提高故障诊断的准确性，降低虚警率，达到较好的预警效果。