基于智能定位的工业现场全天候监控视频异常检测研究

张闻中，华守彤，陈 逸，林义杰

（华能国际电力股份有限公司 上海石洞口第二电厂，上海 201100）

0 引言

工业生产为我国经济发展创造了具体的价值。近年来随着自动化设备的使用，机械逐渐代替手工，还节省了人工成本和降低了人工生产风险[1]。现代工业生产主要在生产车间中开展。车间中布置了大量的机械，其中部分机械价值非常高，部分机械操作非常危险。基于上述背景，进行工业现场全天候监控视频异常检测具有重要的现实意义。不仅能够监测出非工作期间出现在生产现场的异常人员，还能监测现场突发性火灾等，保证工业资产安全，甚至还能及时发现工作期间工业生产过程中存在的风险因素，帮助工作人员及时规避[2]。目前工业全天候视频监控中存在的异常主要通过三种方法进行检测。其中，基于遗传算法的异常检测方法在应用时容易受到遗传算法本身早熟问题的影响，异常检测准确性不高。基于神经网络的异常检测方法在应用时易受到神经网络权值和阈值的影响，抗干扰能力差。基于支持向量机的异常检测方法一旦检测的样本中包括多个类型，检测过程就难以实现，准确率不高，另外只适合小样本图像的异常检测。针对上述问题，提出一种基于智能定位的工业现场全天候监控视频异常检测方法。通过该研究以期提高工业现场监控可靠性，保证监控现场安全。

1 工业现场全天候监控视频异常检测方法

为保证工作期间工业现场人员以及非工作期间车间设备的安全，进行工业现场全天候监控是十分必要的。通过摄像头实时拍摄现场视频图像，然后针对一系列视频图像进行处理和分析，定位图像中存在的异常，分类识别异常类型，完成工业现场全天候监控视频异常检测[3]。基于上述分析，下面进行具体分析。

1.1 全天候监控视频图像采集与预处理

全天候监控，即24小时监控，无论是白天还是晚上都需要拍摄工业现场的视频图像。相较于白天来说，晚上拍摄的视频图像存在明显清晰度不足的问题，这也是造成后续异常检测存在误差的原因之一。针对这种问题，工业现场的监控设备需要选择带有夜视功能的高清摄像头。

摄像头在完成工业现场视频图像拍摄之后，将其发送到异常检测中心，进行进一步的处理和分析。其中，第一步的处理就是预处理图像，提高图像质量。

1）视频图像灰度化

视频图像灰度化目的是去除图像色彩的干扰，让其像素值范围为0～255。灰度化公式如下：

式(1)中，S代表图像灰度化模型；R、G、B代表红色、绿色、蓝色三个基色分量。

2）视频图像滤波

视频图像滤波旨在消除图像中的噪声点，提高图像中细节的清晰度。视频图像滤波公式如下：

式(2)中，Fx,y、F`x,y代表中值和均值滤波，用于去除图像中的不同类型的噪声；W、M代表中值、均值滤波窗口；fx,y代表视频图像中(x，y)处的像素值；N代表窗口邻域内像素点数量。

3）直方图均衡化

白天拍摄的工业现场图像可能存在曝光度过大问题，导致整图非常明亮；晚上拍摄的工业现场图像则可能光线不够，导致整图非常昏暗。这两种环境都会造成视频图像信息不清晰，因此需要进行均衡化调节，增强对比度。处理过程如下：首先计算工业现场视频图像的直方图，其次确定直方图分割阈值，划分为不同的映射区间，然后对每个映射区间进行峰值剪切，最后分别进行均衡化操作，得到每个区间像素的映射灰度值，并与一个偏移系数相乘，完成归一化处理[4]。归一化处理后输出的视频图像就是均衡化后的图像。

1.2 全天候监控视频图像目标智能定位

工业现场全天候监控视频图像中有的目标是静态的，如机械设备、生产的产品；有的目标是动态的，如工作人员，运动中的搬运小车等。对前者静态目标，很容易实现定位，但是对于后者动态目标，定位就比较困难。为此，针对视频图像中的动态目标，本章节提出一种智能定位方法。该方法具体过程如下：

步骤1：输入前K帧工业现场全天候监控视频序列图像；步骤2：视频图像预处理，见1.1节；

步骤3：利用粒子滤波算法设计目标跟踪器；

步骤4：获取初始帧视频图像中目标的位置和尺度；

步骤5：利用跟踪器获得工业现场视频图像中候选目标所在的区域；

步骤6：将跟踪结果构成训练集，记为G=(g1,g2,...,gN)T；

步骤7：利用SIFT算子提取图像特征，具体过程如下：

1）通过对视频图像连续进行降采样处理，采样间隔设置为2σ；

2）构建图像金字塔。图像塔最下边为原视频图像，图像分辨率最大，顺次往上图像分辨率越来越小；

3）加入高斯核，利用尺度空间因子σ进行卷积；

4）构建差分高斯尺度空间；

5）检测差分高斯空间的极值点；

6）利用子像素插值的方法精确极值点位置及其像素值；

7）消除边缘响应，完成视频图像特征点定位；

8）确定各个特征点的主要方向；

9）确定SIFT算子的维度；

10）生成网格；

11）移动网格至关键点方向；

12）计算相应维度SIFT算子；

13）生成高维特征描述子。

步骤8：通过K-means聚类算法将特征划分为M个簇；

步骤9：将每个簇的中心作为特征单词，以此构建视觉字典；

步骤10：计算训练集中每幅图像的特征与视觉字典之间的投影距离；

步骤11：进行投影距离排序，选择距离最小的特征单词表示图像特征；

步骤12：计算每个特征单词的频率，并归一化处理；

步骤13：将归一化特征绘制在一个坐标系当中，生成训练图像的特征直方图；

步骤14：输入新的测试视频图像样本；

步骤15：利用跟踪器初步获取测试视频图像目标候选区域；

步骤16：计算测试样本中动态目标与训练图像样本之间的特征直方图相似性。

式(3)中，Simi代表测试图像候选目标区域与训练集中第i个目标的相似性；fj(x)代表测试图像候选目标区域第j个特征直方图；fj(xi)代表训练图像第i个候选目标区域第j个特征直方图；m代表直方图柱的个数；n代表候选目标区域的个数。

步骤17：判断视频图像中动态目标是否丢失；当Simi大于设定阈值，认为目标未丢失；否则，认为目标丢失，需要回到步骤14，重新定位目标。

经过上述流程，实现了对工业现场监控视频图像中动态目标的智能定位，为后续异常检测奠定了基础。

1.3 工业现场监控视频异常检测

针对目标定位结果，本章节进一步确定定位目标的是否存在异常以及存在异常的类型。在这里，基于深度学习设计分类器，实现工业现场监控视频异常检测，过程包括两个，即提取目标的细节特征和异常检测实现[5]。下面进行具体分析。

1）提取目标的细节特征

上一章节利用SIFT算子提取的图像特征只是用于将目标与图像中其他背景干扰因素区分开，而本章节提取的特征是为了识别目标本身的正常、异常情况，简单地说，前边是异类对比，本章节是同类对比。提取的特征包括5种，提取方法如表1所示。

表1 目标细节特征及其提取方法

表1中这5点特征能帮助后面构建的分类器快速检测异常。

2）异常检测实现

异常检测主要通过基于深度学习中的深度置信网络模型构建的分类器来实现。深度学习表现形式有多种，在本研究中选择其中的深度置信网络来构建分类器。深度置信网络由多个受限玻尔兹曼机（RBM）和一个BP神经网络堆叠而成，如图1所示。

图1 深度置信网络模型

深度置信网络模型并不能直接作为分类器，用于监控视频异常检测当中，它需要像人工神经网络一样，需要进行训练。训练过程从下到上进行，以下一层的结果为输入，首尾相连，直至所有RBM训练完毕。最后进入最上层的BP神经网络当中，执行BP神经网络训练流程，完成BP神经网络的训练。这样深度置信网络模型各层的权值和阈值都调整完毕，完成深度置信网络模型整体训练，即完成分类器构建。

将测试样本输入到训练好的深度置信网络分类器当中，完成工业现场监控视频异常检测。

2 实例测试与分析

借助MATLAB平台，进行异常检测方法有效性测试，并与基于遗传算法、神经网络、以及支持向量机的异常检测方法检测结果进行对比。

2.1 工业现场全天候监控视频图像样本采集

为适应全天候地监控工业现场的需要，选择DHIPC-POE200W带有夜视功能的高清摄像头作为现场视频图像样本的采集设备。该设备带有红外夜视功能，晚上画面清晰度高；带有动态监测功能，可识别画面中静动态物体，如有人员闯入或突发火灾，第一时间进行预警，报警信息至监控中心，即刻采取防护措施；摄像头带有两颗大功率白光灯，可选择红外、白光两种模式，红外补光距离最远可达40米，白光可达30米，根据需要自由切换，弥补了光线不足的问题；支持多个摄像机同步回放功能，可以随时回放查看。

将摄像头布设在待监控的工业现场，现场工作人员模拟异常情况，通过摄像头拍摄图像。部分监控视频图像样本如图2所示。

图2 部分监控视频图像样本

利用布设在6种工业现场的摄像头采集现场视频图像，组成样本集合，用于后续测试与分析。监控视频图像样本集分布情况如表2所示。

表2 总监控视频图像样本分布表

2.2 基本参数设置

测试中相关算法参数设置如表3所示。

表3 基本参数设置表

2.3 目标定位实现

基于1.2节研究对监控视频图像中出现的目标进行智能定位。以表2中的一个样本为例，目标定位结果如图3所示。

图3 定位结果

从图3中可以看出，所研究方法应用下，准确定位出了工业现场视频图像中的目标物体，为后续异常检测与识别奠定了重要的基础。

2.4 异常检测方法评价指标

视频异常检测方法的评价指标有三个，即灵敏度、特异度和正确率。这三个指标计算公式如下：

式(4)～式(6)中，各个参数含义如表4所示。

2.5 检测结果与分析

利用所研究方法、基于遗传算法、神经网络、支持向量机的检测方法对测试样本进行异常检测。检测结果如图4所示。

图4 检测结果

从图4中可以看出，以基于遗传算法、神经网络、支持向量机的检测方法方法相比，所研究检测方法应用下，得出的灵敏度、特异度和正确率均要更高，说明所研究检测方法表现更好。

3 结语

综上所述，工业生产现场很容易发生各种各样的事故，另外工业现场有很多有价值的机械设备。为了保证工业现场工作人员安全，同时也为了保证非工作期间设备的安全，进行全天候的监控是十分必要的。在此背景下，提出一种基于智能定位的工业现场全天候监控视频异常检测方法。该方法通过检测视频图像中的目标状态来识别异常。通过测试与分析，证明了所研究检测方法有效性，灵敏度、特异度和正确率三个指标的表现均要更好，但是本研究受到时间和研究能力的限制，检测方法仍存在不足，其中检测效率方面就是一个较为严重的问题，因此在下一步的研究中有待进一步优化检测方法，提高算法运行效率，缩短异常检测时间。