基于S-RBFNN的变电作业人员着装图像识别算法

李聪, 胡金磊, 周俊煌, 孔婉菲

(1.中国南方电网有限责任公司安全监管部，广东 广州 510623；2. 广东电网有限责任公司清远供电局，广东 清远 511500；3.广州市奔流电力科技有限公司，广东 广州510635)

近年来，随着电力建设的不断发展，变电站设备的修理改造工程量日益增加[1]，施工作业现场区域作业人员多，持续作业时间长，容易出现现场作业人员不按要求佩戴安全帽、穿戴个人防护用品等典型违章现象[2]。安监人员现场监督单纯依靠人力进行着装监管，工作量大，易出现监管注意力不集中等人为因素失误[4]，该类违章行为占比较高，给安全生产造成巨大的人身安全隐患[3]。现有的着装安全监察无法全面暴露和防止该类典型违章现象，因此研发智能视频监控系统[5-6]来辅助进行着装分析和安全监察非常必要，该系统可通过图像识别技术对现场着装违章行为进行实时报警，显著提升安全监管效率[7]，减少对安监人员高注意力的依赖[8]，同时还能大大降低作业现场的安全风险[9]，提升电网企业的社会效益。

目前针对图像识别模型[10-12]的研究已成为计算机视觉领域的一大研究热点，着装识别是其中的重要应用分支，主要有2类模型：以特征工程为基础的浅层机器学习模型和以特征学习为基础的深度学习模型[13]。文献[14]提出采用基于方向梯度直方图(histogram of oriented gradient, HOG)特征和线性支持向量机(support vector machine，SVG)分类器对变电站内站立式行人目标和杆上作业人员进行目标识别，并采用色调、饱和度、明度(hue， saturation， value，HSV)色彩颜色模型来判断作业人员是否按标准着装；文献[15]提出将颜色描述特征和形状描述特征相结合的着装识别算法，仿真表明该算法能够满足在正常光照条件下进行人物着装识别的要求。但是，在室外作业地点强光照、设备遮挡、阴影等因素的影响下，现有的作业人员着装识别算法的泛化能力较差[16]，具有识别精度不够高[17]、漏警率偏高[18]等缺点，从而导致基于现有识别算法所开发的智能监测系统尚不能广泛应用于实际作业现场中。

鉴于此，本文提出了基于样本Q邻域敏感度的径向基神经网络(radial basis function neural network，RBFNN)的变电作业人员着装图像识别算法。该算法一方面通过对作业人员着装图像进行结构划分以增加RBFNN输入特征向量的维数；另一方面通过蒙特卡洛模拟法在样本Q邻域内进行随机采样，以扩充训练样本的数量，并降低分类器输出的波动性。实验表明，基于该算法所训练出来的着装分类器能够满足户外复杂作业环境下的识别精度要求，在作业现场应用中具有更强的鲁棒适应性。

1 作业人员着装图像特征提取

1.1 HOG特征

HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述算子[19]，其核心思想是所检测局部物体的外形能够被光强梯度或边缘方向的分布所描述。HOG特征的计算步骤具体如下。

a)输入从监控视频图像帧中检测到的作业人员着装图像，并对其进行背景消除。

b)梯度计算：对输入图像进行滤波，滤波核为[-1 0 -1]和[-1 0 -1]T，分别计算图像在水平和垂直2个方向上的梯度，进而计算每个像素p的梯度幅值‖I(p)‖和梯度方向Θ(p)，如式(1)和式(2)所示。

‖

(1)

(2)

式中：vh和vv分别表示在滤波后得到的梯度水平分量和垂直分量；Θ(p)为值域0°～180°的无符号实数。

c)将输入图像划分为大小相同的小块，并将若干个小块合成1个中块。

d)方向通道选取：将Θ(p)的值域，平均分成a个通道。

e)直方图获取：统计每个小块中每个像素的HOG，直方图的横坐标为选取的a个方向通道，纵坐标为属于某个方向通道的像素梯度幅值的累加和，最终得到1组向量。

f)归一化处理：以向量对应像素所在的中块为单位，对向量进行归一化处理。

g)形成HOG特征：将上面处理过的所有向量连接起来，形成1组向量，即为HOG特征。

1.2 颜色直方图特征

颜色直方图(histogram of color，HOC)特征是一种全局颜色特征描述算子[20]，它所描述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置，即不描述图像中的对象或物体。由于变电作业人员在着装颜色方面的严格要求，使得颜色直方图特征在反映人物图像是否按规定颜色的衣服进行着装方面具有明显的优势。

本文首先将输入的人物图像变换到HSV颜色空间中，然后将图像中各像素点的色调和饱和度的值分别均匀划分为b个通道，两两组合共有b2种通道组合，按照生成归一化HOG的方法，生成归一化后的HOC特征。

1.3 结构化特征提取

变电站作业人员的着装要求严格且统一，经调查发现，作业人员必须佩带蓝色安全帽和款式相同的蓝色上衣和下衣。考虑到作业人员的头盔、上衣和下衣这3部分之间的形状特征各不相同，且部分与部分之间差异较大，头盔和衣服之间的颜色差异也较大，因此对这3部分的结构分开进行特征提取，以提高分类器在着装图像被部分遮挡情况下的识别鲁棒性。

本文首先根据变电作业人员工作帽和工作服的结构设计原理，总结得到头盔、上衣和下衣3个单元占作业人员着装整体图像的比例；然后对人员着装整体图像按该比例分为头盔、上衣和下衣3个单元格，分别记为(C1，C2，C3)；最后分别对3个单元格提取各自的HOG和HOC特征为(Shog1，Shog2，Shog3，Shoc1，Shoc2，Shoc3)，并将该特征向量记为S-HOG+HOC特征向量SHOG+HOC。

2 作业人员着装图像特征提取

2.1 径向基神经网络模型

RBFNN是一种3层的前向神经网络模型[21]，第1层为输入层，其神经元数由样本特征向量的维数确定；第2层为隐含层，隐含层单元的神经元数由所描述的问题而定，其变换函数是对中心点径向对称且衰弱的非负非线性函数，即为径向基函数(RBF)；第3层为输出层，是对输入数据源的响应结果，其神经元数由样本输出标记的编码方式决定。RBFNN的结构如图1所示，其基本思想是：以RBF作为隐含层单元的“基”，构成隐层空间的基底，通过对输入矢量进行映射变换，将低维的模式输入数据转换到高维空间内，使得在低维空间内线性不可分的问题在高维空间内线性可分。

图1 RBF神经网络模型结构Fig.1 Architecture of RBFNN model

设RBFNN的训练样本数量为N，每个训练样本的特征向量为n维，故训练样本可表示为(X,Y)，其中输入向量X=(X1,X2,…,XN)，期望输出向量Y=(Y1,Y2,…,YN)，而第i个训练样本的输入特征向量和期望输出向量分别为Xi=(Xi1,Xi2,…,Xin)T，Yi=(Yi1,Yi2,…,Yim)T，1≤i≤N，m为分类类别数，w为隐含层节点与输出层之间的网络连接权重向量。当隐含层的RBF为高斯函数时，则隐含层第j个节点的输出

Gj(Xi,Cj,σj)=

(3)

式中：Cj=(cj1,cj2,…,cjn)T为隐含层第j个节点高斯函数的中心；σj为隐含层第j个节点高斯函数的宽度；h为隐含层的节点数。

由图1可知，输入层实现从X→G(X,C,σ)的非线性映射，而输出层实现从G(X,C,σ)到Y的线性映射，网络模型的预测输出可表示为

(4)

式中wj为隐含层第j个节点与输出层之间的网络连接权重向量(对于单输出的神经网络，wj是一个标量)。

本文采用高斯牛顿法[22]对网络输出权值进行训练，目标是使训练样本总误差E达到最小，即损失函数最小：

(5)

2.2 Q邻域敏感度

敏感度是指当训练样本的输入存在微小改变时，引起分类器模型输出的变动程度[23]。从数学角度理解，敏感度衡量的是给定训练样本与其邻域范围内的其他样本这两者对分类器输出引起的差异。在整个数据特征空间T中，图2给出了邻域的概念，其中点代表一类数据，环代表另一类数据；每个样本的邻域用深色正方形标注。由于假设样本中每个特征的最大移动距离是q，故邻域也称为Q邻域。

图2 Q邻域示意图Fig.2 Schematic diagram of Q-neighborhood

由于在特征空间中训练样本邻域内的其他样本无法被穷举，因此Q邻域内样本的敏感度无法被直接计算，只能使用数值计算方法进行模拟，以逼近Q邻域。本文采用蒙特卡洛模拟法，随机采样输入训练样本邻域中的点，并定义第i个训练样本的Q邻域敏感度si为该训练样本的预测输出与其邻域内其他样本预测输出之间欧式距离的期望值，计算公式如下：

si=E[‖f(Xi)-f(Xi+Δxi)‖2] .

(6)

其中Δxi为第i个训练样本在其邻域范围内的波动，且满足-q≤‖Δxi‖≤q。

考虑到变电作业人员一般在户外工作，户外每天的光照情况不同，导致作业人员着装图像的颜色会有一定变化，因此本文在原始着装图像训练样本的基础上，添加一定的纹理和颜色特征的随机波动。假设在训练样本邻域中的数据点与原始训练样本的差异遵循均值为0、标准差为q的高斯分布[24]，即Δxi～N(0,q2)。根据高斯分布对训练样本随机加入扰动，在原始样本邻域中采样多个点，分别计算分类器输出的波动，并对所有波动取平均值，得到敏感度

(7)

基于此，本文提出在对RBFNN进行权值训练的模型学习中，同时考虑最小化样本的Q邻域敏感度，学习训练的目标函数改进为

(8)

式中：γ为平衡样本Q邻域敏感度与训练样本分类误差的超参数；‖Yi-f(Xi)‖2为训练样本分类误差项。为此，本文将上述在对RBFNN进行训练学习时考虑样本Q邻域敏感度的模型定义为敏感度RBFNN(S-RBFNN)模型。

2.3 着装识别算法流程

可以从几何学的角度来解释Q邻域敏感度算法的有效性和鲁棒性，为了便于可视化观察，以二维数据为例来说明和分析本文所提的Q邻域敏感度对决策平面的影响，如图3所示。同样地，图3中点代表一类数据，环代表另一类数据，假设2类数据分布于样本空间的不同地方，有较大的间隔，则此时分类器可以有许多满足准确率为100%的决策平面，如图3(a)则给出了其中一种情况，即如虚线所示的一个决策平面，该决策平面的确定只考虑了在训练数据上分类误差；而图3(b)给出了同时考虑Q邻域敏感度时所得到的决策平面，如实线所示，该决策平面可以尽可能远离边缘样本，保证了模型的鲁棒性。由图3(c)可知，当处在决策面附近的样本稍微移动一定距离(即样本出现随机波动)时，则可能会轻易越过虚线决策平面，被误分类到另一类数据中，但波动的样本仍然不会越过实线决策面，从而提高了模型的泛化能力。综上可知，当测试数据的分布与训练数据相近时，2种方法得到的决策平面均能将测试数据完好准确地分类，而考虑Q邻域敏感度的方法则既能保证较好的分类准确率，也提升了模型的鲁棒性。

图3 Q邻域敏感度对决策平面的影响Fig.3 Influence of Q-neighborhood sensitivity on decision-making plane

基于S-RBFNN的变电作业人员着装图像识别算法的设计方法与流程步骤具体如下。

a)获取变电作业人员着装图像，按第1.3节所述结构化特征提取方法提取模型的输入特征向量SHOG+HOC=(Shog1，Shog2，Shog3，Shoc1，Shoc2，Shoc3)；

b)采用K均值聚类方法求取RBFNN的基函数中心Cj；

d)根据第2.2节所述方法计算各个样本的敏感度si，据此建立以式(6)为损失函数的基于S-RBFNN的变电作业人员着装识别分类模型；

e)采用高斯牛顿法迭代求解上述分类模型中隐含层到输出层的权值，得到在训练样本上的S-RBFNN分类器，根据训练好的分类器对变电站作业人员进行着装识别，输出识别结果，正确着装输出10，非正确着装输出01。

3 实验分析

3.1 评价指标

为了评估本文所提的基于S-RBFNN模型的着装识别算法在变电站实际作业现场下对正类样本(正确着装)和负类样本(非正确着装)的识别效果，采用精确度(RA)、漏警率(RMA)和虚警率(RFA)3个指标来评价所提算法的识别准确率。3个指标的定义如式(9)：

(9)

式中：P和N分别为测试样本中正类和负类的样本个数；TP为预测结果和标签都为正类的数量；TN为预测结果和标签都为负类的数量；FP为预测为正类但标签为负类的样本数量；FN为预测为负类但标签为正类的样本数量。

3.2 实验数据集与超参数设置

3.2.1 实验数据集

数据来源主要为真实变电站数据和模拟采集数据，对于这2种数据，训练样本和测试样本的划分比例均为1∶1。

真实变电站数据又由2部分组成，其中一部分是在南方某220 kV变电站现场采集所得，另一部分是从网络抓取经人工筛选的变电站场景数据。变电站现场采集数据基于移动相机采集获得，总共收集正负类样本的有效数据60个，网络收集的有效数据共160个，有效数据是指包括作业人员头部、上半身和下半身的图像。因此，真实变电站场景样本数据共220个。

模拟采集数据是基于南方某220 kV变电站提供的作业人员服装，在非真实作业环境下拍摄采集所得的数据。这部分数据环境单一，着装颜色和外观的变化较小，因此用于实验对比。模拟数据也是通过移动相机在高度和角度变化的情况下分别采集所得，最终标记的正负类样本的有效数据共1 500个。

3.2.2 超参数设置

对于S-RBFNN算法，参数γ与q都是需要经实验预先确定的超参数。首先对γ先后取值0.1、0.5、1和5，对q先后取值0.05、0.1、0.3和0.5，以此分别进行实验测试并记录效果。测试发现，在模拟采集数据集中，γ取值为0.1且q取值为0.05时实验效果最好。而在真实变电站数据中，γ取值为1且q取值为0.3时实验效果最好。为了避免训练时间过长，在采用蒙特卡洛方法估计各样本点的敏感度时，采样3个点进行计算，即K=3。

3.3 结果与分析

采用第3.1节所提的3个指标来评价基于S-RBFNN模型和基于传统RBFNN模型所设计的2种算法的识别效果，在模拟采集数据集上的着装识别结果见表1，而在真实变电站数据集上的着装识别结果见表2。

表1 模拟采集数据集上各算法对作业人员着装识别的准确率Tab.1 Accuracy of each algorithm in recognizing dressing of operators on analog acquisition dataset %

表2 在真实变电站数据集上各算法对作业人员着装识别的准确率Tab.2 Accuracy of each algorithm in recognizing dressing of operators on real substation dataset %

由表1可知，在模拟采集数据集中2个超参数γ和q分别为0.1和0.05时，基于S-RBFNN模型所设计的算法较基于RBFNN模型在识别精确度上的差距小于1%，漏警率略高于基于RBFNN模型所设计的算法；这是由于基于S-RBFNN模型所设计的算法在考虑样本Q邻域敏感度时会有代价，导致在场景单一的数据集上损失了分类误差。但是，当γ和q取值均为0时，即将S-RBFNN模型退化为RBFNN模型时，基于S-RBFNN模型所设计的算法在RA、RMA和RFA上与基于RBFNN模型所设计的算法均能达到相同的识别效果，识别精确度较高，漏警率相对较小，且虚警率均为0。综上可知，本文所提的基于S-RBFNN模型所设计的算法能通过优化γ和q的取值来适应识别环境的复杂性，在环境单一的情况下取值为0时识别效果更好。

由表2可知，在真实变电站数据集上，基于S-RBFNN模型所设计的算法较基于RBFNN模型在识别精确度上提升3%以上，表明引入样本Q邻域敏感度后的模型在真实变电站复杂环境下的整体识别效果较好。另外，基于S-RBFNN模型所设计的算法较基于RBFNN模型在漏警率上降低5%左右，这说明当变电作业人员的着装因为新旧、光照差异或拍摄角度不同等原因导致其外观和颜色存在差异时，基于RBFNN模型所设计的算法会有更大的概率将非正确着装识别为正确着装，从而无法更有效地对作业现场中的非正确着装行为发出警告，违规漏报的情况更普遍，大大增加了作业现场的安全隐患。典型错误识别案例如图4(a)—(b)所示，当测试人员穿蓝色牛仔裤被安全围栏和围栏杆局部遮挡时，RBFNN模型由于不容许着装图像有遮挡噪点，易发生漏报情况，而S-RBFNN模型则不会；但是2种模型对蹲下人员的着装识别都很容易发生违规漏报，如图4(c)所示。

此外，在给定γ和q的条件下，基于S-RBFNN模型所设计的算法较基于RBFNN模型更能有效降低虚警率，这说明该算法将正确着装识别为非正确着装的概率更小，即作业现场的误报情况更少发生。典型案例如图4(d)—(e)所示，当测试人员的工作服褪色较明显或者光线不足使得工作服颜色加深时，由于RBFNN模型不容许蓝色工作服的颜色发生一定变化，容易发生误报，而S-RBFNN模型因适应颜色在一定范围内变化而不发生误报；但是2种模型在半蹲人员的着装识别中都较容易发生误报情况，如图4(f)所示。

图4 典型的错误识别图像Fig.4 Typical misidentified images

综上可知，在不考虑人员蹲姿着装图像的前提下，基于S-RBFNN的模型所设计的图像识别算法较基于RBFNN的模型在复杂变电作业环境下具有更强的识别鲁棒性。

4 结束语

本文所提的基于S-RBFNN的变电作业人员着装图像识别算法能通过优化超参数γ和q的取值来适应识别环境的复杂性，其相比于传统的基于RBFNN识别算法，在变电站复杂作业环境中不考虑人员蹲姿着装的前提下具有更强的鲁棒性，且识别精度更高，漏警率更低，能够快速准确地识别安全帽和防护服穿戴等违章行为，有效提升安全监察的工作效率。另外，在人员蹲姿着装图像识别的情况下，基于S-RBFNN的模型也有待改进，这是进一步提升着装识别算法鲁棒性的研究重点。