头戴式摄像机变电站防误操作图像识别

黑颖顿

(云南电网公司电力科学研究院,昆明 650217)

头戴式摄像机变电站防误操作图像识别

黑颖顿

(云南电网公司电力科学研究院,昆明 650217)

为了满足变电站智能防误的需求,提出了一种基于图像识别方法的变电站防误操作智能识别系统。利用头戴式摄像机获取变电站现场的实时视频图像,基于尺度不变特征变换对标志牌以及操作目标进行智能识别,实现对操作人员定位,防止走错间隔。采用隐马尔科夫模型对采集到的操作人员手部轨迹进行匹配识别,结合操作票判断操作人员是否有误操作行为发生。本文详细介绍该系统的组成和实现方法。通过变电站内的现场测试验证了所提出方法的有效性。

防误操作；SIFT变换；HMM模型；图像识别；轨迹识别

0 前言

变电站是电力系统的重要生产场所,变电运行操作是电力系统工作中的重要环节,其直接关系到整个电网的安全稳定运行。由于变电站内隔离刀闸、断路器、接地刀闸等设备众多,如果操作人员操作不当,极易出现误操作行为。变电站人员的误操作行为是电力系统中频繁发生的恶性事故,错误的电气操作往往导致大面积停电、设备损坏、人身伤亡,并可能对电网造成永久性故障[1-2]。变电运行的恶性电气误操作是一个困扰电力部门多年的问题

尽管变电站内电气操作的规则和步骤已经非常细化和完善,但误操作事故还是频频发生。现阶段的防误手段主要包括：对操作人员的管理培训,防误装置的管理使用,设备标识的定期检查。这些方法过于依赖操作人员的主观能动性,智能化程度较低,不能从根本上防止误操作事故的发生。

采用计算机视觉技术达到客观防误的效果,是一种新的防误手段,与传统方法相比该类方法对操作人员依赖性较低。该类方法通过移动视频设备采集现场信息,通过智能算法分析和理解操作行为,利用计算机代替人眼实现对操作过程的智能监控。目前陈峰等[3]设计实现了穿戴式移动音视频交互系统,该系统对操作行为进行监控和录像,并且实现了站内的语音通信,但该系统无法对操作行为进行智能分析,依然需要人员进行监视。乐健等[4]开发的变电站防误操作系统,则通过对变电站内标志牌进行识别,防止操作人员走错间隔,该系统仅实现定位功能,对操作人员的后续操作无法进行监控。

本文针对上述系统的缺点,结合计算机智能视觉技术,提出一种变电站防误操作的图像识别方法。采用头戴式摄像机获取变电站现场的实时视频图片,基于SIFT变换对标志牌以及操作目标进行智能识别,采用HMM模型对采集到的操作人员手部轨迹进行分析与识别,进而通过后台操作系统对操作人员进行指导与纠错,从根本上防止误操作的发生。通过对某变电站采集的现场图像进行测试,结果验证了本文所提方法的有效性。

1 系统总体结构

本文提出的变电站防误操作智能识别系统的整体结构如图1所示。

图1 系统总体结构

整个系统按照工作流程可分为4个部分：

信息采集部分通过头戴式摄像机采集现场的实时图像。包括各操作间隔的标志牌图像、各操作柜内的电气单元图像、操作人员的操作图像等,为后续的图像处理提供原始信息。

无线传输部分采用3G无线网络将采集到的实时图像信息通过终端设备发送到后台服务器进行后续处理。传输延时小,平均延时小于3秒,并且终端设备内配备SD卡,可进行图像的本地储存,防止图像在传输过程中丢失信息。

智能识别部分通过图像识别算法对后台服务器接收到的图像进行处理和识别。主要进行三类识别：标志牌识别、操作目标识别、操作轨迹识别。标志牌识别通过匹配标志牌图像,对操作人员的位置进行定位,防止操作人员走错间隔。操作目标识别通过匹配柜内图像对操作目标进行识别定位,获得操作目标的实时位置,而且通过匹配分合闸内图像信息自动识别开关分合情况。操作轨迹识别通过对操作人员的手部轨迹进行识别,实现对操作行为的智能理解和分类,防止误操作行为的发生。

后台处理部分负责系统的后续操作,主要包括以下功能：语音通信、图像储存、实时报警、智能解锁。语音系统通过外置的耳麦实现与操作人员的实时交流,当接收到报警信号时,对操作人员进行语音提示；语音系统还可实现操作人员与监控室的实时通信,对于现场发生的复杂情况,可让专家人员对操作人员进行语音指导。图像储存功能将后台服务器接收到图像信息和语音信息与五防系统产生的操作票信息进行配对保存在后台服务器上,方便事后的查看和分析。实时报警功能在操作人员处于错误区间或者做出错误操作行为时,将向后台服务器和终端设备发出告警信号。智能解锁功能与变电站五防系统结合,当采集到的图像匹配成功后,可实现对相应门禁、开关和按钮的智能解锁。

2 基于SIFT变换的目标识别

尺度不变特征变换 (SIFT)变换[5-6]是一种提取局部特征的算法,其基于尺度空间对图像缩放、旋转、亮度变化保持不变性,对视角变化、仿射变换、噪声等也保持一定程度的稳定性。因此,在图像的识别、目标跟踪定位等方面得到了广泛的应用。

2.1 尺度不变特征变换算法原理

尺度空间的图像是利用一组连续的高斯卷积核与原图像进行卷积生成的。一幅二维图像I(x,y),其在不同尺度空间下的表示L(x,y, σ)可由图像I(x,y)与高斯核G(x,y,σ)的卷积得到。由不同的高斯核卷积得到的高斯图像两两相减生成高斯差分尺度空间 (DOG scalespace),即：

尺度不变特征变换主要包含4个步骤：

1)检测尺度空间极值点：为了寻找尺度空间的极值点,每一个采样点要和它所有的相邻点比较,看其是否比它的图像域和尺度域的相邻点大或者小。如图2所示,中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较,以确保在尺度空间和二维图像空间都检测到极值点。

2)关键点方向分配：利用关键点邻域像素的梯度方向分布特性,为每个关键点指定方向参数,使算子具备旋转不变性。

图2 高斯差尺度空间

式中：m(x,y)为 (x,y)处梯度的模值, θ(x,y)为(x,y)处梯度的方向,L所用的尺度为每个关键点各自所在的尺度。

3)特征点描述子生成

首先将坐标轴旋转为关键点的方向,以确保旋转不变性。在以关键点为中心的8×8的窗口内,分成4个4×4的小块,在每个4×4的小块上计算8个方向的梯度方向直方图。绘制每个梯度方向的累加值,即可形成一个种子点,如图4所示。

实际计算过程中,为了增强匹配的稳健性, Lowe建议对每个关键点使用4×4共16个种子点来描述,这样对于一个关键点就可以产生128个数据,即最终形成128维的SIFT特征向量。SIFT特征描述符对光照、噪声、旋转和尺度都具有良好的不变性。

图3 SIFT特征向量

4)特征点匹配：SIFT的匹配算法是通过计算两个特征点描述子之间的欧氏距离得到的。采用SIFT特征向量的欧式距离作为两幅图像中SIFT特征点的相似性判定度量,将具有最小欧式距离的两个SIFT特征点匹配起来。一个特征点可能存在多个相似匹配点,为了减少由此引起的误匹配问题,可先比较最近邻和次近邻特征点距离之比,当比值小于阈值,则接受该匹配点对,否则丢弃。降低阈值,可以减少SIFT匹配点对的数目,增加匹配的稳定性。

2.2 图像配准

通过SIFT变换得到两幅图像特征点之间的匹配关系,根据匹配点对构建图像序列之间的变换矩阵,即两幅图像之间存在投影变换H：

式中：投影变换矩阵H的自由度为8,p= (x,y)与q=()是匹配的特征点对。根据上式可用4组最佳匹配求出矩阵H的8个自由度参数。为消除匹配过程中有可能存在的错误匹配点,本文采用RANSAC方法来求得变换矩阵H。

RANSAC估计算法的步骤如下：

1)从N个候选匹配特征点对中随机选取4个点对建立方程组,解出变换矩阵H的8个未知参数。

2)计算其余(N-4)个特征点经过变换矩阵H的变换,与它的候选匹配点之间的距离dv。

3)若dv小于某一阈值,则该候选特征点为内点,否则为外点。这里内点是指正确匹配的特征点对。

4)统计在此变换矩阵下内点的数量。

5)再选另外4对候选匹配点,执行步骤1)到4),重复若干次后,选择具有内点数量最多的集合作为最佳内点集合。在此最佳内点集合下的变换矩阵H的8个参数值作为参数估计的最优值。

据此,求出了两幅图像之间的坐标转换关系,即变换矩阵H。根据坐标转换关系将一幅图像变换到另一幅图像上,实现两幅图像之间点的对应。

2.3 目标识别

目标的识别主要包括两类：一种是标志牌的识别,另一种是操作目标的识别。标志牌的识别将通过摄像头获得的当前间隔的标志牌与目标标志牌进行匹配识别,准确判断操作人员的实时位置,防止误入非工作区间,若操作人员走错间隔,则系统发出报警信号,提示操作人员；若操作人员处在正确的间隔,则允许操作人员进行后续操作。操作目标的识别则将现场采集到的柜内图像与标准图像之间做匹配,通过在标准图像上对操作目标进行定位,对应获得操作目标的实时位置。其中对开关、断路器等操作柜的识别,可通过匹配分合闸内图像信息自动识别开关分合情况,即识别 “分”“合”“1”“0”等分合闸信息图像。获得操作目标位置后,即可追踪操作人员的手部位置,获取其手部运动轨迹进行行为分析。

3 基于轨迹识别的误操作检测

变电站恶性误操作事故主要包括：带负荷拉、合隔离开关,带电挂 (合)接地线 (接地刀闸),带接地线 (接地刀闸)合断路器 (隔离开关),误入带电间隔等。观察统计变电站内的这些误操作可知,这些操作大部分都是手部运动,本文通过对操作人员手部进行跟踪,根据手部的动作和相对于操作目标的运动轨迹,可对操作行为进行匹配识别,进而防止误操作的发生。目前轨迹识别分类的方法主要有隐马尔科夫模型和神经网络[7]。本文采用隐马尔科夫模型对操作人员的手部轨迹进行匹配识别。

3.1 轨迹的提取

为了获得操作人员的操作轨迹,首先需要进行手部分割,得到手部轮廓。本文采用基于肤色的检测方法实现手部分割,即通过将RGB空间转换为YUV空间,转换公式为：

根据肤色对应的颜色矢量即可方便的完成手部分割。获得手部轮廓后通过下式获得手部质心：

式中：(xc,yc)为质心坐标,(xi,yi)为轮廓上的像素点坐标,n为手部轮廓上的像素点总数。根据质心坐标,将手部的轮廓点的坐标转换成为以质心位置为原点的极坐标系,然后分析轮廓曲线中的局部最大值,映射得到手指的位置。通过追踪手指的位置变化,得到手部的运动轨迹。获得轨迹后,需要对轨迹进行编码,通过计算轨迹相邻点之间位移,得到运动方向编码,组成手势运动向量特征。

3.2 基于HMM的轨迹识别

隐马尔科夫模型 (Hidden Markov Model, HMM)是在马尔科夫链的基础上发展起来的,它是一种双重随机过程,其一为马尔科夫链,用于描述状态的转移；另一个随机过程描述状态和观测值之间的统计关系。本文采用从左到右结构的多观察值离散HMM[8]对操作人员的手部轨迹进行匹配识别。

3.2.1 HMM模型的初始化

模型由三个元素组成,即λ=(π,A,B ),则给定状态集S={s1,s2,…,sN},初始化状态转移矩阵A,设定状态i只能返回到本身或转移到i+1状态,即：

其中aNN=1,其他aij=0.5。对于初始概率密度π,设定π1=1,πi=0,i≠1。对于观察概率矩阵B则有：

这样就完成了一个初始化的HMM模型。

3.2.2 HMM模型训练

本文采用Baum-Welch算法调整模型参数,使得观测序列的概率最大。设有L个观察序列O(l),l=1,…,L,此时

使用多个观察序列进行HMM训练,则参数的重估公式为：

式中：

为了估计出对于观察值序列的最优HMM模型,设定阈值C,当时,即得到训练出的HMM模型,否则令重复上述步骤,直到收敛。

3.2.3 操作轨迹识别

操作轨迹的识别实际上是在已经训练好的HMM模型中选出一个能够最好描述观察序列的模型。根据轨迹样本序列O=O1,O2,…,OT,对于模型库中的模型集λ={λ1,λ2,…,λn},计算样本序列对于这些模型的条件概率利用Viterbi算法,根据最大似然公式,最大的轨迹模型即为样本轨迹的识别结果。

后台系统得到HMM模型识别得出的结果后,若操作轨迹无法识别,则通过语音系统提示操作人员中止该操作,重新进行该次操作行为。若得到操作结果,则将该结果与操作票内容进行比对,若比对结果错误,系统发出报警信号,语音系统提示操作人员正确操作；若比对结果无误,则语音系统允许操作人员进行该操作,智能解锁该操作目标。

3.3 隔离开关等的操作识别

对隔离开关、接地线等的操作识别,需将操作棒或绝缘棒的轮廓提取出来,对棒头位置进行定位,将棒头位置与对应目标位置进行匹配,即可完成识别。首先根据式5利用操作棒对应的颜色区间,排除不必要的背景信息。然后采用高斯混合模型进行运动目标检测,提取操作棒的二值轮廓。

高斯混合模型对图像的每个像素点在时间域内的变化用K个高斯分布来模拟。即：

式中：K为高斯分布个数,ωi,t为第i个高斯分布的权值,μi,t和Σi,t为第i个高斯分布的均值和协方差矩阵。根据隔离开关分合情况,判断棒头位置,当隔离开关处于分状态时,合隔离开关应自下而上操作,棒头位置为操作棒最高点,分隔离开关操作则相反。图7给出了合隔离开关操作的图像检测结果。

4 实验结果

4.1 目标识别结果

对国内某110 kV变电站现场采集到的视频图像进行处理和识别。在该变电站共采集到15张标志牌图像,利用SIFT变换对标志牌进行匹配识别,所有图片均能正确识别,识别率为100%。

对操作目标的识别实验,选取了7个操作柜内的37个操作目标进行识别,所有操作柜内图像均能进行正确匹配,其中35个操作目标能准确匹配,准确率为94.6%,剩余2个操作目标由于其位置较高,图像不清晰,得到的匹配点较少,其中还有一些误匹配点,导致对目标的定位有一定偏差,但不会影响轨迹识别的准确性。

在分合闸内图像识别中,我们随机选取了40张 “分”“合”“1”“0”的现场图像进行识别。39张图像信息能得到准确识别,识别率为97.5% .剩余一张由于采集位置远,目标较小,图像不清晰,导致匹配点数少而识别失败,被判别为无法识别。在该种情况下,语音系统会提示操作人员近距离采集图像信息。

4.2 轨迹识别结果

对操作轨迹的匹配识别,我们随机选择了2个操作柜内的7个操作目标进行实验,通过训练出的HMM模型对操作轨迹进行识别,每个目标重复进行20次操作行为。操作行为按照变电站规范操作要求进行操作,每次操作均需由视频下方进入视频区间,直接对目标进行操作,操作完成后手部需退出视频区间。对于一些无法识别的复杂的手部轨迹,我们对其进行简单的变换,保留其首末两点,以这两点之间的直线来代替该轨迹,以避免由于个人操作习惯造成的实验误差。

识别结果如表1所示。总共140次测试行为中,有130次行为能得到准确识别,识别率为92.9%,剩余的10次行为被判别为无法识别的轨迹。测试结果与真实情况接近,能够对绝大部分的操作行为准确识别,并且有较小的误警率。在隔离开关、接地线等的操作实验中,选取了两种行为各20次,共40次操作行为,实验结果均能准确识别棒头位置,进行准确匹配。

表1 轨迹识别结果

5 结束语

本文提出一种变电站防误操作的图像识别方法,将目标识别算法与手部运动轨迹匹配识别算法相结合来判断是否有误操作行为发生。该方法首先利用SIFT变换对标志牌进行识别,对操作人员进行定位来防止走错间隔,将SIFT变换与轨迹识别算法相结合,实现对操作行为的识别和分类。这种方法在很大程度上提高了变电站误操作行为的识别率,能够及时有效的防止误操作行为的发生。

基于上述图像识别方法,本文设计了一套变电站防误操作智能识别系统,结合现有的五防系统,可实现对变电站内操作行为的智能管理,对提高变电站内的操作安全性具有重大意义。

[1] 梁广,张勇军,凌毅,等.变电运行人因事故分析的拟REASON模型 [J].继电器,2008,36(3)：23-26.

[2] 周邺飞,梁锋,许祖锋.基于三态拓扑计算的变电站防误操作研究 [J].电力系统保护与控制,2011,39(18)：145-149.

[3] 陈锋,施俊.穿戴式移动音视频交互系统在电力生产中的应用 [J].华东电力,2009,37(9)：1514-1516.

[4] 蔡伟,乐健,靳超,等.变基于视频识别技术的变电站防误操作系统的研究 [J].电力系统保护与控制,2011,39 (12)：112-116.

[5] LOWE D G.Distinctive image features from scale-invariant key points[J].International Journal of Computer Vision,2004, 60(2)：91-110.

[6] 汪道寅.基于SIFT图像配准算法的研究 [D].中国科技大学,2011：23-40.

[7] 潘奇明,周文辉,程咏梅.运动目标轨迹分类与识别[J].火力与指挥控制,2009,34(11)：79-83.

[8] 蔡金锭,鄢仁武.ARMA双谱分析与离散隐马尔可夫模型在电力电子电路故障诊断中的应用 [J].中国电机工程学报,2010,30(24)：54-60.

Research on Image Recognition Method of Substation Anti-mal-operation Based on Head-camera

HEI Yingdun
(Yunnan Electric Power Research Institute,Kunming 650217,China)

A substation anti-mal-operation intelligent identification system based on image recognition method is proposed in order to meet the needs of substation intelligent anti-mal-operation.The real-time video image of substation site is captured by headcamera,the scale invariant feature transform is used to recognize the signboard image and the operation target,and it can determine whether the working staff has accessed to the proper bay.The movement trajectory of the hand is matched and recognized by building the Hidden Markov Model,and it can distinguish whether there exist anti-mal-operation by referring to the operation order.The composition and realization method of the system is introduced in this paper.The results by the site tests in substation were presented to verify the effectiveness of the proposed method.

anti-mal-operation；scale invariant feature transform；hidden Markov model；image recognition；trajectory recognition

TM63

B

1006-7345(2015)01-0096-06

2014-10-31

黑颖顿 (1987),男,硕士,云南电网公司电力科学研究院,研究方向为变电运行 (e-mail)yndzhyd＠163.com。