基于马尔可夫随机场的运动物体检测方法

魏丽芳, 林甲祥, 杨长才, 董　恒, 周术诚

(1.福建农林大学计算机与信息学院，福建 福州 350002；2.福州大学物理与信息工程学院，福建 福州 350002)



基于马尔可夫随机场的运动物体检测方法

魏丽芳1, 林甲祥1, 杨长才1, 董恒2, 周术诚1

(1.福建农林大学计算机与信息学院，福建 福州 350002；2.福州大学物理与信息工程学院，福建 福州 350002)

摘要:智能监控的实现是避免和防范变电站内各种潜在危险的一种有效途径.为了更准确判定变电站工作人员的运动状态，提出一种基于高斯混合模型结合马尔可夫随机场的运动物体检测方法.在图像的HSV颜色空间通过混合高斯背景建模实现对运动物体的初步检测，采用区域性马尔可夫随机场与运动物体模板匹配实现运动物体的精确检测，并根据模板去除存在的阴影.结果表明，该方法可在变电站不同背景条件下有效检测出运动物体，为运动物体的行为分析及运动场景拼接奠定了良好的基础.

关键词:视频图像; 高斯混合模型; 运动检测; 马尔可夫随机场

近年来随着电力系统安全等级升级的需求增大，警戒区型建筑以其完善的配套设施、先进的生活方式正逐渐改变人们的工作环境，同时人们对于安全防范的要求更高.为了进一步满足社会经济发展与文明生活的高标准要求，创造安全、舒适、温馨的工作环境，电力智能安全防范系统成为警戒区型建筑安保建设中不可或缺的一项.警戒区型建筑周界安全防范系统是为防止人员从非入口区域未经允许擅自闯入，避免和防范各种潜在的危险[1].近年来，利用视频监控设施对监视区域进行监测的各种技术飞速发展，为基于智能监控的安全防御系统的实现提供了强大的理论和技术支持[2-6].通过对所监视场景中运动目标的检测、分析与识别, 对当前目标所处的状态进行判断, 根据要求对异常事件及时报警, 从而达到安全监控的目的[7].

视频图像中的运动物体检测是实现各种安全防范的基本技术内容.运动物体检测一般以背景建模的结果为基础.背景建模的主要难点在于自然场景中的背景通常是实时动态的，同时摄像机的抖动和视频信号的噪声也给鲁棒背景建模带来困难.文献[8]提出了通过高斯背景建模方法实现交通场景的监控；文献[9]提出了一种以拓扑自由的隐马尔可夫模型的建模方法来处理环境光照的突然变化，该方法可适应于动态环境下的目标检出，但未对检出目标进行分析.文献[10]则提出一种分级建模方法，采用两级策略对运动目标进行准确检测.采用该方法可以实现复杂环境下的目标对象检出，但如何利用检测到的目标判读该工作人员的工作状态，成为安全工作需要进一步确定的问题.

为了判断工作人员是否处于安全工作区或是否发生越界行为，提出一种高斯混合模型与马尔可夫随机场结合的运动检测方法.该方法在图像的HSV颜色空间通过混合高斯背景建模实现对运动物体的初步提取，并提出区域性马尔可夫随机场与运动物体模型相结合的方法，实现对运动物体的精确检测，通过运动模板模型去除阴影的影响.

1材料与方法

1.1改进的高斯混合背景建模

高斯混合模型[2-3]是在单高斯模型[1]基础上构建的背景模型.对视频图像的每个像素点建立多高斯混合模型，同时处理背景中可能出现的多种变化，且模型的参数可实现自适应更新.本文采用改进的高斯混合建模方法，实现复杂环境下运动物体的检测.

假设视频中某帧图像上的任何一个像素点都符合高斯混合背景模型的分布，每个像素点所呈现的颜色用K个状态来表示，一般K取3～5(K=3)，将每个状态用一个高斯分布来近似.将像素点所呈现的颜色用随机变量X来表示，在每个时刻得到视频图像的像素值为随机变量Xt的采样值.第i个状态(0

(1)

(2)

其中，μi为第i个高斯分布的均值，∑i表示协方差矩阵，ωi为对应的权值.

将当前帧中的每个像素点与模型相应点的各高斯分布进行匹配运算，若多模态中有1个或几个(设为第k个)高斯分布与像素值匹配，则更新该高斯分布；若当前像素值X找不到任何一个与之匹配的高斯分布，则认为多模型集合中出现了新的高斯分布.根据X值引入新的高斯分布，代替原高斯模型中权重最小分布，赋较小权值和较大方差.

混合模型中背景像素的模型应具备较大的权重和较小的方差，因此对于视频中某帧图像上的任何一个像素点属于当前背景的可能性或概率，通过训练高斯混合模型实现[6,11,12]：

(3)

(4)

1.2基于马尔可夫随机场的运动对象分割

在完成背景建模时，可以获得运动物体的团块.为了精确获得物体的体态信息，提出采用基于色彩分布的马尔可夫随机场分割方法进行运动物体的精确提取，同时去除存在的阴影.

1.3马尔可夫随机场

马尔可夫随机场理论提供了对上下文相关性的一种方便、一致的建模方法，本文利用MRF随机场描述图像像素之间的空间约束信息.设一幅大小为M×N的图像，像素的集合为S={s(i,j);1≤i≤M,1≤j≤N}.其在MRF中，点s(i,j)的空间关系通过其邻域系统相互关联，邻域系统定义为[9-11]：

(5)

若M为s(i,j)的邻域系统，需满足：(1)s(i,j)∉mij；(2)如果s(k,l)∈mij，那么s(i,j)∈mkl.

图像分割后X={xs;xs∈{1,2,…,K}}是定义在S上的随机场，如果X满足以下特性，则认为X为马尔可夫随机场，图像像素联合概率P(X)>0.若：

(6)

根据Markov随机场和Gibbs分布的关系，将其表述为Hammersley-Cliford定理，即X是S上的一个对于邻域系统M的马尔可夫随机场，当且仅当它的联合分布是与M有关的集簇(Clique)的Gibbs分布[12-16]:

(7)

(8)

Vc(X)是与集簇有关的势函数，通过选择集簇合适的势函数，可以形成多类别的Gibbs分布的随机场.其中:

Vc(xi)=δ(xi,xj)-1

(9)

(10)

(11)

贝叶斯定律的后验概率为：

(12)

当数据给定后，p(X)为常数，可以不予以考虑.结合Hammersley-Clifford定理，可以得到最佳分割的搜寻等价于下式的最小化过程：

(13)

其中，U(L,X)为能量函数，由条件概率模型能量函数U(X,L)和先验模型能量函数U(L)组成.

Z为归一化常数，而能量函数U(x)表述为:

(14)

即所有可能基团C的基团势能Vc(x)之和，某个基团C被定义为S中位置的子集，Vc(x)的值依赖于基团C的局部配置.

1.4阴影的处理

对于检测到的运动对象，存在的阴影将影响其运动状态分析.阴影包括自身阴影和投射阴影.自身阴影是目标表面未被光源直接照射而形成的暗区域；投射阴影是指在光线照射方向上由于目标遮挡而形成的背景中的暗区域.已提取运动物体的投射阴影对行动判定影响不大，而自身阴影则是影响行为判定的主要干扰因素[16,17].运动物体自身阴影出现的特点有：(1)从脚部开始出现，并未与自身身体相交；(2)阴影区域较暗，在分类块中多数应为黑色或灰色块.

他是中国香料和食品添加剂专家，是我国食品领域的第一位60后院士，被人们尊称为“香料院士”；他为攻克中国香料技术难题，在极其困难的条件下，呕心沥血、废寝忘食，终于使得我国关键肉味香料摆脱了依赖进口的局面，同时也使我国成为迄今为止全球仅有的两个能够自主生产此类高档香料的国家之一。

利用初始检测结果以及马尔可夫分割后的图像、运动模式(模板形式包括行走、跨越、蹲坐、站立)，去除运动物体自身的阴影.

1.5运动物体的精确提取

在划定运动物体区域的基础上，剔除其他非人体区域，正确检测出运动物体的真实区域.精确分割算法的实现过程描述如下：

(1)在背景建模后，提取初始分割后的运动物体的二值化图像Im_binary及在原图中分割对应区域Im_src；

(2)对Im_src图像进行基于马尔可夫随机场的分割，得到分割后的图像Im_mrf；

(3)根据Im_mrf中不同类别分类块中心点位置与图像Im_mrf中心点的位置，同时结合阴影的特点，判断可能为阴影的分类块；

(4)根据给定运动模式模板，进一步确定是否需要去除的阴影及要去除阴影的精确区域及大小.

(5)对于去除阴影的图像，进一步利用马尔可夫随机场分割图像Im_mrf中的分类块，准确获得运动物体的轮廓，得到精确体态图像.

2结果与分析

为了验证提出的方法的可靠性、有效性等，在不同测试数据上进行验证试验(不同天气情况，如晴天、阴天等)，试验数据为某电站实际环境下，根据系统设计目的采集.其中，采集的视频数据格式为CIF，并将提出方法的运动物体检测结果与文献[13]检测结果进行比较.试验环境在配置为IntelCore(TM)i7CPU2.2GHZ和4GB内存的PC机器上完成，编程工具为VC6.0+OPENCV1.0.

2.1背景建模

图1给出了在天气晴朗且存在阴影情况下的背景建模结果的示例.从图1背景建模结果可以看出，采用本文提出的方法可准确提取背景层.

2.2体态检测

图2为体态检测结果，而通过对背景去除目标的分割提取并去除存在的阴影，完整地将运动对象提取，其体态特征明显.从结果(图2)可以看出，检测结果较好的表现了运动目标的运动状态，为进一步的行为检测奠定了良好的基础.

2.3运动目标检测

图3a为采用文献[13]方法直接提取目标的结果，图3b为本研究中阴影去除后提取的运动目标.表1给出了运动物体的检出率及平均运行时间.从表1可以看出，在同样的测试条件下本文提出的方法的检测率略优于文献[13].从检测时间上看，采用本文提出的方法平均提取计算一帧图像的时间为0.12 s左右(多目标时相对较慢)，较文献[13]的时间损耗略大些.这主要是因为该方法对运动目标进行了进一步分割，且采用小区域分割策略，时间损耗的增量很小，但仍可以满足实时性的要求.从试验结果可知，本文提出的方法是通过减少一定的时间，融入分割技术，实现对运动物体的精确提取.

表1　算法性能比较

3讨论

根据变电站工作人员的运动状态，提出一种基于马尔可夫随机场的运动物体体态检测分割的优化方法.首先通过高斯混合背景建模，提取背景及运动物体的初始形态；然后利用马尔可夫随机场进行区域性运动物体分割，结合运动状态模式精确提取运动物体，同时去除了存在的运动物体自身阴影，增强了运动状态区分度，为运动状态的准确判断奠定了基础.结果表明：本文提出的方法可准确检测运动物体，同时保证了视频图像的实时处理分析，具有较好的鲁棒性和可行性.

参考文献

[1] 黄斯茜.智能视频分析算法在变电所中的研究与应用[D].成都:西南交通大学,2012.

[2] WREN C R, AZARBAYEJANI A, DARRELL T, et al. Pfinder: real-time tracking of the human body[J]. IEEE Trans Pattern Anal Machine Intell, 1997,19(7): 780-785.

[3] GRIMSON W E L, STAUFFER C, ROMANA R, et al. Using adaptive tracking to classify and monitor activities in a site[C]// SIPPLE R S, DAIGLE J. Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition. Santa Barbara: IEEE Press, 1998: 22-31.

[4] YASER S, MUBARAK S. Bayesian modeling of dynamic scenes for object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005,27(11):1 778-1 792.

[5] MAADI A E, MALDAGUE X. Outdoor infrared video surveillance: a novel dynamic technique for the subtraction of a changing background of IR images[J]. Infrared Physics & Technology, 2007,49(3):261-26.

[6] 王永中,梁颜,潘泉,等.基于自适应混合高斯模型的时空背景建模[J].自动化学报,2009,35(4):371-378.

[7] PORIKLI F, HAGA T. Event detection by eigenvector decomposition using object and frame features[C]// SADIYE G, ALEXANDER G H, ANDREAS H. IEEE Conference on Computer Vision and Pattern Recognition Workshop. Washington: IEEE Press, 2004, 114-121.

[8] CHEN Y Y, WANG J Q, LU H Q. Learning sharable models for robust background subtraction[C]//WARREN P, KALIDINDI S C S. IEEE International Conference on Multimedia and Expo. Torino, Italy: IEEE Press, 2015: 1-6.

[9] STENGER B, RAMESH V, PARAGIOS N, R, et al. Topology freehidden Markov models: application to background modeling[C]//BOB W. International Conference on Computer Vision. Vancouver, Canada: IEEE Press, 2001:294-301.

[10] CHEN Y T, CHEN C S,HUANG C R, et al. Efficient hier-archical method for background subtraction[J]. Pattern Recognition, 2007,40(10):2 706-2 715.

[11] 欧阳杰,高金花,文振焜,等.融合HVS计算模型的视频感知哈希算法研究[J].中国图象图形学报,2011,16(10):1 883-1 889.

[12] LEE D S. Effective Gaussian mixture learning for video background subtraction[J]. Transactions on Pattern Analysis and Machine Intelligence (PAMI), 2005,27:827-832.

[13] 白向峰,李艾华,李喜来,等.新型背景混合高斯模型[J].中国图象图形学报,2011,16(6):1883-1889.

[14] 王江涛,杨静宇.红外图像中人体实时检测研究[J].系统仿真学报,2007,19(19):4 490-4 494.

[15] 赵雪梅,李玉,赵泉华.结合高斯回归模型和隐马尔可夫随机场的模糊聚类图像分割[J].电子与信息学报,2014,36(11):2 730-2 735.

[16] MARTEL-BRISSON N, ZACCARIN A. Learning and removing cast shadows through a multidistribution approach[J].IEEE Trans on Pattern Analysis and Machine Intelligence, 2007,7(29):1 133-1 146.

[17] 付萍,方帅,徐心和,等.视频监控系统中运动目标检测的阴影去除方法[J].计算机工程,2007,33(10):22-24.

(责任编辑:叶济蓉)

Detection method based on Markov random field for moving object

WEI Lifang1, LIN Jiaxiang1, YANG Changcai1, DONG Heng2, ZHOU Shucheng1

((1.College of Computer and Information Sciences, Fujian Agriculture and Forestry University, Fuzhou, Fujian 350002, China;2.College of Physics and Information Engineering, Fuzhou University, Fuzhou, Fujian 350002, China)

Abstract:Implementation of smart surveillance is an effective way to avoid potential hazard within substation. In order to more accurately determine the state of substation staff, which was a motion object in this case, a novel detection method based on Gauss mixture model and Markov random field motion was proposed. First of all, the hue, saturation, value (HSV) color space of the images were preliminarily extracted by Gauss mixture background modeling. Then a segmentation approach based on Markov random field motion was applied to re-extract the HSV image, which was followed by shadow elimination referring to respective motion templates. Experimental results comfirmed that the proposed method was capable of precisely detecting the state of moving objects within substation in different background, which laid a sound foundation for behavior analysis of motion object and image stitching.

Key words:video image; Gauss mixture model; motion detection; Markov random field

DOI:10.13323/j.cnki.j.fafu(nat.sci.).2016.01.020

中图分类号:TP391.9

文献标识码:A

文章编号:1671-5470(2016)01-0116-05

作者简介:魏丽芳(1981-),女,讲师，博士.研究方向：图像处理与分析、计算机视觉与模式识别.Email：weilifang1981@163.com.通讯作者周术诚(1965-),男，教授.研究方向：计算机视觉.Email:zhoushuch@sohu.com.

基金项目:国家自然科学基金资助项目(41401458);福建省自然科学基金资助项目(2014J05045).

收稿日期：2015-03-29修回日期：2015-10-15