康登飞,刘 锋,曾连荪
(上海海事大学 信息工程学院,上海 201306)
基于颜色差分直方图的运动目标提取
康登飞,刘 锋,曾连荪
(上海海事大学 信息工程学院,上海201306)
为了降低动态变化的背景对运动目标提取的干扰,使用颜色差分直方的方法来降低由于背景不稳定、光照强度变化造成的错误。首先计算一个位置点所在的小邻域内像素之间的差值。其次,使用高斯隶属度函数的模糊关系做颜色差分。最后,提出一种新的模糊颜色差分直方图,即采用模糊C-means聚类和颜色差分结合的方法。模糊C-means聚类聚类算法在颜色差分直方图中的使用可以降低计算的直方图的维数较大的复杂性,也降低了背景因强度变化而产生的移动假象或背景照明度的变化而产生的影响。随机选择两个视频帧集合来测试该方法。仿真结果表明,该算法在一些复杂的视频序列场景中能够表现出较好的性能和结果。
背景减除法;颜色差分直方图;模糊C-均值聚类;目标提取
将运动目标从视频序列图像中抽取出来[1]是图像处理的重要研究领域。在操作过程中,获取的图像背景受天气、光照、影子及混乱干扰带来的动态变化的影响,使得目标检测成为一项相当困难的工作。目前几种常见的方法有:背景减除法[2-3]、帧间差分法[4]、光流法[5]、基于数学形态学[6]的场景变化检测等,每种方法都有自身的优点和不足。
背景减除法和帧间差分法均属于求差法,背景减除法采用的是背景图像,原理简单,检测速度较快,但是对光照条件的变化比较敏感,阈值的选择不当容易将背景判断成运动目标。帧间差分法就是利用前后两帧或多帧图像之间像素的差值去区分静态背景和运动对象,对变化的环境不仅具有很好的适应性,而且具有很高的执行效率,不足之处是它对噪声比较敏感,所以在检测过程中动态对象检测有断裂的缺点。光流法的优点是在预先不知道场景任何信息的条件下,检测出独立运动的目标,但是算法复杂、用时较多。根据运动目标的特征可以使用数学统计法,它是一种非常有效的方法,虽然能克服背景光照变化带来的影响,但是建模过程比较繁琐。
针对背景光照变化的影响,在提取目标图像时可能导致阴影[7]被误认为是运动目标,给目标的提取带来困难。本文使用背景减除法,选择在小邻域内做颜色差分的方法来降低影响,使用具有鲁棒性的模糊C均值聚类(Fuzzy C-Means clustering,FCM)进行分割,能够较精确地检测运动目标并且背景分割较为干净。通过MATLAB仿真结果可以看出,背景分离得较为干净,目标提取也较为精确。
1.1颜色空间的转换
相较于RGB颜色空间模式,Lab颜色空间[8]模式具有如下优势:基于人眼,颜色空间领域更加宽阔,转化过程没有颜色损失,处理效果极快,黑白颜色通道相互分离等。
将原图像像素空间值域范围采用均匀量化方法量化为W级,即I∈{0,1,…,W-1},Imn表示量化后坐标(m,n)像素值。假设像素邻域半径为R,邻域内任意点坐标(p,q)的像素值为Ipq。对像素值做归一化处理,即x=Imn/256,将x代入如下Γ(x)函数:
(1)
通过伽马函数输出的像素值是图像三分量组成的和,分离出三个分量分别用R,G,B表示,并代入下式实现中间参量X,Y,Z的转换:
(2)
最后,中间参量X,Y,Z与默认值Xn=95.047,Yn=100,Zn=108.883相除,结果用t表示,代入下式:
(3)
(4)
最终完成颜色空间到L,a,b上的转换。
1.2模糊C-均值聚类算法
FCM[9]算法的目标函数可以表述为带约束的极值问题,表达式为:
(5)
其中m=2表示为隶属度的平滑参数;
uij∈[0,1] (1≤i≤c,1≤j≤n)
(6)
式(6)表示样本点xj到聚类中心vi的欧式距离。
通过拉格朗日算子乘法求解以上带约束条件的极值问题,求出FCM隶属度Uk=[uij(k)],其中:
(7)
2.1求出图像颜色直方图
在M×M的区域内将图像直方图表达出来,并进行操作,Lab彩色空间具有L,a,b颜色分量,可以定义为:
I={Lmn,amn,bmn},
Lmn,amn,bmn∈{0,1,2,…,W-1}。
其对应的三维直方图可以描述为:
(8)
l1,l2,l3∈{0,1,2,…,W-1}
其中δ(x)为冲激函数,Lmn,amn,bmn分别是Lab空间的L分量、a分量和b分量在相同坐标(m,n)处颜色级组(l1,l2,l3)的总数,W-1表示量化后的空间颜色级(W=16为量化后的最大颜色级)。
为了降低背景因光照等变化带来的影响,坐标(m,n)处像素Imnl的R×R邻域内均方差计算为:
像素的均方差值dmn高斯型模糊的隶属函数为:
(9)
其中σ是高斯函数参数[10]。
颜色加权直方图在是在以(m,n)点坐标为中心,邻域大小为M×M的范围内,将式(9)高斯隶属函数作为权值乘以式(8)所示的直方图表达式,得到一种颜色加权直方图矩阵,其描述如下:
(10)
其中,δ(x)为冲激函数,Lmn,amn,bmn分别是Lab空间的L分量、a分量和b分量在相同坐标(m,n)处颜色级组(l1,l2,l3)的总数。
2.2模糊颜色差分直方图
将求出的FCM与CDH相乘得出一个新的算法,即模糊颜色差分直方图。先将颜色加权直方图H(l1,l2,l3)三维的颜色分量变换至一维时所对应的颜色直方图矩阵HN×1,将FCM所得像素隶属度uc×N与HN×1相乘,得到图像模糊颜色加权直方图,即
hc×1=uc×NHN×1
(11)
其中N=W3(W是颜色像素的量化级别)表示量化后颜色的样本数量。
从三个视频集中各选择出两幅图片,做出图像颜色直方图与颜色差分直方图,其中直方图的横坐标表示量化颜色空间的级数,W=16,纵坐标表示为统计各级数上该点所在邻域内图像的像素值出现的次数。
如图1~6所示,图2,图4,图6分别表示从图1、图3、图5三组视频中任意选择两帧图像,做出对应位置的颜色直方图与颜色差分直方图。从直方图可以看出,FCDH算法中,各像素值出现得较为接近,而FCH算法,像素值在同一位置上出现的次数差异较大。由此可以初步推断出在背景光照等元素的影响下,FCDH具有更高的稳定性,鲁棒性更好,能够降低因为光照等原因带来的误差。由此可以将这种方法运用到背景减除法对运动目标提取,相比较背景分割的程度,将会有更好的效果。
图1 Curtain 视频中不同两帧图片
图2 FCH与FCDH直方图
图3 WaterSurface 视频中不同两帧图片
图4 FCH与FCDH直方图
图5 Campus 视频中不同两帧图片
3.1背景减除法原理
采用背景减除法时,先设置视频中的某一帧为初始背景,使用直方图交叉的方法获得图像像素之间的相似性值,用ρ表示,在标准化尺度下,使用FCDH算法,将背景直方图和当前的前景直方图进行交叉计算,其表达式如下:
(12)
其中hb和h分别是FCDH模型的背景帧和当前帧,c的取值是分类的类数。
通过如下公式更新背景模糊加权直方图hb,公式如下:
(13)
其中α∈[0,1]表示权值的学习率,t是时间指数,h(t)表示t时刻图像帧的FCDH,因此可以概括这个算法的主要步骤。
3.2二值提取
为了将代表运动目标的白色区域和代表背景的黑色区域分离出来,然后对相似性函数ρ进行二值化处理,将相似性结果ρ进行FCM聚类,这里采用模糊C均值聚类的方法将像素值区分出来。在原始FCM上进行改进,提出了一种提高鲁棒性的方法FCM直接修正目标函数的鲁棒性,定义如下:
minJm(U,V)=
(14)
图6 FCH与FCDH直方图
通过拉格朗日算子乘法可以求解以上带约束条件的极值问题,具体的迭代过程可以由以下步骤表示:
(1)初始化。首先设置FCM聚类的类别数c、迭代停止条件ξ以及最大迭代次数,并初始化隶属度矩阵U(0),令k=0。
(2)计算聚类中心:
V(k)=[vi(k)]
其中
(3)计算隶属度矩阵:
Uk=[uij(k)]
其中
(15)
图7 视频中的背景及运动目标原图
对输出每个像素的隶属度进行判别,从背景中分离出运动目标。
3.3算法步骤
图8 Curtain 视频中提取运动目标
图9 WaterSurface 视频中提取运动目标
(1)输入图片数据,X=(x1,x2,…,xN);
输出:最终求得C-means聚类的模糊隶属矩阵。U=[uij∈[01]],i=1,…,c,j=1,…,N。
当t=1时,执行下面步骤。
(2)确定颜色差分直方图。
①将图像的颜色等级量化为W级。
②将图像从RGB颜色空间转换到CEI Lab颜色空间上。
③通过公式(10)计算每点邻域内的CDH的h。
(3)计算FCDH;hc×1=uc×NHN×1。
如果(t==1)设置此时的图像为背景图像,然后执行下一步。
(4)背景直方图初始化。如果hb=h,则执行第(5)步,否则执行第(6)步。
(5)背景减除法。
由文中给出的公式(12)用归一化的直方图交叉法计算相似度函数。
(6)运用公式(13)为背景像素做更新背景模型处理。
(7)通过改进的FCM对得到的像素隶属度进行二值化处理。
选择两个视频集Curtain和WaterSurface做背景减除法的运动目标提取,验证该算法的可行性。实现环境为MATLAB 2013a。算法中的参数设置如下:图片边界计算的邻域范围R=3;高斯隶属函数中,标准差δ∈(1,2);计算颜色差分直方图选择的邻域范围M=5;图片RGB颜色空间有256级,量化为W=16;FCM中参数的选择最大迭代次数为100(c=16,r=2.0,ε=e-5);背景减除法中,背景的更新指数α∈(0.01,0.02)。
4.1仿真结果图
视频中的背景及运动图标原图如图7所示。根据经验设置参数,在参数选取恰当的条件下,实验结果如图8~图10所示。
从仿真结果图可以看出,GMM算法提取出来的目标与背景没有分离干净,LBP算法背景分离较干净,但外观轮廓上人物特征失真较严重。接着比较FCH和FCDH算法,可以看出这两种算法提取出来的人物目标中,FCDH算法在分离背景和人物不失真程度上都优于FCH算法,但是FCDH算法的背景提取得不干净。最后比较本文改进算法,本文算法提取的目标较为清楚,目标较符合原目标,不失真,效果较好,背景分割比较干净,说明在阈值上使用具有鲁棒性的FCM进行分割是有效的。
图10 Campus 视频中提取运动目标
4.2仿真结果时间分析
从表1中4种算法的时间消耗对比可以看出,FCH算法和FCDH算法在时间消耗上比GMM算法和LBP算法更具有优势。比较FCH和FCDH算法时可以发现,FCDH算法与FCH算法所用时间相差不大,本文算法使用的时间相较于前三种算法最短,说明本文算法在时间上的改进是有效的。
表1 运动目标提取时间消耗对比/秒
CDH在背景减除法中使用,降低了背景不稳定性以及背景像素与前景像素特征相似带来的错误,虽然在背景初始化过程受初始背景的影响,但从仿真结果可以看出,利用颜色差分直方图的方法,本文算法对运动目标提取有很大的改进,能够较为清楚地将运动目标从复杂背景中提取出来,效果也非常明显。通过对阈值的改进,提取出的目标更为理想。目前运动目标提取技术可以应用到很多领域中,比如工业自动化、交通检测等。
[1] 王长军.基于视频的目标检测与跟踪技术研究[D].杭州:浙江大学, 2006.
[2] LIPTON A J,FUJIYOSHI H,RATIL R S.Movingtarget classification and tracking from real time video[C].IEEE Workshop on Applications of Computer Vision. Princeton,1998: 8-14.
[3] CHAN A B,MAHADEVAN V,VASCONCELOS N.Generalized stauffer-grimson background subtraction for dynamic scenes[J].Machine Vision and Applica-tions, 2011,22(5):751-766.
[4] Chen Baisheng,Lei Yunqi,Li Wangwei.A novel background model for real time vehicle detection[J].Signal Processing, 2004, 2(7): 1276- 1279.
[5] 戴斌,方宇强,孙振平,等.基于光流技术的运动目标检测和跟踪方法研究[J].科技导报,2009,27(12):55-60.
[6] 王延年,张鹏.基于数学形态学的运动目标检测算法[J].电子测量技术,2010,33(7):69-72.
[7] 闫爱云,李海朋,李晶皎.视频运动目标提取的实现[J].东北大学校报,2011,32(11):1558-1561.
[8] 许莉,王敏,温月.基于Lab颜色空间的运动目标检测[J].华中科技大学学报,2013,41(S1):219-222.
[9] 兰蓉,马姣婷.基于直觉模糊C-均值聚类算法的图像分割[J].西安邮电大学学报,2016,21(4):53-56.
[10] CHANG C J,HU W F,HSIEH J W,et al.Shadow eliminatin for effective moving object detection with Gaussian modls[C].Proceedings of 16th International Conference on Pattern Recognition,New York:IEEE,2002:540-543.
2017-04-28)
康登飞(1991-),男,硕士研究生,主要研究方向:图像运动目标提取。
刘锋(1976-),男,博士,讲师,主要研究方向:图像通信处理。
曾连荪(1962-),男,博士,教授,主要研究方向:计算机视觉系统。
Moving object extraction based on color difference histogram
Kang Dengfei, Liu Feng, Zeng Liansun
(Department of Information Engineering, Shanghai Maritime University, Shanghai 201306, China)
In order to reduce the background of dynamic changes on the moving target extraction, this paper uses color difference histogram (CDH) method to reduce the error, which is caused by the instability background, and changes in light intensity. Firstly, it calculates the difference between apixel and its neighbors in a small neighborhood of a location point. Secondly, the color difference is done fuizzified with a Gaussian membership function. Finally, a new method named fuzzy color difference histogram is proposed, which is based on the combination of fuzzy C-means clustering and color difference. The use of FCM clustering algorithm can reduce the complexity of the computation of the dimension of the histogram, and also reduce the impact of changes in the intensity of the background caused by changes in the intensity of the moving artifacts or changes in the background lighting. Two video frame sets are selected randomly to test the method. Simulation results show that this algorithm can show better performance and results in some complex video sequences.
subtraction method; color difference histogram; fuzzy C- means clustering; target extraction
TN911.4
A
10.19358/j.issn.1674- 7720.2017.22.015
康登飞,刘锋,曾连荪.基于颜色差分直方图的运动目标提取J.微型机与应用,2017,36(22):53-57.