董慧颖,徐 鹏
(沈阳理工大学 自动化与电气工程学院,沈阳110159)
水面无人艇运动目标检测技术研究
董慧颖,徐 鹏
(沈阳理工大学 自动化与电气工程学院,沈阳110159)
水面无人艇作业过程中,运动目标是其重要的信息参考来源。为了提高水面运动目标检测效率,研究了多种运动目标检测方法。在此基础上,研究了一种有效的水面无人艇动态目标检测方法。首先,以改进的高斯差分对图像进行处理。其次,结合三帧差分法的原理对图像进行运动目标检测。最后,利用数学形态学原理对运动目标进行更好的提取。实验结果表明,该算法可以较好地进行运动目标检测,且算法复杂度低,易实现。
三帧差分;高斯差分;形态学
水面无人艇[1]是一种新型的无人操作的水面舰艇,近些年国内外研究的热点。它是一种一配备先进的控制系统、传感器系统、通信系统,主要用于军事任务以及港口监视等民用任务,执行危险以及不适于有人船只执行的任务。对于水面无人艇执行任务过程中,运动目标是其重要的输入信息,研究水面运动目标检测方法,对发挥USV完成各种任务具有重要的意义。运动目标检测方法主要有帧间差分法[2]、光流法[3-4]、混合高斯模型[5]背景减差法[6]等。ZHOU等人提出了一种基于二重的光流场运动检测算法,利用光流场结合差分法检测运动目标[7]。本文研究了一种基于改进三帧差分的运动目标检测方法。首先,以改进的高斯差分对图像进行处理。其次,结合三帧差分法的原理对图像进行运动目标检测。最后,利用数学形态学原理对运动目标进行更好的提取。
1.1 图像滤波
图像滤波,最大程度上保留图像细节特征并对目标图像的噪声进行抑制,其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。图像滤波的目的有两个:一是抽出对象的特征作为图像识别的特征模式;另一个是为适应图像处理的要求,消除图像数字化时所混入的噪声。
中值滤波[8],主要思想是利用像素点邻域灰度值的中值来代替该像素点的值,此方法能够在去除噪声的同时,也能够保留图像边缘细节,计算过程就是按数学中位数的方法应用在像素集中,中间值作为中心点x的新值。图1描述了一个3×3模板及结果。
图1 中值滤波模板及结果
中值滤波的结果值是其源图像邻域中的某个点,模板在跨过边界时,其中值滤波并不会创造实际中没有的点。正是这个原因,中值滤波对于突变的边缘点保存时会比均值滤波好。
1.2 高斯差分
1.2.1 DoG
DoG[9](Difference of Gaussian)可以理解为是对LoG[10]的近似,其也就是对σ2Δ2G[10-11]的近似,如图2所示。SIFT[12]算法描述中,同一尺度上的特征检测,可以通过对两个相邻高斯尺度空间的图像相减,图像D(x,y,σ)为DoG响应值。类比于LoG方法,可以通过对D(x,y,σ)进行局部最大值搜索处理,在尺度空间和空间位置定位局部特征点。其中:
(1)
k为相邻两个尺度空间倍数的常数。
图2 DoG的三维图以及DoG与LoG的对比
高斯金字塔,在分辨率金字塔图像上做简单降采样,然后加入高斯滤波,这样可以使得每层金字塔有多张高斯模糊图像,如图3所示。
图3 图像高斯金字塔
高斯金字塔的组数为
θ=[log2(min(m,n))]-3
(2)
式中m、n分别为图像的宽度和高度。其中σ为高斯模糊系数,具体关系如下
(3)
式中:c为每组中层坐标;S为每组层数(一般为3~5);σ0为初始尺度;σ为尺度空间坐标。由此公式,就可以得到金字塔组内各层尺度以及组间各图像尺度关系。
组内相邻图像尺度关系:
(4)
相邻组间尺度关系:
(5)
所以,相邻两组的同一层尺度为2倍的关系。
最终尺度序列总结为
(6)
式中,s为每组金字塔层数;θ为金字塔组数。实验仿真图如图4所示。
图4 DoG效果图
图4a是原图,图4b、图4c分别是由高斯模糊得到,图4d为二者作差后,并对其结果进行灰度均衡化的结果。
1.2.2 构建高斯金字塔
构建高斯金字塔之后,利用金字塔相邻图像相减从而构造出DoG金字塔,如图5所示。
图5 高斯差分图
1.2.3 三帧差分法
三帧差分,对于高斯模糊后的图像,按公式(7)处理,可以得出第k帧图像、第k-1帧图像之间的差分后的图像Dk,再利用公式(7)得出k+1帧图像与第k帧图像之间的差分图像Dk+1,对Dk、Dk+1使用图像阈值分割算法,即按公式(8)进行二值化处理,当差分图像中某一像素的差大于设定的阈值时,则认为该像素是前景像素,否则认为其是背景像素。再对Dk、Dk+1进行与操作,获取相同部分,从而得到新的图像Dk+2。
Dk(x,y)=|fk(x,y)-fk-1(x,y)|
(7)
式中,fk(x,y)、fk-1(x,y)为连续两帧图像;Dk(x,y)为帧差图像。高斯模糊结合三帧差分试验效果如图6所示。
图6 三帧差分效果图
图中,图6a、图6b、图6c是连续三帧图像,图6d是对其进行三帧差分的结果图。
(8)
将前述算法中得到的图6d进行阈值化后的结果图为Rk(x,y),即帧差结果图。T的选取由Dk(x,y)应用OTSU方法得到。相关试验结果说明如图7所示。
图7 阈值分割图
图中,图7a是图6阈值处理结果,图7b是在上述算法过程图像序列中随机抽取一张作阈值处理的结果。
1.2.4 数学形态学方法[13]
数学形态学方法是以形态为基础,对图像进行分析的数学方法。其主要思想是利用具有一定形态的结构元素来度量并且提取图像中的对应形状,从而以达到对图像分析和识别的目的。
膨胀[14-16]是用来填补物体中小的空洞现象以及狭窄的间隙。它能够使目标的尺寸增大。腐蚀[14-16]是对集合元素采用向量减法,利用两个图像集合合并的结果,腐蚀是膨胀的对偶运算且腐蚀和膨胀都是不可逆运算。
在数字图像处理中,对一幅图像先进行腐蚀,然后再膨胀操作,将得不到原始图像。其结果图像将会比原始图像更加简单,一些细节将会被抹掉。先腐蚀再膨胀在数字图像处理领域里,是一个重要的形态学变换,称为开运算(Opening)[11]。相反,先膨胀再腐蚀称为闭运算(Closing)[11]。试验效果如图8所示。
图8 形态学处理对比图
图8a是原图,图8b是经过闭运算后得到的实验结果图。从图8可以明显地看出,图像边缘信息更加丰富、清晰,为目标轮廓特征提取提供了较好的基础。
2.1 改进算法与效果图
图9a、9b是相同水域、距离不同、光照角度不同两张原图像;图9c是三帧差分结果的图;图9d是三帧差分结合高斯差分结果的图像;图9e是混合高斯模型结果的图像;图9f是帧差法结合高斯差分处理后结合数学形态学处理的结果;图9g是相比于图9d距离较近运用三帧差分结合高斯差分的结果图;图9h是相比于图9e距离较近运用混合高斯模型的结果图;图9i是相比于图9f距离较近运用帧差法、高斯差分结合数学形态学处理的结果图。
2.2 几何特征[17]提取
轮廓特征是几何特征提取的前提,也是正确识别目标的要素。几何特征定义为目标图像区域外围轮廓及其包含的像素点的数量。几何特征是根据目标最小外接矩得到。包括轮廓面积特征、紧密度特征、凸包性特征、凸起度量等。
图9 实验结果图
本文,提取目标轮廓,多边形逼近,外接矩形特征的提取,为了便于从直观上感受几何特征,在此,将原图像作透视变换和仿射变换,既旋转一定的角度和平移一定距离,并将内部填充。实验结果如图10所示。
图10 目标几何特征提取图
根据图10,可以得到目标轮廓的紧密度特征,其轮廓周长为1299.6,面积为12451,紧密度特征为0.10438。利用此特征,可以为目标识别提供良好的特征信息。
实验中处理的视频图像具有背景复杂、光照角度不同,距离不同等特点。按照算法流程在VS2013+OpenCV平台上运行得到实验结果,仿真界面如图11所示。
图11 实验仿真界面
从图9可以看出,图9c中,出现连通域较少,断线严重,边缘信息损失较多,不利于运动目标轮廓的提取;图9d较之图9c,断续现象得到一定的改善,整体轮廓较为清楚,但是边缘存在缺失现象;图9e中,出现很多“鬼影”,较难分、辨出运动目标;图9f中,由于DoG对于灰度增强有明显的效果,可以看出运动目标轮廓清晰,边缘信息保存完整,断层现象没有,这里给出DoG具体公式如下:
(9)
DoG是一种将一个原始灰度图像的模糊图像从另一幅灰度图像进行增强的算法,通过DoG以降低模糊图像的模糊度。这个模糊图像是通过将原始灰度图像经过带有不同标准差的高斯核进行卷积得到的。用高斯核进行高斯模糊只能压制高频信息。从一幅图像中减去另一幅可以保持在两幅图像中所保持的频带中含有的空间信息。DoG相当于一个能够去除了那些在原始图像中被保留下来的频率之外的所有其他频率信息的带通滤波器。可以用来增加边缘和其他细节的可见性。将上述结果进行灰度值均衡化处理既得出结果图像。
对比与不同光照、不同距离、不同拍摄角度情况下得到的实验组图,本文可以得到较好的实验效果,能够提取水面目标运动信息。文中对目标视频序列进行检测。实验过程中,由于水面起伏变化不定,造成运动背景复杂,会出现漏检、误检现象,检测结果见表1。
表1 检测结果
由表1看出,误检量远远低于正确检测量,虚警率也在接受的范围内,实验结果表明,本文方法能够满足水面无人艇动态运动目标检测的要求。
研究了一种基于“三帧差法+DOG+形态学处理”运动目标检测方法。首先,将得到的三帧图像进行中值滤波,然后对其进行构建图像金字塔,对同一层相邻经过高斯核卷积的图像进行差分。其次,结合三帧差法原理将得到的差分图像进行阈值处理,利用数学形态学方法对其处理。实验结果表明,此方法可以较好地进行运动目标检测、算法复杂度低,易实现。
[1]Larson J,Brucha M,Halterman R,et al.Advances in autonomous obstacle avoidance for unmanned surface vehicles[C]//Proceedings of AUVSI Unmanned Systems North America 2007.Washington,USA,2007:1-15.
[2]朱明旱,罗大庸.基于帧间差分背景模型的运动物体检测与跟踪[J].计算机测量与控制,2006,14(8):1004-1006.
[3]程远航.基于光流法的视频人脸特征点跟踪方法[J].计算机与现代化,2010(7):120-122.
[4]徐俊红.基于光流场的视频运动检测[C]//哈尔滨:哈尔滨工程大学,2005.
[5]王东方,王玉德,王景武.基于改进的混合高斯模型的运动目标检测方法[J].激光技术,2014,38(6):776-779.
[6]赵佳.视频图像序列中运动目标监测与跟踪方法研究[D].北京:北京交通大学,2010.
[7]ZHOU L,ZHU H.Optical flow calculation based on dual subtraction for motion detection[J].Computer Simulation,2009,26(12):168-171.
[8]董颖.基于光流场的视频运动检测[D].济南:山东大学,2008.
[9]Stricker D A,Alba G P,Anderson C C,et al.Characteristics of high-transmission-probability tunnel junctions for use as particle detectors[J].Magnetics,IEEE Transactions on,1989,25(2):1343-1346.
[10]Burt P J,Adelson E H.The Laplacian Pyramid as a Compact Image Code[J].Communications,IEEE Transactions on,1983,31(4):532-540.
[11]李志强,霍宏,方涛,等.Technique Based on Image Pyramid and Bayes Rule for Noise Reduction in Unsupervised Change Detection[J].Journal of Shanghai Jiaotong University(Science),2009,14(6):659-663.[12]Peker K A.Binary SIFT:Fast image retrieval using binary quantized SIFT features[C]//Content-Based Multimedia Indexing(CBMI),2011 9th International Workshop on.Madrid,Spain,2011:217-222.
[13]徐俊红.基于光流场的视频运动检测[D].哈尔滨:哈尔滨工程大学,2005.
[14]董士崇.视频图像的运动分析[D].武汉:武汉理工大学,2005.
[15]张克伟.基于数学形态学的车流量检测技术研究[D].西安:长安大学,2011.
[16]赵世喆.基于序列图像的运动目标检测和跟踪算法研究[D].北京:北方工业大学,2006.
[17]马忠丽,文杰,梁秀梅,等.无人艇视觉系统多类水面目标特征提取与识别[J].西安交通大学学报,2014,48(8):60-66
(责任编辑:马金发)
The Motion Target Detection Technology Based on USV
DONG Huiying,XU Peng
(Shenyang Ligong University,Shenyang 110159,China)
During the unmanned surface vehicle homework process,moving object is the important source of information reference.In order to improve the efficiency of the water moving target detection,a variety of moving target detection method is studied.On this basis,a kind of effective method to detect dynamic target,unmanned craft on the surface of water is studied.First of all,the improved Gaussian difference of image processing is carried out.Secondly,moving object is detected by combining with the principle of three frame difference method.Finally,the motion target is well extracted by using mathematical morphology theory.Results show that the algorithm can be better for moving target detection,with low algorithm complexity and easy implementation.
three frame difference;gaussian difference;morphology
2015-09-14
董慧颖(1962—),女,教授,博士,研究方向:机器视觉与模式识别,人工智能。
1003-1251(2016)05-0033-06
TP391
A