一种鲁棒的基于全景视觉的足球机器人目标识别方法

戚玮玮,栾 新,宋大雷,张 玲,于方杰

(中国海洋大学1.信息科学与工程学院;2.工程学院,山东青岛266100)

一种鲁棒的基于全景视觉的足球机器人目标识别方法

戚玮玮1,栾 新1,宋大雷2,张 玲2,于方杰1

(中国海洋大学1.信息科学与工程学院;2.工程学院,山东青岛266100)

由于光照的变化和全景视觉的畸变,全自主足球机器人对目标识别不稳定且有效性差,为此提出了1种基于Gabor滤波器和支持向量机(SVM)的全自主足球机器人目标识别方法。首先根据颜色特征和面积、长宽比等简单形状特征提取候选目标,候选目标中包含实际的目标和与目标颜色相近且通过上述简单形状特征判断仍无法消除的干扰。将候选目标与Gabor滤波器作卷积来提取特征向量,将特征向量输入SVM进行分类,识别出实际的目标。在机器人MT-R的足球目标识别中对该方法进行了实验,实验表明该种方法具有较好的识别精度,且满足足球机器人的实时性要求。

足球机器人;目标识别;Gabor滤波器;支持向量机

足球机器人是目前机器人研究领域的1个热点课题。机器人足球比赛是1个具有标志性和挑战性的课题,它试图利用1个将各种理论、算法和Agent体系结构集成在一起的任务来促进机器人学和人工智能的研究发展。RoboCup(Robot World Cup)中型组机器人足球比赛环境是1个高度颜色编码化的环境,目标都有特定的颜色,机器人通过对全景图像进行彩色图像分割来识别目标[1-3]。常用的彩色图像分割方法有阈值法、基于区域的方法、基于边缘的方法、聚类方法、神经网络的方法[4]以及各种方法的组合等。但足球机器人比赛的实时性要求限制了复杂的彩色图像分割方法的使用。足球机器人比赛中大多采用基于颜色阈值和基于区域的方法[5-7],采用颜色查找表,通过对像素的分类和区域连通实现图像的分割。然而由于光照的影响及环境中其他标识物颜色的干扰,使得机器人在上述彩色图像分割中容易把与目标颜色相近的物体识别为目标,还需要利用面积、周长、质心、外接矩形等简单形状信息对色块进行选择。但是,由于光照强度和方向变化的原因,图像中只能分割出部分目标区域,目标形状不完整;并且全景视觉系统的图像存在畸变,使得在识别目标的过程中没有通用且性能良好的基于轮廓或基于形状的算法,凭借形状信息仍然无法识别目标。因此,本文提出了1种基于Gabor滤波器和SVM的全自主足球机器人目标识别方法。首先根据颜色特征和面积、长宽比等简单形状特征提取候选目标,然后将候选目标与Gabor滤波器作卷积来提取特征向量,将特征向量输入SVM进行分类,识别出实际的目标。实验证明,该方法具有较好的识别的精度。

图1 足球机器人目标识别原理Fig.1 Framework of target recognition for the soccer robot

1 识别原理

中型组足球机器人比赛环境是1个高度颜色编码化的环境,目标都有特定的颜色,全自主足球机器人通过彩色图像分割结合形状特征来识别目标。对于因光照变化和全景摄像机的畸变导致通过颜色和简单形状信息仍然无法识别出目标的情况,将进一步通过Gabor滤波器提取特征,利用SVM分类器实现目标的识别。其原理框图见图1,候选目标提取采用三维颜色阈值方法对像素进行分类,并利用基于游程编码的快速区域连通算法得到色块区域,该方法保证了目标提取的快速性。对提取的色块区域根据面积和长宽比阈值判断,滤除部分干扰区域,将仍无法滤除的干扰和实际目标作为候选目标。机器学习时,采用离线的交互式颜色学习软件,通过正样本(包含目标的图像)提取颜色阈值和形状参数,通过正样本和负样本(包含干扰的图像)进行SVM的训练。实时目标识别时,将候选目标通过Gabor滤波器卷积提取特征向量,输入训练好的SVM分类器,识别出结果。

2 候选目标提取

在实时识别目标之前,机器人需要在离线的交互式颜色学习软件中进行颜色学习。由于全自主比赛的场地比较大,光照强度和视角方向会随着机器人场地位置的不同而发生变化,这对目标识别的稳定性影响很大。因此,采用了光照变化不敏感的YUV颜色空间;并让机器人在不同的光照条件、不同的视角方向下对目标颜色进行多次的学习。颜色学习的输出是目标的YUV颜色阈值集合,颜色阈值为(Ymin,Ymax),(Umin, Umax),(Vmin,Vmax)。根据YUV阈值集合对每个像素进行分类。如果采用比较的方法分类,机器人学习了N种颜色,至少要比较6×N次,这将占用大量的计算时间。采用参用3次“位与”[3]运算代替6×N次比较,节省了数据量和计算时间。将不属于目标颜色的像素置0,使目标同背景分离。具有相同颜色的邻接像素是属于同一个区域的,因此需要对上一步像素分类的结果进行连通区域标记。为了提高提取候选目标的速度,采用快速游程连通性分析算法。首先对目标像素进行游程长度编码,扫描一遍图像,把每一行内具有相同类标号的像素生成1个游程。再次扫描一遍图像,完成行间快速游程连通性分析和区域合并。该过程仅需对图像扫描2遍,把行间像素的处理变为对游程的处理,有效地减少了运算量,提高了图像的处理速度。

本算法的输出是将识别的各种颜色的所有区域按照面积从大到小进行排列的链表,符合经验面积和长宽比阈值的认为是目标,大于或小于一定面积和长宽比的区域可以当作噪声处理,提高了识别的鲁棒性。将通过面积和长宽比仍然不能区分的区域作为候选目标,进行下一步的Gabor特征提取。

3 Gabor特征提取

Gabor滤波器[8-9]可以看作1个高斯函数经过复指数调制得到,是通过尺度伸缩和角度的旋转生成的一组复函数系。Gabor滤波器表现出理想的空间局部性和方向选择性,而且Gabor基本函数具有与人类视觉基元相似的性质,已被广泛应用于语音识别、图像压缩、纹理分析、图像的分割和识别等方面[10-12]。二维Gabor滤波器基函数的一般形式是:

其中(x,y)是空间域象素位置坐标,ω是径向中心频率(尺度),θ是Gabor滤波器的方向,σ是Gaussian函数沿x轴和y轴的均方差。方差σ与频率ω的关系可以表示为是倍频程的带宽[11],一般取1～1.5,在本文中取1。σ和ω反映了Gabor滤波器的多尺度特性。θ反映了Gabor滤波器的方向特性,通过设置这些参数就可以得到一组不同方向、不同尺度的滤波器组。

若ω选取m个值,即m个尺度,θ选取n个值,即n个方向则可以得到由m×n个滤波器组成的滤波器组。将图像F(x,y)与该滤波器组进行卷积:

其中GR和GI分别为G(x,y)的实部和虚部,则一幅N×N的图像F(x,y)与Gabor滤波器卷积后将得到m×n幅图像Q(x,y)。对这m×n幅图的特征进一步提取,计算其均值和方差,构成一个2mn维的特征向量,作为图像的全局特征信息。

则可以得到候选目标的特征向量:

图2是原图像与ω=0.15π,0.3π,0.45π,θ=0.5π的Gabor滤波器组的卷积结果,当ω取值较小时获得的是图像的细节信息,当ω=π取值大时获得的是全局信息,可以获得不同尺度的全局信息。图3是ω,不同θ角度方向的Gabor滤波器进行卷积后的结果,可以获得不同方向上的图像信息。

图2 不同角频率的Gabor滤波器卷积结果图(θ=0.5π)Fig.2 Results of image convoluted with the Gabor filter with different angular frequency(θ=0.5π)

图3 不同角度的Gabor滤波器卷积结果图(ω=π)Fig.3 Results of image convoluted with the Gabor filter with different angle(ω=π)

4 基于SVM的目标识别

4.1 SVM原理

SVM[13-15]是基于统计学习理论框架下的一种通用机器学习方法,它集成了学习理论、核方法、泛化性理论及最优化方法等多项成果,不仅较好地克服了困扰很多学习算法的小样本、过学习、高维数及局部极小等问题,且具有较强的泛化能力,能较好地解决小样本两类分类问题。

考虑1个2类训练样本集的分类问题,假定原始特征空间中的训练数据

{(x1,y1),…,(xl,yl)},x∈Rn,y∈{-1,1},可被超平面+b=0,b∈R线性分为2类,超平面必定满足yi(+b)≥1,i=1,2,…,l,<＊,＊>表示矢量内积。SVM所求的最优超平面要使得分类间隔最大,这等价于求解二次规划问题:

引入Lagrange算子α,i≥0,可得到上述问题的唯一解, a＊=[α＊,,]T,满足:

当原始特征空间中的训练数据线性不可分时,引入松弛变量ξi(≥0)和惩罚因子C(≥0):

折衷考虑最少错分样本和最大分类间隔,得到广义最优超平面。其中,惩罚参数C作为综合这2个目标的权重。求解广义最优超平面的对偶问题与线性可分情况几乎完全相同,只是约束条件变为0≤αi≤C,最优决策函数的形式与式(7)一样。

对于一般非线性问题,则可通过定义适当的核函数实现非线性变换,将输入空间映射到1个高维特征空间,然后在特征空间求解最优线性分类面。引入核函数后,以上的内积可用核函数代替。此时,SVM的决策函数为:

不同的内积核函数导致不同的SVM算法,目前采用的内积核函数主要有线性核函数K(x,xi)=(x·xi)、多项式核函数K(x,xi)=(s(x·xi)+c)d、径向基核函数K(x,xi)=exp(-γ‖x-xi‖2)和Sigmoid核函数K (x,xi)=tanh(s(x·xi)+c),其中s、c、d和γ为核函数的参数。

4.2 目标识别

把通过颜色和简单形状特征提取的候选目标图像与Gabor滤波器进行卷积,提取特征向量,将特征向量输入分类性能优良的SVM分类器,对候选目标进行分类,实现目标的识别。方法的实现过程为:

(1)在交互式颜色学习软件中,利用颜色和面积长宽比简单形状信息进行初步识别,截取无法通过颜色和简单形状信息识别的目标图像和干扰图像作为候选目标图像。定义目标图像为SVM训练的正类样本,干扰图像为负类样本。

(2)将提取的候选目标图像与Gabor滤波器做卷积,提取样本的特征向量,并标记好样本的类别。

(3)将标记好的样本对SVM进行训练,利用实验测试和交叉验证确定最优SVM模型及模型参数,得到最优分割决策函数。用决策函数对样本分类,根据分类正确率,确定Gabor滤波器的参数。

(4)机器人进行实时目标识别时,首先根据颜色和简单形状特征提取候选目标图像,然后利用设计好的Gabor滤波器和已训练好的SVM分割决策函数对候选目标图像进行处理,由决策函数的输出值确定候选目标所属类别,正类标记为1,负类标记为-1,从而滤除干扰,识别出目标。

(5)计算出目标区域的质心,获得目标的像素位置,识别出目标,进行下一步的目标定位。

5 实验结果

5.1 样本数据的采集

实验平台是RoboCup中型组MT-R型自主足球机器人。摄像机采用安防监控彩色摄像机Watec WAT-250D,输出NTSC制式的视频信号,通过组合双曲面反射镜,构成全景视觉系统。视频采集卡为Osprey-200,图像采集频率30帧/s,分辨率为640×480。机器人的中央处理器是Intel Pentium(R)4 CPU 3.00 Hz,操作系统是Windows XP。

在交互式颜色学习软件中选择颜色阈值和面积、长宽比形状阈值,对图像进行预识别,将仍然无法识别的目标和干扰物体在原图像中截取出来作为候选目标样本。球在全景图像中的面积比较小,截取32×32大小的图像即可满足要求。采用上述方法,采集足球与干扰物体在不同光照下、不同位置的全景图片800幅,截取出目标和干扰图像各600幅,目标图像作为正样本,干扰图像作为负样本。按照2∶1的比例划分为训练样本和测试样本。图4给出了在全景图像中选择样本示意图。

图4 样本选择Fig.4 Sample selecting

5.2 SVM及Gabor滤波器的参数确定

SVM类型的选择和核函数的选择非常重要,它设计的好坏直接影响到分类效果。样本线性不可分,因此采用线性不可分SVM,即C-SVM训练,选取不同核函数的分类测试结果见表1。表1数据表明,采用径向基核函数取得分类正确率效果最好,Sigmoid函数对负样本的分类正确率比较高,但对正样本分类正确率较低,线性核函数和多项式核函数的分类正确率相对径向基核函数都比较低。因此,本文在利用SVM进行相近目标识别中将选择高斯径向基函数作为核函数。采用网格搜索和n折交叉验证的方法来找到最优的C和γ。采用10折交叉验证,网格搜索按指数级进行。通过训练集的训练得到,C=236,γ=0.023。

表1 不同的核函数的SVM分类比较结果Table 1 Result comparison of SVM with different kernel function/%

Gabor滤波器,需确定其频率参数ω和旋转角度θ。参数确定的方法一般采取试验方法和参数优化设计的方法,尽管目前Gabor滤波器组的优化算法具有良好的性能,但是仍然存在很多不足。因此,现在的主流方法是基于一定的约束条件,通过实验进行Gabor滤波器的参数选择。本文通过试验的方法,利用径向基核函数SVM来进行分类,根据识别的正确率来确定参数,取,共8个滤波器。

5.3 识别结果

为比较C-SVM分类器的有效性,分别选用最小距离分类器、BP神经网络(采用2层结构)来对样本进行分类检验。3种分类方法的分类结果见表2。从实验测试结果中可以看出,最小距离分类器识别率最低。由于SVM对小样本问题具有较好的学习与泛化能力,与BP神经网络相比具有较高的识别正确率。比较SVM对正负样本的识别正确率,可以看出SVM对负样本的检测率相对较低,但也达到88.5%。

为更好地验证SVM分类器的鲁棒性与实用性,采用在线识别方式对足球目标进行识别。机器人的采样频率是20帧/s。首先,固定机器人和球的位置,则球的位置坐标已知,变换光照,统计机器人视觉系统识别的目标的位置;保持光照不变,固定球在机器人的正前方的位置,让机器人以0.02 m/s的速度,沿直线向足球运动,保持球的横坐标不变,统计机器人视觉系统识别的目标的位置,统计识别正确率。识别结果图如图5所示,图5(a)是只依靠颜色特征,识别出了3个颜色相似的目标,分别为足球,颜色相近的箱子和钳子,图中红色方框标出。图5(b)通过简单形状特征滤除了箱子,但钳子和球仍然无法区分开,图5(c)通过提取Gabor特征利用SVM分类识别滤除了钳子,识别出了目标。

表2 不同分类方法的分类比较结果Table 2 Result comparison of different classification methods/%

图5 实时识别结果图Fig.5 Real-time recognition results

表3比较了基于目标的颜色特征、颜色+简单形状特征和颜色+简单形状特征+Gabor特征3种识别方法的识别正确率和处理速度。只基于颜色特征的处理速度最快可以达到30帧/s,但识别率很低,从图5(a)中也可以看出,不容易识别出颜色相近的目标。基于颜色+简单形状特征能够滤除一部分与目标颜色相近的目标,识别率大大提高,速度也能满足机器人比赛的实时性要求,但仍存在把干扰识别成目标的情况。基于颜色+简单形状+Gabor特征,利用SVM分类的方法识别率达到92.5%,识别效果最好,但处理速度最慢,为20帧/s,但仍然能满足机器人比赛的实时性要求。实际比赛时,场地环境相对实验室环境更简单,通过颜色+简单形状已经能够去除大多数干扰目标,提取的候选目标个数较少,速度会更快。

表3 不同特征的实时识别结果和处理速度比较Table 3 Recognition result and processing time comparison of different features

6 结语

本文提出1种鲁棒的基于全景视觉的足球机器人目标识别方法。首先通过颜色和简单形状特征提取出候选目标图像。将候选目标图像与Gabor滤波器作卷积来提取子图像的特征,把得到特征向量输入SVM中分类,从而识别出实际的目标。实验表明,该种方法稳定有效,且满足机器人足球的实时性要求。

[1] Neves A J R,Corrente G,Pinho A J.An omnidirectional visionsystem for soccer robots[C].//Proceedings of the EPIA 2007. Lecture Notes in Artificial Intelligence(vol.4874).Berlin,Germany:Springer-Verlag,2007,499-507.

[2] Sridharan Mohan,Stone Peter.Color learning and illumination variance on mobile robots:a survey[J].Robotics and Autono-mous System,2009,75(1):1-38.

[3] Bruce J,Balch T,Veloso M.Fast and inexpensive color image segmentation for interactive robots[C].//Proceedings of International Conference on Intelligent Robot and Systems.Piscataway, NJ,USA:IEEE,2000,2061-2066.

[4] Cheng H D,Jiang X H,Sun Y,et al.Color Image segmentation: advances and prospects[J].Pattern Recognition,2001,34:2259-2281.

[5] 卢惠民,王祥科,刘斐,等.基于全向视觉和前向视觉的足球机器人目标识别[J].中国图象图形学报,2006,11(11):1686-1689.

[6] 杨鹏,高晶,刘作军,等.基于全景与前向视觉的足球机器人定位方法研究[J].控制与决策,2008,23(1):75-78.

[7] Luan X,Qi W W,Song D L,et al.Illumination invariant color model for object recognition in robot soccer[C].//Advances inSwarm Intelligence.Lecture Notes in Computer Science,Germany:Springer,2010.(6146/2010):680-687.

[8] Gabor D.Theory of communication[J].Journal of IEE,1946,3 (93):429-457.

[9] Daugman J G.Two dimensional spectral analysis of cortical receptive field profiles[J].Vision Research,1980,20:847-85.

[10] Liu Chengjun,Wechsler H.Gabor feature based classification using the enhanced fisher linear discriminant model for face recognition[J].IEEE Trans on Image Processing,2002,11(4):467-476.

[11] Lee T S.Image representation using 2D gabor wavelets[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1996,18(10):959-971.

[12] Jain A,Ratha N,Lakshmanan S.Object detection using gabor filters[J].Pattern Recognition,1997,30(2):295-309.

[13] Boser B E,Guyon IM,Vapnik V N.A training algorithmfor optimal margin classifiers[C].//Proc of the 5th Annual Workshop on Computational LearningTheory.USA:Pittsburgh, 1992,144-152.

[14] Cortes C,Vapnik V N.Support vector networks[J].Machine Learning,1995,20(3):273-297.

[15] Vapnik V N.The nature of statistical learning theory[M].New York,USA:Springer Verlag,1995:50-143.

[16] Duda R O,Hart P E,Stork D G.Pattern classification[M]. 2nd.New York,USA:JohnW iley Sons,2001,22:1062-1079.

[17] CristianiniN,Schawe-Taylor J.An introduction to support vector machines[M].Cambridge,UK:Cambridge University Press, 2000:132-150.

[18] Tao Qing,Wu Gaowei,Wang Jue.A general soft method for learning SVM classifiers with L1-Norm penalty[J].Pattern Recognition,2008,41(3):939-948.

Abstract: It is a difficult problem for autonomous soccer robot to recognize similar color targets because of the illumination changes and the omni-directional vision distortion.A robust method of objects recognition for autonomous soccer robot based on Gabor filters and support vector machine is proposed.Firstly, candidate targets are extracted based on color threshold and simple shape features.Then,images containing candidate targets are convoluted with the Gabor filter,from which the feature vector is extracted. The target recognition is performed by the support vector machine.Experiments have been carried out on the soccer robot M-TR for the ball recognition.Experimental results prove the high target recognition accuracy and real-time performance of the proposed method.

Key words: soccer robot;target recognition;Gabor filter;support vector machine

责任编辑 陈呈超

Robust Method of Target Recognition for Soccer Robot Based on Omni-Directional Vision

QI Wei-Wei1,LUAN Xin1,SONG Da-Lei2,ZHANG Ling2,YU Fang-Jie1
(Ocean University of China 1.College of Information Science and Engineering;2.College of Engineering,Qingdao 266100,China)

TP242.6+2

A

1672-5174(2011)06-109-06

2010-11-05;

2011-03-20

戚玮玮(1982-),女,博士。E-mail:weiwei_qiqi@163.com