基于颜色分布特征的足球视频禁区检测

基于颜色分布特征的足球视频禁区检测

侯小刚，王晓宏

(中国传媒大学 计算机学院，北京 100024 )

摘要：足球视频影响着人们的日常生活，人们对足球视频的关注更多地体现在对其中进球、射门等精彩事件上。而这些事件大都发生在左右禁区附近，显然左右禁区的准确检测在足球视频处理中起着关键的作用。本文在研究当前主流检测算法的基础上提出了一种基于颜色分布特征的足球视频禁区检测算法，该算法利用SVM对足球左右禁区颜色分布特征进行监督学习，进而检测出左右禁区。通过实验证明该方法高效并且可以达到较高精准度。

关键词：足球视频；禁区；SVM；颜色分布

SoccerPenaltyAreaDetectionBasedontheColorDistribution

HOUXiao-gang，WANGXiao-hong

(SchoolofComputer，CommunicationUniversityofChina，Beijing100024)

Abstract：Football video is affecting people's daily lives.People pay close attention to the football video of them reflected in the scoring，shooting and other exciting events .What is more，these events take place all around the penalty area nearby. Obviously，the accurately detection of penalty area plays a key role in the football video processing. Based on the study of the current mainstream detection algorithm，this paper presents an algorithm of soccer penalty area detection，which using color distribution characteristics by SVM supervised learning. Experiments show that this method can achieve high efficiency and accuracy.

Keywords：football video；soccer penalty；SVM；color distribution

1引言

关键词当前基于内容的图像的搜索已经逐渐被应用到各个领域，人们已经逐渐从过往基于的文本搜索向基于内容的搜索过渡，越来越多的学者开始关注基于视频的内容检索。然而因为各类视频的复杂性和不规则性决定了其研究进展的缓慢。足球广播视频，因其庞大的观众群体和巨大的市场潜力而受到学术界和工业界的关注，并且因为足球广播视频有着与其他视频不同的规则性，更容易处理，所以更多的学者开始把研究重点放在对足球广播视频的处理上面来。研究的重点基本是通过检测禁区、球门、球场线、足球位置这些底层的特征，对镜头进行语义分类进而对比如进球、射门、犯规等高层事件进行推理判断。

中图分类号：TN941.1文献标识码：A

收稿日期：2015-01-19

作者简介：侯小刚(1986-)，男(汉族)，河北邯郸人，中国传媒大学计算机学院研究生.E-mail：xgengine@sina.com

足球场地的禁区作为一个关键位置，它检测的准确度和效率直接决定着后续镜头分类和事件推理

的结果好坏。文献[8]提出了一种基于场线特征的禁区检测技术，通过提取球场线的数目、倾角的分布、位置等特征，用SVM进行机器学习检测。虽然取得了很好的检测结果，但是因为足球视频中有时快速晃动的镜头会干扰场线检测的准确度，所以本文提出了一种基于颜色特征分布特征的禁区检测方法。该算法对剧烈晃动的镜头有更强的适应性，且检测效率更高效。

2场区主颜色提取

在足球视频中绿色场地是其主要颜色特征，如何准确地提取是对场地进行分割的关键步骤。但是因为绿色草地因场地的不同往往呈现出不同的色调偏差，并且因为光照因素的影响，如何自适应地确定颜色阈值非常困难。目前图像视频多采用基于相加混色原理的RGB颜色空间来描述其数据，尽管该颜色空间具有清楚的物理意义，且适合显像设备，但是RGB颜色空间在感知上具有不均匀的特性，它所描述的是一个三维的颜色空间，而HSV颜色空间恰好与之相反。它是根据颜色的直观特征而创建的一种颜色空间，颜色参数分别是色调(H)，饱和度(S)，亮度(V)。可以看到该颜色模型把色调和亮度进行了分离，所以在基于色调进行图像分割时能在一定程度下减小光照的干扰。本文算法是先把足球视频帧图像转换到HSV颜色空间，建立基于色调H的直方图，如图1，可以看到含有足球场地的图像绿色成分构成一个主峰，从而可以分析直方图主峰两侧的峰谷从而计算出分割的高低阈值。但是因为光照的因素，所计算的直方图有时会呈现双峰值的现象，如图2，可以看到在直方图中绿色轴附近有两个峰值，本文判断算法如下：

图1　没光照的色调直方图

图2　有光照影响的色调直方图

(1)计算直方图最大值M1和次大值M2。

(2)如果M2>M1*1/3 并且两个值的位置在绿色轴附近，则为双峰，否则为单峰。

3足球场地分割

判断出主颜色的高低阈值后就可以对场地进行分割，因为本文采用的是基于全局阈值的图像分割，这种分割虽然简单高效但是分割的结果会有很多小的干扰区域，如图3，为了使分割的结果更加精准，需要对分割的图像进行形态学的开闭运算。形态学的开闭运算的基本操作是腐蚀和膨胀。

图3　形态学处理前场区分割图

腐蚀：A被B腐蚀的结果是所有使B平移Z后仍在A中的元素的集合

AΘB={z|(B)z⊆A}

膨胀：A被B膨胀的结果是，先对B做关于原点的映射，然后平移至少有一个非零元素相交时B的图像的原点的位置的集合。

开运算是对图像先腐蚀后膨胀的过程，可以用来消除小物体，在纤细点出分离物体，平滑较大物体的边界的同时并不明显改变其面积。闭运算是对图像先膨胀后腐蚀的过程，可以用来填充小空洞，连接邻近物体，平滑其边界并不明显改变其面积。

本文对分割好的图像用圆形结构分别进行开运算和闭运算，结果如图4 ，可以看到经过开闭运算，分割的结果有了很大的改善。

图4　形态学处理后场区分割图

4场地绿色分布特征提取

场地分割后，得到如图4的分割图像，其中白色代表绿色场地区域，黑色为非绿色区域，为了提取更好的具有代表性的绿色分布特征，本文把图像等分成4*6总共24个小的区域，分别计算各个小区域的绿色像素的百分比，这样就会得到关于场地绿色分布的24个特征向量。为了提高算法的鲁棒性，使分类算法结果更好，本文对这24个特征进行如下处理：

如果绿色百分比大于0.8，则设置特征值为1。

如果绿色百分比大于0.5 并且小于0.8，则设置特征值为0.5。

如果绿色百分比大于0.2 并且小于0.5，则设置特征值为0.3。

如果绿色半分比小于0.2 ，则设置特征值为0。

5基于SVM的机器学习及检测结果

支持向量机，简称SVM，它并不是一台机器，而是一种算法，并且一直被认为是效果最好的现成可用的分类算法之一，这里“现成可靠”其实是很重要的，因为一直以来学术界和工业界，甚至学术界做的理论和工业界做的应用之间都有一种“鸿沟”，有些非常酷炫或者复杂的算法，在抽象出来的模型里很完美，然而在实际问题上却显得脆弱，效果很差，然而SVM却在两边都混得开。

SVM有着严谨的数学推导模型，可以说它有理可依，在此就不再赘述了，讨论它将超出本文的主题。不过它的原理却非常简单，简单地来说它是对线性可分的问题的一种扩展，把任何线性不可分的问题，通过扩展维数从而达到线性可分。就好比对一间房子内的人进行分类，你刚开始可能一筹莫展，但一旦对每个人加上性别、职业等类似于这样的标签、那么这就是一个线性可分的问题了。

本文实验用的视频图片来自2014巴西世界杯，分别从各场比赛中提取包含左禁区，总共1000张图片，包含右禁区的图片1000张作为正样本，提取其他镜头图片1000张作为负样本。左右禁区是分别用1000张的正样本和1000张的负样本单独进行训练。因为在SVM进行机器学习时，SVM对错误样本非常敏感，所以为了保证训练的质量，本文将会详尽整个训练过程，学习过程如下：

(一)生成随机样本文件列表文件，并分别对其打上正样本 “+1”，负样本“-1”标签，之所以一开始不生成特征向量文本，而是生成包含“样本文件名”和正负标签这样一种文件，是为了以后对错误推测分析做准备。文件格式可以如下：

[[“/n/1.jpg”，“-1”]，[“/p/2.jpg”，“+1”}...]

这是一种标准的json格式，整个文件存储的是一个大随机正负样本文件目录的列表，子列表中有两项内容，分别是文件目录和标签。

(二) 生成特征文本，用步骤(一)得到的文件，通过上面已经论述的方法分布提取各样本图像的24维的特征向量，存储为特征文本文件，为训练做准备。生成文本格式如下：

+1 1：0 2：0.5 3：0.5 4：0....23：0 24：0

-1 1：1 2：1 3：0.3 4：1 ...23：1 24：1

(三)用SVM对特征进行训练，本文采用的是libsvm，它是台湾大学林智仁教授开发的一个简单、易于使用和快速有效的SVM模式识别与回归的软件包，它可以直接读取一定格式的特征文件，进行训练，可以保存训练好的模型，并且可以返回模型的识别率以及各个测试样本的识别结果。本文采用1500张样本做训练，另外500张作为测试样本，进而对训练好的分类模型进行评估，对判断出错的测试样本通过第一个步骤的样本文件列表进行定位，并进行后续的二次分析，进而更好地改进算法。

本文进行了多次随机测试结果如下：

右禁区：

训练正样本723，负样本777

测试正样本277，负样本223

检测结果正确462错误38准确率92.4

右禁区：

训练正样本735，负样本765

测试正样本265，负样本235

检测结果正确449错误51准确率89.8

上面仅列举了一次结果，多次测试结果基本都在90%左右，且90%以上的居多，有时甚至能达到96%的精准度。

6结语

本文提出了一种基于SVM的足球广播视频左右禁区的检测算法，通过对足球场地的主颜色进行进行自适应阈值提取，进而对整个绿色场地进行分割，通过形态学后续处理提高分割精度，然后把图片分成4*6=24个小区域，分别统计其颜色分布特征，组成24维特征向量，用SVM进行监督的机器学习，进而对足球视频左右禁区进行检测。实验证明该方法有一定的鲁棒性和精准度。但是算法也有其应用的局限性，本文中算法把场地绿色作为主特征，其要求视频中足球场区的绿色覆盖质量要好，不然会直接影响算法的精准度。因为算法中涉及的图像处理都是基本操作，处理效率非常高，可以用来对视频禁区镜头进行粗分类，从而大大提高视频图像处理的速度。下一步，将会联合其他一些底层特征，比如球场线、球门柱等，通过整合和度量这些特征，来提高算法的精度和适用性。

参考文献：

[1]LiSun，GuizhongLiu.Fieldlinesandplayersdetectionandrecognitioninsoccervideo[J].Acoustics，SpeechandSignalProcessing，ICASSP2009，IEEEInternationalConferenceon2009，1237-1240.

[2]GaoL.Content-awarebroadcastsoccervideoretargetingusingfuzzylogic[J].ElectronicsLetters，2011，9：694-695.

[3]Zawbaa，HMEl-Bendary，NellaHassanien，AAbraham.ASVM-basedSoccerVideoSummarizationSystem[J].NatureandBiologicallyInspiredComputing(NaBIC)，2011ThirdWorldCongresson2011，10：7-11.

[4]冈萨雷斯.数字图像处理[M].北京：电子工业出版社.

[5]吴鹏，林新棋，李海涛，高智，詹晓珊.基于颜色纹理和SVM的体育视频分类[J].福建师范大学学报，2014，3.

[6]李玉珍，何欣，王建宇，戴跃维，范伯超.一种基于SVM的高效球门检测方法[J].南京理工大学学报，2010，2，第34卷，第1期.

[7]张强.基于回放场景的足球视频精彩镜头检测[D].华中科技大学硕士论文.

[8]闫龙川，杜军.基于SVM的足球场地禁区检测[J].计算机应用，第27卷，2007，12.

[9]严红平.模式识别简述[J].自动化博览，2006，2.

[10]王磊.特征标志检测与场景识别技术在体育视频中的应用研究[D].杭州电子科技大学硕士论文，2009，12.

[11]殷伟良，陈临强，李伟.体育视频中场地自动检测方法[J].计算机系统应用，2012，第21卷，第5期.

[12]林彬，刘群，王群，聂燕柳.足球视频镜头分类方法[J].计算机工程与设计，2012，4，第33卷，第4期.

(责任编辑：宋金宝)