基于颜色和边缘特征的球员目标分割方法

王 兵,张卫国,孙静茹,张亮亮,黄琨强

(郑州轻工业学院 计算机与通信工程学院,郑州 450001)

基于颜色和边缘特征的球员目标分割方法

王 兵,张卫国,孙静茹,张亮亮,黄琨强

(郑州轻工业学院 计算机与通信工程学院,郑州 450001)

为实现球员目标的准确分割,针对图像的颜色特征和球员的边缘特征提供的信息进行融合处理.首先对图像进行高斯滤波预处理,借助Matlab软件对图片进行了像素分析和筛选,并通过Prewitt算子进行边缘检测,以及Bresenham算法进行了直线扫描确定了边界线的起始,经过形态学运算将图片中直线段去除.并完成最终处理,将球员目标分割出来.其优点在于不受球场光照和阴影的影响,能够自动将观众等背景过滤,即使在复杂背景下也能较为准确的将目标分割出来.

融合;Prewitt算子;Bresenham算法;目标提取

在众多体育比赛中,足球比赛观众人数最多,受关注程度也最高.因此,对足球比赛中的球员目标进行检测分割,有着较高的实用价值和现实意义.Denman等[1]运用阈值分割的方法分割出击球手,并讨论了一种斯诺克比赛中进球事件的检测方法.Wang[2]提出一种基于HOG特征的场景文字识别方法,可以用于识别球衣号码,然而识别结果的准确率对于训练样本的依赖度很大.Shih-Wei Suna等[3]利用球员球衣颜色模型来定位球员,来进行号码识别,但是这种方法需要提前知道球员球衣的颜色,并需要人为干预.Lu等[4]提出一种监督学习的方法来对球员进行识别提取,这种方法通过基于条件随机场的方法来进行球员信息跟踪,通常一场球赛需要标记的时间超过200 h.

上述方法比较繁琐,有的需要人脸的特写镜头,虽然精度较高,但是花费的时间往往较长,条件严苛,对环境依赖较大,在复杂环境下分割效果一般.本文利用球场的颜色特征将球场从整幅图像中有效的提取出来,简单高效,并不需要事先进行监督训练,然后在利用球员的边缘特征,结合bresenham算法将球场边界和直线,以及球场外标语横幅有效的检测出来,运用形态学处理有效的移除,并最终对目标球员的有效提取分割.结果表明,该方法切实可行,并对观众条幅等不感兴趣的区域进行了有效的移除,而且对光照阴影等条件不敏感.

1 图像预处理

图像的预处理[5]包含方面十分广泛,有对图像失真、劣化一节成像中形成的噪声的校正和颜色空间转换等.本文采用高斯滤波器[6]对图像进行模糊化处理(见图1),选取参数σ=10,这样球员等细节信息消失,只有球场地面留下一个绿色阴影,而观众横幅等其他呈现为其他的阴影,方便后续处理.

图1 图像预处理结果Fig.1 Image preprocessing results

2 算法描述

算法流程如图2所示,其步骤如下：

1)在高斯模糊后的图像基础上,利用球场为绿色的颜色特征,按照g(绿色)>r(红色)>b(蓝色)的原则进行像素筛选.因为球场大部分为绿色草坪,采用上述原则进行像素筛选,满足条件的认为是球场,不满足的予以移除.由于对图像进行了高斯模糊处理,进行像素筛选后,并不会造成过多细节的丢失,结果为球场地面图像A,但其中也包含了一些不感兴趣的目标.

图2 算法流程图Fig.2 Algorithm flow chart

2)在第一步像素筛选的球场图像的基础上,与原图像进行与运算,这样可以得到包含全部细节信息的球场图像.然后进行非绿像素的筛选,球场上的球员的球衣颜色大多不是绿色,处理后大致能够保留下来球员目标信息,处理结果为图像B,B中同样包含观众等非兴趣目标.

3)采用Prewitt算子[7]进行边缘提取,处理后得到梯度图像C,在这种边缘检测情况下球员细节信息更加全面,为后续不感兴趣目标的移除奠定了基础.

4)将B和C进行合成得到图像D,并对图像D使用Brensenham算法来进行直线检测得到图像E.

Bresenham算法[8]是一种基于误差判别式来生成直线的方法,本质上是采用步进的思想,利用当前被选中的像素来选择下一个像素点,由直线的斜率确定选择在x方向或y方向上每次递增(减)一个单位,另一个方向的左边依据误差判别式的符号来决定是否也要步进一个像素.

其原理是：过各行、各列像素中心构造一组虚拟网格线,按直线从起点到终点的顺序计算直线与各垂直网格线的焦点,然后确定该像列像素中与此焦点最近的像素,该算法的巧妙在于采用增量计算,使得对于每一列,只要检查一个误差项的符号,即可确定该列的所求像素.

图3 P是起始点,A、B是待选的点,M是|AB|的中点,C是理论计算的点Fig.3 P is the starting point,A and B are the points to be selected,M is the midpoint of |AB|,C is the theoretical point

如图3所示,当前第i点画的是P点,则下一个第(i+1)点的选择只能是A或B.根据di+1=|CB|,当di+1-0.5>0,则选择A点,否则选择B点.

di+1可以用式(1)递归计算:

(1)

因为m的计算涉及除法和小数,所以在公式(1)的等式两边同时乘以(2×Δx)以避免除法和小数,只需要计算整数的加法和减法就可以计算出全部的像素点.

由于球场边界线和长边条幅等等都是十分明显的直线,其特点明显,用Bresenham算法检测出来,对细小线条(如球场标记等)等通过形态学处理[9]的膨胀和腐蚀进行移除,只保留球员目标等有效细节.

5)遍历图像连接部分,移除那些过大或者过小的部分.由于球员在图像中总有一个比较合适的周长,通过实验可以发现,在确定周长为大于3,小于20时,对于球员目标的保留最为完整,实验效果也较高,所以按照判决条件(2)进行抓取这样那些细小的线条和条幅也会被移除,其中数字的单位为像素,这样剩下的就是球员目标.

3<周长<20

(2)

图3为分别使用两次像素筛选、Prewitt边缘提取、合成后图像以及Brensenham算法处理的图像输出结果如图4所示：

图4 图像处理结果(A为绿色像素筛选,B为非绿像素筛选,C为Prewitt算子边缘检测,D为B和C图像的融合,E为Bresenham算法处理结果)Fig.4 Image processing results(A is the green pixel screening,B is the non-green pixel screening,C is the prewitt operator edge detection,D is the B and C image fusion,E is the bresenham algorithm processing result)

3 实验结果与分析

提取图像效果和现有的经典方法进行了比较,分别使用了基于HSI颜色空间的最优阈值法[10]、迭代法[11]以及聚类方法[12],其对比方法结果如图5所示.

图5 从左至右分别为HSI最优阈值法、迭代法、聚类方法、本文方法Fig.5 From left to right are HSI optimal threshold method,iterative method,clustering method,paper method

由于图片中不但有条幅、观众、球门等非兴趣目标,还存在光照不均、球场阴影等不利因素的影响,现有的方法很难有效的直接将球员目标提取出来.HSI最优阈值法基于色调、强度、饱和度来进行对图像进行分割,它对于整体很难有效的区别出目标.迭代法速度较快,但适用于目标和背景差异较大的环境,也是很难将观众等不利因素过滤掉,在白天球场中光照不均匀、阴影等不利因素更难将球员目标提取出来.球场环境下颜色复杂,经典的Otsu算法也不能区别场地中的球员目标.聚类方法在聚两类的情况下,依然无法忽略球场边观众以及条幅的影响,球员目标提取效果依然很不理想.

图6 原始图像和最终球员目标提取对比Fig.6 The original images and the final player target extraction contrast

最终通过形态学膨胀处理提取到的球员轮廓并添加上红色,对球员目标进行标记.通过这些处理后算法切实可行,并有较高的识别准确度.其最终的目标提取效果和原图像对比如图6所示.

本研究提出的算法,对光照和阴影以及球场边观众和条幅等因素不敏感,可以有效提取出球员目标,适用与较为复杂的背景,准确度也较高.为了验证分割球员目标的准确度,对正在进行比赛的球场图片(10张)进行分割,并正确分割出球员目标的数目作为依据,对本文方法进行验证,结果如表1所示.

通过验证可以发现本文方法对于球员目标提取具有较高的准确度,可以较好的将球员目标从球场图像中分割出来,但也存在不足.在球员身穿绿色球衣时,尤其和球场绿色越接近,分割准确率越低,如图片6的结果.在颜色不同且差异较大的情况下,球员目标分割准确率较高如图2和图4.但本文方法对图片也有一定的限制，并不适用与近景，在角度不佳和离球员目标较近的情况下,球员目标的分割结果并不理想,这将在后续的研究中进行改进.

4 结论

本研究提出了利用球场和球员的颜色特征以及边缘特征,对球员目标进行了有效的分割,可以正确分割出球员目标,将非兴趣目标滤除,具有较高的精度和简单易行的特点.并对具有较为复杂背景的图片也有较高的分割准确度,为实现球员目标的后续识别和提取打下了基础,具有一定的参考价值.

表1 球员目标提取准确度

[1] LEW M S,SEBE N,EAKINS J P.Content Based Analysis for Video from,Snooker Broadcasts.Image and Video Retrieval[C]∥International Conference,CIVR,2002,London,UK,July 18-19,Proceedings:198-205.

[2] WANG K,BELONGIE S.Word spotting in the wild[M].Berlin Hegdelberg：Springer,2010.

[3] SUN Shihwei,CHENG Wenhuang,HUNG Yaoling,et al.Who′s Who in a sport Video? An Individual Level Sports Video Indexing System[C]∥IEEE ICME,2012:938-942.

[4] LU W L,TING J A,LITTLE J J,et al.Learning to track and identify players from broadcast sports videos[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2013，35(7)：1704-1716.

[5] 钱超.基于MATLAB GUI的指纹图像采集及预处理研究[D].太原:中北大学,2015.

[6] 乔培玉,何昕,魏仲慧,等.高斯滤波器在子弹三维图像特征提取中的应用[J].液晶与显示,2012，27(5)：708-712.

[7] 邹柏贤,张然,苗军.Prewitt图像边缘检测方法的改进[J].微电子学与计算机,2013，30(5)：23-26.

[8] 程涛,郭雅林.Brensenham算法及其在遥感影像绘制中的应用[J].合肥工业大学学报,2014，37(9)：1072-1075.

[9] 彭亮.足球比赛视频中的目标检测与跟踪[D].南京:南京理工大学，2006.

[10] 李竹林,邓石东.一种改进的等分迭代Bresenham直线生成算法[J].电子设计工程,2015，23(7)；61-63.

[11] 李中健,杜娟,郭璐.将Otsu用于多阈值彩色图像分割的方法及优化[J].计算机工程与应用,2010，46(11)：176-178.

[12] 李景福,赵进辉.基于阈值的彩色农业图像分割方法研究[J].安徽农业科学,2007，35(28)：8869-8870.

责任编辑：时 凌

Target Segmentation Method Based on Color and Edge Features

WANG Bing,ZHANG Weiguo,SUN Jingru,ZHANG Liangliang,HUANG Kunqiang

(College of Computer and Communication Engineering,Zhenzhou University of Light Industry,Zhengzhou 450001,China)

In order to achieve accurate segmentation of the target player,we conduct fusion processing based on the information provided by the color features of the image and the edge features of the player.Firstly,the image is pre-processed by Gaussian filtering,and the pixels are analyzed and screened by Matlab software.The edge detection is carried out by Prewitt operator and the Bresenham algorithm is used to determine the start of the boundary line.After morphological operation,the line is removed in the picture.After the final processing,the target player is segmented.The advantage of this method is that it is not affected by the lighting and shadows of the soccer field and it can automatically filter the background of the spectators and accurately segment the target even in the complex background.

fusion; Prewitt operator; Bresenham algorithm; target extraction

2017-05-03.

国家自然科学基金项目(81501547);2016年郑州轻工业学院研究生科技创新资助项目.

王兵(1990-),男,硕士生,主要从事图像处理、计算机视觉和模式识别等的研究.

1008-8423(2017)03-0309-04

10.13501/j.cnki.42-1569/n.2017.09.014

TP391.41

A