基于四元数显著图和PCNN空洞滤波的足球检测

郑天宇，顾晓东

0 引言

注意力选择在人的认知方面中起到重要作用。同时，在人的认知过程中，也充分的用到了先验知识。所以可以模仿人脑的功能，将注意力选择和先验知识用于目标的检测与跟踪。足球是世界第一运动，有着很高的普及率和关注度。足球的检测和跟踪能够用来辅助裁判判决、摄像机的自动跟踪拍摄和技术统计等。但是，足球的检测还存在很多难点，足球视频转播时摄像机进行远距离拍摄，此时画面中的足球非常小，而整个背景较为复杂，这给足球的检测带来很大的困难。本文对此进行了一定的研究。

当前有很多的目标跟踪方法，比如改进的模块匹配算法[1]，比传统模块匹配方法有了较大改进；基于Meanshift和粒子滤波以及卡尔曼滤波的方法[2]，该方法有较高的鲁棒性；此外还有针对群体目标跟踪的分布式挖掘算法[3]，适合大量的群体性目标的跟踪。当然，除了以上的算法以外，还有以下的专门针对足球跟踪的算法，参考文献[4]用改进的卡尔曼滤波器对足球位置进行预测；参考文献[5]中运用显著图来直接提取球场中的人和球。参考文献[6]和参考文献[7]将球员和球进行分割，通过足球运动的轨迹来推算足球的运动趋势。但是，足球比赛的转播画面中球员和足球的运动速度快，互相之间会有接触和遮挡，所以上述方法在特定的场景中不能达到理想的效果。

本文将具有先验知识的注意力选择和PCNN(Pulse Coupled Neural Network）空洞滤波相结合用于足球检测。在注意力选择部分，采用四元数可以很快的得到注意力显著图。此外本文在四元数模型中引入了先验知识，并采用PCNN空洞滤波增强了物体的连通性，所以在大多数情况下能直接检测到目标。该算法首先进行预处理，提取出球场区域，并判断是否发生镜头切换。然后，用四元数傅里叶变换（Phase Spectrum of Quaternion Fourier Transform,PQFT）算法生成显著图，用 PCNN空洞滤波处理后直接检测足球；如果检测失败，使用显著图在图像帧中提取感兴趣区域，并基于足球的形状、颜色和面积等特征检测足球。如果足球被遮挡或者残缺，当前图像中无法检测出足球时，则用卡尔曼滤波器预测足球的位置，从而提高检测率。

1 系统的结构

整个足球检测算法的流程，如图1所示：

图1 算法流程

首先读入图像，提取出球场的范围并判断视频在当前图像帧是否有镜头切换。如果有镜头切换，则要对参数进行初始化。比如卡尔曼滤波器的参数；然后用改进的PQFT生成显著图，用 PCNN空洞滤波后直接检测目标；如果检测失败，我们利用显著图提取球场的感兴趣区域，在感兴趣区域中用足球的物理特征检测足球；如果都未检测成功，则使用卡尔曼滤波器的预测作为最后结果。

针对足球视频的特点，在预处理中引入了基于先验知识的PQFT注意力选择模型，能大大减少算法的运算量。此外，为了解决足球颜色不均匀以及噪声干扰等问题，使用PCNN空洞滤波和PCNN模糊颜色匹配的神经网络。PCNN模型的引入不仅能够更完整的提取出足球区域，而且能够有效地消除孤立噪声，提高算法的鲁棒性。

2 基于具有先验知识的四元数注意力选择和PCNN空洞滤波的足球检测算法

2.1 球场区域的提取与镜头切换判断

在足球视频画面有广告牌、看台、跑道等众多的无关区域，这些区域的色彩和结构特征复杂，严重干扰足球的检测。所以首先要提取出球场的区域，为下一步的检测和跟踪消除干扰。

经过观察发现，在HSV或者HSI颜色空间中，足球场地的H值的分布范围非常的小。在HSV颜色空间中，草地颜色的H分量在0.2～0.3之间。根据这一特性，可以很容易的提取出球场区域，从而去除杂乱的背景。提取的足球场地效果，如图2（a、b）所示：

图2 (a)原图(b)提取的球场区域

此外，为了判断视频在转播过程中是否有镜头切换，计算图像中非球场区域的面积，当图像中非球场区域面积与前一帧图像相差在设定阈值范围内时，视频转播是连续的。当非球场区域的面积差大于阈值时，转播中发生了镜头切换，系统里的部分参数需要重新初始化。

2.2 基于先验知识的四元数显著图

显著图指的是视觉场景中容易引起人眼关注的区域或物体。例如人们可以很容易找出面前有显著特征的物体，这正是注意力选择机制的作用[8]。如果用注意力选择的方法，把图像的显著区域提取出来，那么对于足球的检测将有很大的帮助。本文的算法选择基于PQFT的注意力选择模型[9][10]。相比其他模型，PQFT不依赖于参数的选择，而且运算速度也很快，能满足实时的要求。

PQFT注意力选择模型考虑3种不同的特征，即色差、亮度和运动。为了更好的运用足球特征，对原始PQFT的通道设置做了改变。运动通道在足球检测中作用不大，所以用足球颜色的先验知识来代替这一通道。已知足球的颜色，分别是，将 d取反后，代替运动通道。由于先验知识的加入，改进后的PQFT模型使得产生的显著图更加清晰。

式（1）表示，对当前像素点与参考值的差值进行取反。当前像素点越接近参考值，像素点对应的d值越大。先验知识的加入，使得四元数显著图中的足球目标更为明显和清晰，如图3（a、b）所示：

图3 (a)为原始PQFT显著图，(b)为加入先验知识后的PQFT显著图

由于球场中部分球员衣服的颜色以及球场白线的颜色与足球颜色相近，所以包括足球在内的很多物体的显著特性都得到了增强。

2.3 模型中使用的PCNN空洞滤波

通常为了表达物体连通的特性，如果物体内部存在空洞，这些空洞都必须得到填充，此过程称为空洞滤波。在视频中，足球是具有连通性的，但当图像中足球不清楚或者模糊的时候，会对足球的检测造成困难。如果使用空洞滤波，可以使得处理后的目标更加清晰，提高检测的效果。本文中，使用单位连接的PCNN来完成空洞滤波[11]。

单位连接的 PCNN网络是一种单层局部连接的神经网络。在图像中，像素点与神经元一一对应，即每一个神经元对应一个像素点。同时，每个神经元与邻域的神经元相连。像素点的值输入到对应神经元的F通道，而L通道的输入为邻域神经元的输出。神经元的输出只有两种状态，点火或不点火。神经元工作的方程如公式（2）所示：

像素点的输入值越大，则对应神经元点火的时间就越早。通过F通道和L通道的相乘调制，符合条件的邻域神经元开始逐渐点火，产生的脉冲通过神经网络传播。在这里我们规定，任意神经元只要其四邻域中的神经元有一个点火，它也就点火。这样就使得整个神经网络中的脉冲能沿着4个方向自由而快速地传播。每个神经元只点火一次，单位连接的PCNN空洞滤波的工作过程，如图4所示：

图4 单位连接的PCNN模型

当足球不被其他物体遮挡或接触时，显著图中的足球较为明显。此时进行 PCNN空洞滤波后，得到下面的图。通过简单的筛选，足球能够很快检测出来，如图5所示：

图5 空洞滤波后的显著图

2.4 感兴趣区域的提取

当足球与球员或其它物体接触或遮挡时，无法在显著图中直接检测到足球。此时，利用PQFT生成的显著图，找出感兴趣区域。由于足球的显著特性，它会出现在图像感兴趣区域中的某一个区域中，如图6（a、b）所示：

图6 (a)原图 (b)提取的感兴趣区域

PQFT生成的注意力选择区域，图6(a)中足球与球员接触。图6(b)为对球场区域生成的感兴趣区域。

对球场区域进行感兴趣区域的提取，因为非球场区域中存在大量的干扰。而去除这一区域后，图4（b）的显著图中可以清晰的看到球员和球。感兴趣区域提取后，由于足球肯定位于某一块感兴趣区域，这样就避免了在整幅图像中进行搜索，减少了大量的运算。

2.5 PCNN颜色匹配的模型

在颜色匹配模型中，采用简化的 PCNN模型来完成候选目标的提取，此模型与先前的 PCNN空洞滤波模型有所区别，在参数和通道设置上有差别。在此模型中，设置神经元的F通道，。其中分别是R、G、B3个通道的匹配结果，需要在3个通道上进行颜色分量的比较。当参考颜色和输入颜色的值小于设置的阈值时，颜色匹配。比如，表示R通道的颜色匹配。

来自L通道的信号加上一个正的偏移量与来自F通道的信号Fj进行相乘调制（公式4），βj为联结强度（在本文方法中，βj=1）。使用简化的PCNN模型得到候选的足球目标，其中βj=1，θj0=6。即5个或者5个以上邻域的神经元点火，当前神经元才会点火。

如果Uj的值大于jθ，神经元输出Yj等于1，神经元点火。与此同时，Yj会形成反馈，使得jθ的值超过Uj，所以Yj的值会变成0。模型利用PCNN的脉冲传播特性，使得相邻的像素点之间互相影响，有效的去除了噪声，匹配的结果在形态上更加符合要求。

2.6 PCNN空洞滤波未检测到足球情况下的处理

当显著图在空洞滤波后无法直接检测到足球的时候，基于感兴趣区域的提取和PCNN颜色匹配，已经确定了若干候选目标。接下来，将对提取出的候选目标进一步筛选：

1) 面积：在远距离拍摄的足球场景中，足球相对图像比较小，所以面积过大或者过小的候选目标可以排除。

2) 圆形度：足球是圆形的，在不遮挡的情况下，候选目标中圆形度越高，就越可能是足球。圆形度的公式：C=(4·π·S)/P2。其中S为面试，P为周长。圆形度越接近于1，表示该区域的形状越接近于圆。

3) 离心率，区域长轴与短轴尺寸之比。离心率的公式：E=DL/ DS ，其中DL和DS分别表示区域最小边界矩形的长和宽。离心率越大，该区域是足球的概率就越小。

2.7 卡尔曼滤波进行补充预测

如果前面的检测步骤都不成功，则利用前若干帧的检测结果，用卡尔曼滤波器预测当前图像帧中足球的位置。这样可以在足球被部分遮挡的这部分图像帧中准确检测出足球的位置，大幅提高了检测正确率。实验结果也验证了这一结果。

卡尔曼滤波器的方程组见式（5）。其中X为系统状态向量，Wk和Vk为正态分布的运动和测量噪声，Zk为系统观测向量。A为系统转移矩阵，H为观测矩阵。

使用公式（5），当直接检测失败时，使用前几帧的结果来预测当前帧中足球的位置。

3 实验结果与讨论

在分析实验结果时，与当前一些目标检测和跟踪算法进行了比较。由于在视频画面中足球的面积非常小，这造成很多如 Meanshift、粒子滤波等传统方法无法有效的跟踪足球。Dynamic Kalman Filter with Velocity Control[4]和Real Time Ball Detection Framework[5]两种专门用于足球检测跟踪的算法，能较好的进行足球检测。下文给出了与两种算法的比较。

选取了3段不同特点的视频。第一段视频是球员连续带球的场景，共1000帧，此视频的特点是球离球员非常近，大部分图像帧球与球员有接触，如表1所示：

表1 第一组图片检测结果

表1中，不使用Kalman即单幅图像检测；加上Kalman，即当单幅图像无法检测出来时，利用前若干帧的结果，使用卡尔曼滤波器预测足球的位置。实验数据显示，Kalman滤波器的使用能够大幅的提高足球的检测率。

第二段视频是球员之间短传球配合的过程，也是连续的1000帧，此视频帧的特点是球会被遮挡，大部分图像帧中球与球员有接触。可以看到，在使用卡尔曼滤波器后检测成功率有大幅的上升，弥补由于足球被遮挡无法直接检测而产生的缺陷，实验结果，如表2所示：

表2 第二组图片检测结果

第三段视频是球远离所有球员的情况，共连续的 400帧，此组图片的特点是球离其他的物体都很远，所以在产生感兴趣区域时，球会单独出现在一个感兴趣区域里。在没有其它物体干扰的情况下，PCNN模型能够很好的匹配并分割出完整的足球，因此检测几乎没有错误。检测结果，如表3所示：

表3 第三组图片检测结果

另外，为了检验本文算法的检测效果，选取了在足球检测中有较好检测效果的两篇文献 Dynamic Kalman Filter with Velocity Control[4]和Real Time Ball Detection Framework[5]，重新编写实现了他们的算法，并用本文的视频数据做了对比。结果，如表4所示：

表4 第二组图片检测结果对比

从表4的检测结果可以看到，本文的方法检测率均高于两种参考文献方法。原因在于基于四元数的PQFT模型更加出色，能够得到更加精细的视觉显著图。此外 PCNN模型更充分和准确的使用了足球的物理特征，并有效的抑制了噪声干扰。

4 结论

本文将先验知识引入四元数注意力选择模型，并采用PCNN空洞滤波处理注意力显著图。和两种的传统足球检测方法相比[4][5]，检测结果得到了明显的提高。实验结果显示，当足球没有被遮挡时，本方法的检测率接近100%；当足球与人有身体接触，或者足球被部分遮挡时，用卡尔曼滤波器预测，也有很高的检测成功率。

[1]Kim,T.Lee,S.et al.Combined shape and feature-based video analysis and its application to non-rigid object tracking,IET Image Processing,pp.87-100,Dec 11,2009.

[2]Zulfiqar Hasan Khan,Irene Yu-Hua Gu,et al.Robust Visual Object Tracking Using Multi-Mode Anisotropic Mean Shift and Particle Filters,IEEE Transactions on circuit and system for video technology,Vol.21,No.1,pp.74-87,Jan,2011.

[3]Hsiao-Ping Tsai,De-Nian Yang,et al.Mining Group Movement Patterns for Tracking Moving Objects Efficiently,IEEE Transactions on knowledge and date engineering, Vol.23,No.2,pp.266-282,Feb,2011.

[4]Jong-Yun Kim,Tae-Yong Kim,Soccer Ball Tracking using Dynamic Kalman Filter with Velocity Control,Sixth International Conference on Computer Graphics,Tianjin,pp.367-374,Aug.11-14,2009.

[5]Chaoke Pei,Shuyuan Yang,et al,A Real Time Ball Detection Framework For Soccer Video,16th International Conference on Systems,Signals and Image Processing(IWSSIP),Chalkida ,pp.1-4,June.18-20,2009.

[6]Liu,S.X,Lijun Jiang,Garner J.et al.Video Based Soccer Ball Tracking,Image Analysis & Interpretation(SSIAI),Austin,TX,pp.53-56,May 23-25,2010.

[7]Yu Xian,Zeng Gui-hua, Scheme for football detection and tracking based on trajectory,Computer Engineering and Applications,46(26), pp.148-151,2010.

[8]Itti,L.et al.,a model of saliency-based visual attention for rapid scene analysis,IEEE Transactions on Pattern Analysis and Machine,Intelligence,20(11),pp.1254-1259,1998.

[9]Chenlei Guo,Liming Zhang,A Novel Multiresolution Spatiotemporal Saliency Detection Model and Its Applications in Image and Video Compression, IEEE Transactions on Image Processing,19(1), pp.185-198,2010.

[10]Chenlei Guo,Qi Ma ,Liming Zhang, Spatio-temporal Saliency detection using phase spectrum of quaternion fourier transform,Computer Vision and Pattern Recognition,Anchorage,AK,pp.1-8,June.23-28,2008.

[11]顾晓东，郭仕德，余道衡，基于PCNN的二值文字空洞滤波，[j]计算机应用研究,12,pp.65-66,2003

[12]Ell,T.Sangwin,S.Hypercomplex Fourier Transforms of Color Images,IEEE Transactions on Image Processing,16(1),pp.22-35,2007.

[13]Reinhard Eckhorn ,Neural Mechanisms of Scene Segmentation: Recordings from the Visual Cortex Suggest Basic Circuits for Linking Field Models,IEEE Transactions on Neural Networks ,15(5), pp.464-479, 2004.

[14]Johnson J L,Padgett M L.PCNN Models and Applications,IEEE Transactions on Neural Networks,10(3),pp.480-498,1999.