基于图像识别的飞镖计分系统

(杭州电子科技大学图像图形研究所，浙江 杭州310018)

0 引 言

虽然数字图像处理技术发展已久、应用广泛，但是数字图像处理在体育计分中的应用并不常见[1]。一般用于投篮命中率分析[2]、高尔夫球视频分析[3]等，但在飞镖计分中的应用尚未得到充分的研究。本文针对飞镖比赛的计分规则，飞镖与飞镖盘的物理特征，提出了一种基于图像识别的飞镖自动计分系统。本文首先运用背景建模得到稳定的背景图像，并提取出前景目标。然后对背景模型和前景分别处理，最后将两者的处理相结合，最终实现了对飞镖落点的自动识别与定位，从而实现了自动计分的功能。

1 系统描述

该系统功能包括实时读取比赛视频，提取出每支飞镖的分数，并记录比赛状态、管理每位选手的比赛记录。该系统处理流程如图1所示，监测到的实时的比赛视频后，首先通过高斯建模得到稳定的背景图像，再将当前图像与背景图像相减，得到前景图像。对前景图像筛选出有用的前景目标并对其物理特性和运动情况进行分析，确定飞镖在镖盘上的位置。与此同时，还要对背景图像进行定标，将图像转换为正视图，最终得出飞镖落点在飞镖盘正视图中的位置，从而计算出这支飞镖打出的分数。

图1 系统流程图

2 背景建模

2.1 混合高斯模型

混合高斯模型是用来提取视频中的背景。一般而言单高斯模型对于不是很复杂的场景可以很好地表示出每个象素上颜色矢量的变化。但为了使背景模型可以更好地适应室内外环境的变化，本文使用GRIMSON 等提出的混合高斯模型[4]对颜色特征建模[5]。对每个象素点使用K高斯分布来模拟象素点的背景值，求得每一个观察到的颜色矢量Xt的概率。令di为Xi时刻的帧的象素值，将P与已排列好的di高斯模型分布进行匹配，如满足:

则H和该高斯函数匹配，式中D是参数(一般取2.5)，σi，t-1是标准差，ui，t是t时刻混合高斯模型中第i高斯分布的均值。如果没有高斯分布和R 匹配，则ρi，t=ωi，t/σi，t中最小的一个值被新的均值为Xt的高斯分布取代。余下的高斯分布保持相同的均值和方差，但它们可能变小。把K高斯混合模型按ρi，t=ωi，t/σi，t进行降序排列，则最有可能代表背景的高斯分布排在序列前面，所以取前面B个高斯分布联机生成背景(其中T为权重阈值):

2.2 提取目标

通过分析飞镖比赛视频，得出以下特点:比赛选手每轮依次投掷3支飞镖，3支投完后将它们一起取下。投掷过程中，飞镖没有击中飞镖盘或反弹落地，都认为不得分。选手取飞镖时，则标志着一轮已经结束。为了便于说明，本文定义以下两个概念:前景图像，即当前图像与背景图像相减后得到的图像;前景目标:即比赛选手和飞镖。

分析发现，前景图像中的白点数对前景目标的出现比较敏感，且不同前景目标出现时，白点数量的变化具有不同的表现。根据以上分析，得到如下系统设计步骤:(1)根据视频大小、质量等定义阈值S和T，用以区分前景图像中白点的不同变化;(2)利用混合高斯模型进行背景建模，并从中提取稳定的背景模型作为背景图像B1;(3)对当前图像进行去噪、形态学滤波等优化，并与背景B1 相减，得到前景图像P;(4)计算前景图像P中的白点的数量S1，以及相对于前1 张前景图像白点数量的变化率T1。将S1和T1 分别与阈值S和T 相比较，并记录比较结果;(5)查看当前图像与前面几帧图像的记录，如果连续5帧以上图像都同时满足S1 ＞S 并且T1 ＞T，则认为比赛选手出现，跳至第7步。如果连续3帧以上图像都同时上述条件，则认为飞镖出现，跳至第6步。其它情况则不处理;(6)飞镖出现后，白点很快恢复到飞镖出现前的状态，此时形成了新的稳定的背景模型，保存为背景图像B2。B2与B1 这两张图像相减即为所求的前景目标，用于做进一步处理。跳至第3步继续进行，直到视频结束;(7)比赛选手出现后，白点的数目剧增，选手离开后，白点的数量再次恢复到无前景目标时的状态，此时形成的稳定的背景模型作为B1，继续进行第三步，直到视频结束。

3 定 标

在通常情况下，由于摄像头与飞镖盘之间具有一定角度，通过背景建模得到的二维背景模型不能直接计算得分。为了方便后续处理，需要完成从背景模型到其正视图的透视变换。

如图2所示，图2(a)是通过背景建模得到的稳定的背景模型，图2(b)是参考背景图像构造的正视图。从图2(a)中随机取出N个点，依次记录其坐标(xαi，yαi)，构成大小为N×3的矩阵A。为了获得较精确的映射效果，应尽量选择角点且点的数目不少于8个。同时计算图2(a)中选择的点在图2(b)中对应的点，记录其坐标(xβi，yβi)构成大小N×3的矩阵B。

图2 从背景到其正视图的映射

若存在3×3 矩阵C，那么说矩阵C是景模型到正视图的透视变换矩阵。

透视变换矩阵C 只需要计算一次。在背景模型中的任意一个点(x，y)，都可以通过这个矩阵计算出它在正视图中对应的坐标(x'，y')。其计算公式如下:

4 飞镖镖头的检测与分数的转换

4.1 飞镖镖头的检测

镖头的位置决定了飞镖的得分，在得到前景目标以后，需要进一步的检测镖头的位置。

飞镖的物理形态具有以下特征:飞镖属于刚体，运动变化具有很强的结构性，大部分象素点都集中在尾部，而需要检测的镖头细而突出。基于这样的物理特征，采用质心法可以得到较好的效果。质心法即选取距离飞镖质心最远的点作为飞镖镖头。步骤如下:(1)对于前景目标，求它的质心坐标，记为P(Px，Py)，质心为所有点坐标的平均值;(2)对于前景目标，进行边缘检测，将所有边缘上的点存储到数组X 中;(3)遍历数组X中的每一个点，计算每一个点与质心的距离式中，Xi是数组X中的第i点，di是Xi与质心P的距离;(4)选取di最小的点为飞镖镖头。

4.2 分数的转换

飞镖盘上一共有20个分数。每个分数是一个圆心角为18°的扇形区域。这些扇形又被4个圆环划分成了共74个小区域，每个区域都代表不同的含义和得分。虽然区域划分复杂，但是由于已经完成了从背景到其正视图的映射，可以方便地利用圆的特性来转换分数。计算步骤如下:(1)把上文中求出的镖头，通过映射矩阵C，得到其在正视图中的映射点，记为H;(2)计算正视图中飞镖盘中心点的坐标记为O，以及飞镖盘的直径，记为R;(3)计算从飞镖盘中心指向镖头的矢量的大小和方向，记为s，则有公式(4)矢量的方向决定了飞镖落入哪个分数的扇形区域，矢量的大小决定了飞镖落入第几个圆环内。根据矢量的大小和方向求出相应的分数。

5 实现效果

为了验证系统的有效性，本文对多段视频进行了测试，所选视频均为320×240的avi 格式视频，帧率为25帧/s。其中包括室内场景和室外场景，飞镖盘与摄像头之间不同的倾角等。实验效果如图3、4所示，其中图3、4(a)是用背景建模得到的稳定的背景模型，图3、4(b)是第一支飞镖进入画面后停留在飞镖盘上，图3、4(c)是利用背景差分法检测出的前景目标，图3、4(d)是通过质心法的实验效果，图3、4(d)中红色的点是检测出的飞镖镖头。图3是第一支飞镖进入画面的实现效果。图4是已经有一支飞镖在背景中的读取飞镖分数的实现效果图。

图3 第一支飞镖的实现效果

图4 第二支飞镖的实现效果

分别在室内和室外测试了10组数据，每一组包含3支飞镖。对应的实验结果如表1、2所示，并分别统计了每组中第1支飞镖、第2支飞镖与第3支飞镖的分数识别的正确率。由于光线的原因，室外的识别效果稍好于室内。

表1 飞镖的分数识别效果(室内)

表2 飞镖的分数识别效果(室外)

分数识别错误主要是因为飞镖镖头检测的效果不是很完善。大部分情况下，分离出的前景目标很好地符合文中总结出来的规律，但有时候，飞镖镖头被飞镖尾部或其它飞镖遮盖，造成飞镖镖头检测的错误，从而影响了计分的正确性。

6 结束语

本文依据飞镖的比赛规则和飞镖的物理特征，先后运用了背景建模、目标提取、定标、边缘检测等常用图像处理方法，提出了一个基于图像识别的飞镖自动计分系统，实现了对飞镖的自动识别与实时计分。实验结果表明，本系统具有较好的飞镖提取效果与较高的计分正确率。对于复杂的背景以及噪声较大的视频也具有很好的处理能力。但也存在一些缺陷，比如适应性不强，识别镖头的算法也不是很完善。这些是以后要解决的问题。

[1]宋宝杰，宋国钰.基于视频的体育运动分析系统的研究与实现[J].电子科技，2009，22(11):76-80.

[2]柴业宏.数字图像处理技术对影响投篮命中相关因素的分析[J].合肥工业大学学报(自然版)，2007，30(12):1 607-1 609.

[3]李蕊，韩亚红.高尔夫球体育视频分析系统的开发[J].电脑知识与技术，2007，1(4):1 127-1 129.

[4]Dick A R.Issues in Automated Visual Surveillance[C].Sydney:Proc with Digital Image，2003∶195-204.

[5]马义德，朱望飞，安世霞，等.改进的基于高斯混合模型的运动目标检测方法[J].计算机应用，2007，27(10):2 544-2 546.