模拟篮球比赛中犯规镜头扫描自动检测技术研究

谢天虹

(河南建筑职业技术学院，河南 郑州 450000)

近年来随着科技的发展，裁判员受主观意识影响而判罚失误的难题已经得到解决。比赛镜头扫描自动检测的技术已成功运用于各种比赛，继而成为各大赛事中检测运动员犯规动作的重要技术。篮球比赛中，常见的判罚失误和错误判罚经常引发运动员与裁判员之间的冲突。然而利用当前篮球比赛中的犯规动作检测技术，很难在对抗激烈的比赛中检测到篮球运动员的犯规行为。因此，怎样减少失误和错误判罚，准确检测运动员的犯规动作成为了主要问题。该技术运用RGB将图像转换为灰度图像并对图像进行加权，然后利用灰度图像的阈值提取篮球运动员动作图像的特征，用fgrg算法提取篮球运动员的身体轮廓，利用adaboost算法提取关键帧，最后利用LLE算法分析提取动作的特征信息，判断篮球比赛中运动员的动作是否属于犯规行为。 要解决上述问题，主要是在篮球比赛中运用扫描自动检测技术，因此，扫描自动检测技术成为研究的热点，受到了广泛的关注，也取得了一些研究成果。[5-7]

现有的篮球比赛犯规镜头扫描自动检测技术有：文[8]提出了一种基于多特征融合的篮球比赛犯规检测技术。该技术以k均值提取篮球运动员的动作图像，在此过程中建立分层树模型，将运动员的动作图像保存在各树叶结构上，根据视觉信息计算出篮球运动员的总体位置，然后通过联合概率对篮球运动员的位置进行细化，识别出与当前框架相对应的动作。最后，采用动态时间算法对篮球运动员的动作进行测试。这种技术对篮球运动员的动作有很高的识别率，但不能精准地判断运动员的动作是否犯规。文章[9]提出了一种基于非参数聚类的篮球比赛犯规自动检测方法，该技术简化了运动员的动作图像，根据篮球运动员肢体的变化，设计了肢体模糊功能的函数关系，通过计算得到了运动员犯规动作检测算法的模糊理论，并将重心和模糊理论相结合，对运动员在比赛中的犯规动作进行了检测。该技术简单，鉴别性强，但简化的篮球运动员图像容易丢失部分特征数据，使测试结果不准确。文章[10]提出了一种基于微惯性测量单元的篮球比赛犯规镜头扫描自动检测技术，该技术利用混合高斯背景模型提取运动中篮球运动员的运动特征，解决了背景颜色干扰引起的误差问题，采用立体匹配算法计算了篮球运动员动作图像的视差图，然后根据视差原理，获得了运动员动作图像的视觉深度信息。在保证测试精度的前提下，减少计算量。将数据输入计算机，在计算机上完成篮球动作模拟实验，确定该动作是否为犯规动作。该技术能准确判断篮球运动员在比赛中是否犯规，但检测效率低，不能及时计算结果。

针对上述问题，本文提出了一种篮球比赛中的犯规镜头扫描自动检测技术。实验证明，该技术能够准确地检测出运动员在篮球比赛中的犯规动作。

1 人体运动分析的分析方法及篮球比赛中的研究难点

篮球比赛的动作规范要求非常高。在比赛中，运动员的动作是否犯规主要由裁判的视觉观察来判断。然而，由于不同角度的不同观察结果，容易受到主观判断的影响并产生错误。因此，扫描自动检测技术逐渐取代单纯的视觉观察，该自动检测技术能够自动分析篮球运动员在比赛过程中的所有运动，选择犯规和可能的犯规，然后由裁判决定[11-12]。犯规动作镜头扫描自动检测是一项具有挑战性的任务，包括运动轮廓提取、动作特征提取、动作分析等的运算。以下是研究过程中所遇到的困难，以及自动检测犯规镜头研究的现状。

在篮球比赛中，对犯规镜头的自动检测是对篮球运动员在比赛过程中的所有动作的检测，进而检测出篮球运动员位置的动作时间，动作的开始镜头和结束镜头，进而分析篮球运动员动作的起始镜头和结束镜头，判断动作是否犯规。主要分为三个步骤：篮球运动员动作轮廓提取、篮球运动员动作特征提取和篮球运动员动作分析。篮球运动员动作轮廓提取是从运动员动作的一组镜头中提取动作特征信息；篮球运动员的动作特征提取是在运动员运动信息中提取运动员的运动特征；篮球运动员动作分析则是分析所提取的动作特征，并决定运动员动作是否犯规。

上个世纪末，科学家们研究了人类运动的标准性。但由于受到当时科研设备和计算方法的负面影响，人体运动识别率、准确率和诊断率都不能达到理想的效果。在篮球比赛中，犯规镜头的自动检测存在以下研究难点：

运动员的动作分离：为了快速检测篮球比赛中的犯规，首先要将运动员的动作进行分离，由于受到运动员的影子、图像的背景以及运动员的相互遮挡等很多干扰，很难分离运动员的动作。图像中影子的存在会影响运动轮廓提取的精度。如果影子与动作分离，则可以将影子用作裁决中的决定性因素。目前背景扣除法用于对运动员的动作图像进行分离，但这种方法只适用于简单背景的情况。

不同的视角：同一动作所呈现的结果与不同的角度密切相关，则也就对篮球比赛的自动检测技术提出了很大的挑战。

动作特征不确定性：运动员具有不同的身体特征，即使相同的动作由不同的运动员完成，运动方向也增加了提取运动特征的难度。

遮挡处理：在检测犯规动作图像时，运动员动作的遮挡是一个常见的问题，特别是在对抗激烈的比赛中。由于只能看到的小部分动作，背景分离也不能够分解目标运动员的身体运动。目前的解决方案只能通过多摄像机追踪，并完成像机中的特征检测来解决这一问题。

2 模拟篮球比赛中犯规镜头扫描自动检测

2.1 篮球比赛中运动员动作轮廓的提取

篮球比赛中，犯规镜头扫描自动检测技术通过摄像机捕捉篮球运动员动作图像并将图像传送到计算机主机，在计算机主机上完成轮廓提取、动作特征提取和动作分析。首先，采用fgrg算法提取篮球运动员运动的轮廓，根据篮球运动员动作图像的前20帧I0(x,y)预置篮球运动员动作图像的背景B0(x,y)。通过RGB将图像转换为灰度图像，并对图像进行加权处理。这个过程可以用公式(1)表示：

Ii(x,y)=αr(x,y)+βg(x,y)+γb(x,y)

(1)

在此公式中，αβγ是对篮球运动员动作图像进行加权处理的值。当运动员动作图像是在自然光中捕获的动作图像时，图像权重设置为1；当是在单一光线中捕获的动作图像时，图像权重设置为0，以消除篮球运动员身体的影子。在对图像进行灰度处理和加权后，计算出篮球运动员动作图像的起始帧与背景帧的差值如下：

Di(x,y)=Ii(x,y)-Bi(x,y)

(2)

保存起始帧和背景帧之间的差值，将其转换为二进制图像Ri(x,y)以便于计算，二进制图像可以表示为：

(3)

在这个公式中，T是篮球运动员动作图像灰度的阈值，动作图像灰度阈值的大小是由图像轮廓的清晰度决定的。这两种值很容易出现空白现象，这是因为运动员服装的颜色与背景图像的颜色是一致的。为了避免这种现象，T应该采取最小值。在二值图像中，所述运动目标区域被标记为1，根据形态学对所述两值运动图像槽的条件进行处理。通过尺寸为6×6的窗口对二值运动图像进行图像扩大，使第二值运动图像的间隙关闭。将窗口中的锚点作为篮球运动员动作图像的中心点，运动图像展开的次数取决于具体情况。经过处理后，图像仍有间隙，但二值图像的边缘是封闭的，可以采集篮球运动员动作图像中的运动轮廓，然后填充动作图像间隙。扩大二值动作图像使得球员的动作图像在被放大的球员图像中，因此需要计算篮球运动员动作图像的各种轮廓的像素。像素较少的轮廓是背景图像的轮廓，由此可以初步提取出篮球运动员的动作轮廓。公式(4)表示第二值图像的展开数：

Ri(x,y)⊕W

(4)

通过以上的处理，我们得到了篮球运动员动作不精准的动作轮廓，在此基础上进一步处理得到了篮球运动员动作的精确运动图像。利用移动人体检测算法处理篮球运动员动作不准确的轮廓。将移动人体检测算法与帧差法相结合，可以有效地检测出篮球运动员的运动信息，然后利用高斯模型对篮球运动员动作图像的背景进行建模，以区分动作图像和背景图像。然而，这种方法并不能完全解决运动员衣服的颜色与背景的颜色难以区分的问题，而且受运动员影子的影响，运动员的动作轮廓也会是错误的。

根据生活经历，即使运动员的服装图像与背景图像具有相同的颜色，也可以将二者加以区分，运动员的服装具有褶皱，褶皱阴影可以区分服装图像的边缘，并且丰富边缘信息。本文提出的准确计算篮球运动员动作轮廓的算法就是基于这一信息。有些边缘信息无法通过背景扣除法来区分服装与背景图像，从而导致运动员的边缘信息破碎。针对这一现象，本文介绍了图像局部灰度梯度算法，局部灰度梯度可以表示为：

▽f=(∂f/∂x,∂f/∂y)

(5)

篮球运动员运动图像的局部灰度梯度大小的计算为：

(6)

篮球运动员动作图像的局部灰度梯度反映了篮球运动员动作图像灰度的变化。在实际应用中，Canny技术将篮球运动员的动作图像转换为高斯图像，卷积是数学分析中的重要计算方法，用于评估篮球运动员动作图像的边缘法向量，并对动作边缘进行阈值处理，消除篮球运动员图像阴影的影响。然后利用特征收集的方法，从不同的角度对采集到的边缘信息进行整合，形成最终的篮球运动员动作轮廓信息。

在局部灰度梯度图像中，如果像素的灰度梯度值大于某一阈值，则表示像素位于动作轮廓区域。在阈值中，对篮球运动员动作图像进行二值处理，得到二值动作图像Ri(x,y)，表示了篮球运动员动作图像和动作线中离散点的最高值。在这种情况下，是看不到篮球运动员动作的轮廓的。本文在二值运动图像的基础上，利用该算法对运动员的边缘轮廓进行重新定位，其步骤如下：

(1)首先对篮球运动员的动作灰度图像进行处理，得到运动员动作的梯度图像，并对该图像进行二值化处理。

(2)篮球运动员动作图像中心的位置用PCA-LBP算法计算，当中心位于篮球运动员动作图像的外部时，可以根据运动图像中的中心位置C进行计算。然后计算出篮球运动员在灰度图像Di(x,y)中的运动图像轮廓线和中心位置C，篮球运动员的动作灰度图像Di(x,y)的动作轮廓是ld，中心位置是Cd。在运动员的动作轮廓线ld上选择一个点Zi，沿着运动员的轮廓线ld搜索，运动员每个轮廓ld中的每个像素进行浏览，ld这是一个封闭的、没有裂缝的运动员轮廓。

(3)当Zi跟随运动员的动作线ld访问每一像素，访问将停止。如果Zi遇到运动员的动作轮廓边界点，而这一边界点在访问灰度图像中心Cd的过程中已经浏览过了，则跳到下一个点Zi+1重新访问。从Cd到Zi乘以访问点Ei，当中心带有Ei的 6×6 窗口中的亮点数目大于窗口的原始灰度梯度信息时，就可以确定运动员的运动轮廓，即Ei数列。

最后确定的Ei数列是根据PCA-LBP算法计算出的运动员轮廓，两值动作图像Ri(x,y)中相应的点与Ei数列中的点相连并填充，以获得准确的篮球运动员动作边缘轮廓。

2.2 篮球比赛中运动员动作特征的提取

本文将利用Adaboost算法提取篮球比赛中运动员动作图像的关键帧，获得篮球运动员动作图像中的少量低维训练样本数据。优化当前Adaboost算法，使得算法能够根据每个运动员的动作图像样本的权重提取关键的篮球运动员动作图像的数据。具体步骤如下：

篮球运动员动作图像的训练集是(x1,y1),…,(xi,yi),…,(xZ,yZ)，yi∈{1,-1}；xi是篮球运动员动作图像的样本数据，yi是篮球运动员动作图像的标记样本数据；

(1)初始化篮球运动员的动作图像，初始化公式为：

(7)

(2)在篮球运动员动作图像的T样本中，选取一些样本数据作为已知的训练样本，利用弱分类器为训练样本中的每个特征找到合适的阈值，使训练样本特征更加准确。假设hi(xi)∈{1,-1}，训练样本误差率为：

εi=PDi(hi(xi)≠yi)

(8)

弱分类器的重为：

(9)

更新训练样本重为:

(10)

(3)这种一对多的方法被应用于篮球比赛中的犯规动作镜头扫描自动检测技术。从篮球运动员动作图像训练样本T中提取出的篮球运动员的运动将被标记为1，从篮球运动员动作图像训练样本中提取的其它信息将被标记为-1。在每次循环中，选择训练样本的一部分作为标记样本。弱分类器为训练样本中每个特征搜索适当的阈值，使得训练样本特征分类更加准确。根据每个样本中表现数据分类的准确性和样本的所有特征，篮球运动员动作图像的各样本的特征权重分布得以更新。基于样本特征权重的大小，样本特征的较低权重被选为篮球运动员动作图像训练的样本。重复这些步骤以提取篮球运动员动作图像的动作特性。

2.3 篮球比赛中运动员的动作分析

在篮球赛中仅凭裁判的眼睛对犯规动作和近似犯规动作进行判断，通常会导致误判。在篮球比赛中，犯规动作镜头扫描自动检测技术是解决这些问题的有效途径。该技术使用LLE算法对图像进行尺寸标注。该算法是一种图像局部优化算法，既简单又能保存原始图像数据的域特征。给定篮球运动员动作图像的输入向量，通过LLE算法计算输出向量，如图1所示：

图1 LLE算法原理

将相邻点计算到每个篮球运动员动作图像的中心点，将靠近篮球运动员动作图像中心点的像素点视为相邻点，利用LLE算法计算图像中心的局部重建权重矩阵。定义相关的成本函数，函数表达式为：

(11)

(12)

为了计算篮球运动员动作图像的中心点Ci矩阵，需要为篮球运动员动作图像建立一个局部协方差矩阵：

(13)

通过公式(12)和公式(13)求解篮球运动员动作图像局部优化的优化矩阵。

(14)

在此公式中：Qi是篮球运动员动作图像单矩阵。将此单数矩阵进行归化，如式(15)所示

(15)

在公式(15)中，r是篮球运动员动作图像单数矩阵正则化参数，I是篮球运动员动作图像像素k×k单元矩阵。用公式(16)将篮球运动员动作图像中的所有像素映射到二维空间：

(16)

在公式(16)中：ε(Y)是篮球运动员三维图像移动到二维图像中的函数值的减少，yi是篮球运动员动作图像的中心点Ci的输出，yij(j=1,2,…,k)是篮球运动员动作图像像素yi的相邻像素k，满足以下条件：

(17)

(18)

公式(18)：G是篮球运动员动作图像像素单位矩阵比例尺m×m。同时(i=1,2,…,N)可以用比例N×N存储到稀疏矩阵W中。如果xi是临界点，则建立公式(19)，或建立公式(20)。

(19)

Wij=0

(20)

可以将篮球运动员的动作图像从三维图像转换为二维图像的函数值减少重写为：

(21)

公式(21)：M是一个具有大小N×N的对称矩阵；该矩阵的表达式是：

M=(I-W)T(I+W)

(22)

当Y是对应于M矩阵的非零特征值m的最小特征向量时，它是篮球运动员的动作图像减少函数的最小值。将篮球运动员动作图像的特征M矩阵从小到大排列，如果矩阵的第一个特征值接近零，特征值就会下降。一般以2～m+1之间的篮球运动员动作图像特征值的特征向量作为输出。人体骨架的结构更为复杂，为了简化人体的结构，保留人体骨骼的特征，结合LLE算法，计算出低维图映射的三个步骤：

假设篮球运动员的人体轮廓的关键点数是U，将篮球运动员轮廓关键点作为动作图像的映射点，篮球运动员身体轮廓上的每个关键点都有相应的平面坐标和三维坐标。即Mi是运动员骨骼的关键点中的任意点，该点的三维坐标是(xi,yi,zi)，则运动员的每个动作可以被表达为三维矢量：

C=(M1,M2,…,MU)=[(x1,y1,z1),(x2,y2,z2),…,(xN,yN,zN)]

(23)

对运动员的所有动作进行采集，通过矢量变换形成远程动作矢量库，然后通过LLE算法对运动员所有动作的维数进行降维，得到运动员的低维动作图像。在此基础上检测行为是否犯规。将运动员身体的任何运动作为一个三维动作x，然后与先前建立的动作向量库相匹配，当发现相同或相似的动作时，可以判断运动员的身体动作。方法是:

f(x)=YT(K+λIn)-1k(x)

(24)

YT=s

(25)

K=k(xi,xj),xi

(26)

在此公式中：K是Gram矩阵，xixj表示矩阵S中的任意两个矢量，In是篮球运动员动作图像识别矩阵，λ是单位矩阵的系数，k(x)是所有矢量从x到矩阵S之和的变换矢量，高斯核函数可以表示为：

(27)

(28)

3 模拟的结果和分析

为了测试在篮球比赛中自动检测技术的应用效果如何，需要进行一些必要的实验。本实验以VC6.0为基础，经OpenCV编程，然后进行调试。对近年来室内篮球比赛犯规动作的自动检测技术进行了测试，首先收集了数据，然后进行了实际应用，以达到测试篮球运动员在比赛中是否犯规的目的。

3.1 篮球比赛中犯规动作数据收集结果

篮球运动员的犯规动作数据集有6种类型：用手侵入犯规、阻挡犯规、过分挥肘、拉人、推人、带球撞人。镜头扫描时间约为15min，其中包含约50个篮球运动员的动作数据组，然后将相机的分辨率降低到160×120个像素。由于每个运动员身体移动方式不同，差异很大，图像背景的噪声大，并且过程中有遮挡，因此在时间和空间上存在较大的模糊度。多次采集每个运动员6种类型的犯规，形成样本序列，采用一对一的方法对篮球比赛中的犯规动作镜头扫描自动检测技术进行测试调整。测试中使用了两个正分组和三个负分组。图2各曲线显示了不同阶段动作的自动测试比较的结果。

a)用手侵入犯规的特征提取AR曲线

b)阻挡犯规的特征提取AR曲线

c)过分挥肘的特征提取AR曲线

d)拉人犯规的特征提取AR曲线

e)推人犯规的特征提取AR曲线

表1将该技术与现有的犯规动作特征提取技术的效果进行比较，结果表明除过分挥肘犯规之外，本文的犯规检测技术优于现有技术。

为了进一步证明自动检测技术在篮球比赛中的使用效果，在真实比赛中进行了测试。目标是篮球比赛中是否有犯规。

篮球动作犯规的类型包括多种条件，本文主要研究运动员身体接触的犯规。当观察相同的身体接触时，由于比赛中的角度不同，结果是不同的。根据犯规动作镜头扫描自动检测技术，可以分析篮球运动员的动作是否犯规。

在实验中，建立了自动检测系统，对篮球运动员动作图像的各个帧进行二维图像检测。本文采用Adaboost算法从篮球运动员的动作图像中提取运动员的身体特征，以检验运动员的动作是否犯规。当篮球运动员的两个动作同时被检测到时，就会融合成一个高水平、长时间的运动。该系统还添加了一个3D跟踪器，以获取更多关于篮球运动员动作特征的信息。以扫描时间为15min的镜头作为训练图像，扫描时间为30min的镜头作为测试图像。篮球运动员动作图像样本由100个正向动作样本组成，每个样本被分解成较小的片段，每个样本的大小为10帧。在三维中，每个图像包含运动员头部和肢体的运动区域，并以10种不同的尺寸剪辑运动员的动作图像。训练数据和测试数据集产生了60个正向和120个负向数据，其中包括30 000个正向实例和60 000个负向实例。为了保证实验的公平性，本文采用了与现有技术相同的篮球运动员动作特点。图3显示了两种技术的特征提取AR曲线，显示本文研究提出的技术优于当前的技术。

表1 犯规动作特征提取技术与现有技术的效果对比

图3 两种技术特征提取的AR曲线

本文的技术结合了篮球运动员的动作特征和外貌特征。Adaboost算法提取的特征信息与运动员轮廓信息相结合，生成完整的运动员运动信息。图4显示了仅从Adaboost算法中提取的两种技术的特征的比较，从Adaboost算法提取的特征信息与运动员轮廓信息相结合。图表显示，混合特征提取特征的查全率比单纯的adaboost算法高出22%。图4显示了精度为0.6时的结果。

图4 两种特征对比

为了检测篮球比赛中犯规镜头扫描自动检测技术的普遍性，本文首先从不同的角度拍摄了球员新的动作图像。新的测试图像包含350个目标，运动员的动作训练包括325个正向和532个非目标运动员的负向包。图5显示了原始数据的特征提取AR曲线，以及使用混合特征的高难度测试数据，在图中可以看出数据的差异。本文中提到的技术和现有技术都有不同程度的下降，但并不明显，但新技术的特征表现仍然更好一些。

图5 高难度测试视频的综合评价

非目标动作图像包中的所有实例都是负向的，并且非目标运动员动作图像包的某些实例被分为正数据图像。可以通过这些正数据图像来计算目标S移动的时间和位置。即使运动是部分遮挡的，该技术仍可检测运动目标动作的时间和位置。更重要的是，可以检测到动作是否为犯规。实验证明，该技术能够准确地检测篮球运动员在比赛中的犯规动作。

4 结论

利用当前的篮球比赛中犯规动作检测技术很难在激烈的比赛中检测出篮球运动员的犯规动作。因此，本文提出了一种在篮球比赛中对运动员犯规动作进行自动探测的技术。实验表明，该技术能够准确地检测篮球运动员在比赛中的犯规动作。