最小二乘支持向量机和证据理论融合的体育视频分类

曹爱春，杨晓艇，侯旭东

1.南昌大学 体育系，南昌 330029

2.江西师范大学 体育学院，南昌 330027

3.上海鑫磊信息技术有限公司，上海 200233

最小二乘支持向量机和证据理论融合的体育视频分类

曹爱春1，杨晓艇2，侯旭东3

1.南昌大学 体育系，南昌 330029

2.江西师范大学 体育学院，南昌 330027

3.上海鑫磊信息技术有限公司，上海 200233

1 引言

随着Internet和体育运动不断发展，产生大量的体育视频，形成了海量的视频库，对体育视频库中的数据进行有效管理，可以为用户提供快捷、高效的体育视频浏览和检索服务，而体育视频分类是体育视频浏览和检索的基础，因此视频分类成为体育研究领域中的一个重要课题[1]。

针对体育视频分类问题，国内外学者进行了比较深入的研究，已提出了很多有效的分类方法[2]。体育视频分类主要包括特征提取和分类器设计等内容，目前主要有静态特征、运动特征和两者组合的多特征等体育视频提取方法[3-5]，单一静态特征或运动静态特征只能描述体育视频类别的部分、片段信息，易出现错分现象，因此多特征成当前主要的体育视频分类方法[6]。相对单一特征，多特征方法可以从多个角度对体育视频类别信息进行描述，体育视频分类正确率相应提高，但是传统特征组合方法只是简单地将多个特征进行综合，而没有实现有效融合，致使特征空间的复杂度和分类器输入维数过高，体育视频分类的准确性、实时性和稳定性较差[7-8]。除了特征提取外，体育视频分类结果还与分类器设计相关，当前体育视频分类器采用支持向量机（SVM）进行构建[9-10]。对于海量的数据，SVM的训练速度慢，而最小二乘支持向量机（LSSVM）是一种改进的支持向量机，有效克服了传统机器学习算法过拟合、SVM训练速度慢等缺陷[11]，因此本文选择LSSVM构建体育视频分类器。

为了提高体育视频分类正确率，提出一种LSSVM和DS证据理论相融合的体育视频分类模型（DS-LSSVM）。利用D-S证据理论组合不完全、不清晰信息的优势以及LSSVM在小样本情况下良好的分类推广能力，融合单特征的LSSVM体育视频识别信息，根据决策规则得到最终的识别结果，并通过仿真实验测试DS-LSSVM的体育视频分类效果。

2 DS-LSSVM的体育视频模型

2.1 体育视频特征提取

2.1.1 提取运动矢量场

（1）设体育视频大小为M×N×T，M×N表示分辨率，T表示视频序列长度，把视频分为K×L个块，每块大小为h×v，其中h=M/K，以C表示每个块内的块数目，如图1所示(K=L=4)。

（2）建立直角坐标系统，将运动矢量映射到此坐标系中，如图2所示。MV(i，j)表示位置为(i，j)的块，θ∈[0，2π)表示运动矢量C的方向，若以Cx表示第C个块运动矢量在水平(x)方向上的分量，Cy表示第C个块在垂直(y)方向上的分量，ρ表示块C的运动强度，则

（3）将连续视频帧的坐标系统按时间顺序排列，并沿x正方向将它分成Q个等角扇形，将 p量化到R个区间，再分别对 p、θ作直方图，可得：

（4）采用块内运动矢量在x和y方向上的期望和方差对块内运动情况进行评估，即

图1 体育视频帧块划分示意图

图2 运动矢量场映射图

2.1.2 提取亮度特征

假设帧分辨率为 M×N，将每帧分为k×k块，每块大小为h×v，其中h=M/K，v=N/K，x表示块内第i个像素点的亮度值，每个块的亮度均值为l∈[1，k×k]，则

以y表示块亮度比较编码值，则帧内第m块与第n块之间的亮度比较结果编码值可用式（5）表示，其中l≤m≤k×k，2≤n≤k×k-1。

通过式（5）可对帧按块亮度均值比较并进行“1”、“0”编码。

2.1.3 提取颜色特征

假设帧大小为M×N，将帧转换为HSV模型，并划分为k×k块，每块大小为h×v，其中h=M/K，v=N/K，以xi，m，n表示视频中第n块内第i个像素点m分量的像素值，其中n∈[1，k×k]，i∈[1，h×v]，m∈[H，S，V]，则体育视频颜色特征如下所示：

式中，μm，n，xi，m，n，Sm，n分别表示第 n块内 m分量的均值、方差、三阶矩。

2.1.4 提取纹理特征

设体育视频f有L个灰度级，G表示一个灰度共生矩阵，其元素 pij是灰度为i和灰度为 j的像素对在f中的次数，pij计算公式为：

式中，f(x，y)为像素点(x，y)处的灰度级，∆x，∆y反映了两点之间的距离d和方向θ。

采用最常用的5种纹理特征作为体育视频分类特征[12]，它们分别定义如下：

2.2 DS理论

证据理论是Dempster提出并经Shafer完善的，故又称为DS理论。DS理论通过合成规则，将来自两个或多个证据体的信任函数融合为一个新的信任函数，以融合后的函数作为决策依据[13]。其原理如下：

设Θ为检测框架，定义函数m:2Θ→[0，1]满足条件：m(∅)=0（∅为空集），∑m(A)=1(A∈2Θ)，那么m(A)被称为框架Θ上的基本概率指派（BPA），则有当A≠Θ时，m(A)表示对命题A的精确信任程度，m(Θ)表示证据的不确定性。

2.3 传统多特征的LSSVM体育视频分类模型

设训练集为(xi，yi)，i=1，2，…，n，n表示训练样本数，xi∈Rm为样本输入，yi∈{1，-1}为输出，LSSVM在高维特征空间的线性函数为：

式中，ω为权值向量，b为偏置量[14]。

根据结构风险最小化原则，综合考虑拟合误差和函数复杂度，式（12）变为：

式中，γ为正则化参数；ei为预测误差。

引入Lagrange乘子将式（13）变成无约束对偶优化问题：

式中，ai拉格朗日乘子。

根据KKT条件，可得到：

对非线性分类问题，通过引入核函数转换到高维特征空间求解，相对于其他核函数，径向基核函数（RBF）参数少，且性能更好，因此选择其作为LSSVM的核函数，最后，LSSVM分类决策函数为：

式中，σ为径向基核函数的宽度参数。

体育视频分类是一种多分类问题，但LSSVM只能求解两分类问题，本文采用有向无环图将LSSVM分类器组合在一起，构造体育视频分类器。传统多特征的LSSVM体育视频分类过程如图3所示。

图3 传统多特征的LSSVM体育视频分类示意图

传统多特征组合方法只是简单地将多个单一特征进行混合，特征信息之间很可能存在一定的冗余性，特征之间可能有冲突，导致LSSVM的输入维数较高，分类器训练过程比较耗时和分类结果的不稳定性，因此需要通过一定的融合处理消除或降低这些不确定性，达到提高体育分类识别速度和精度的目。

2.4 DS-LSSVM的体育视频分类过程

式中，AS，BS为后验概率；g为LSSVM的输出值。

采用最大似然算法计算AS，BS，然后训练集进行学习，得到相应检测准确率ri，那么BPA函数可定义为：

（3）体育视频分类结果融合及最终结果判决。通过式（18）计算证据的信度，并通过式（11）计算所有证据联合信度，从而得到最终体育视频分类结果。决策规则为：

①最大信度的类是目标类；

②目标类与其他类之间的信度差大于某一门限(ε1)；

在体育视频分类过程中，颜色、纹理、亮度、运动矢量场特征相互独立的，可利用DS理论对分类结果进行融合，并根据决策规则和判决门限得到最优的体育视频分类结果。DS-LSSVM的体育视频分类过程如图4所示。

DS-LSSVM的体育视频分类步骤为：

（1）首先提取颜色、纹理、亮度、运动矢量场等4种反映体育视频类别特征，然后采用LSSVM对单一特征进行分类，得到相应的体育视频分类结果。

（2）为了构造证据体的BPA，将LSSVM输出作为一个证据体，则LSSVM输出形式变为：

图4 DS-LSSVM的体育视频分类示意图

③目标类的信度与不确定性信度指派值的差大于某一门限(ε2)；

④不确定性信度指派值必须小于某一门限(ε3)。

3 仿真实验

3.1 数据来源

数据通过视频采集卡从电视上截取的足球、排球、网球及乒乓球等视频，各种类型视频训练集和测试集的样本数分布见表1，实验在Intel PIV 3.0 GHz CPU、2 GB RAM，Windows XP平台采用VC++编程实现。

表1 不同体育视频类型的样本数

3.2 对比算法及评价指标

为了使DS-LSSVM分类结果更具说服力，选择5个对比模型，它们分别为：颜色特征+LSSVM（LSSVM1）、纹理特征+LSSVM（LSSVM2）、亮度特征+LSSVM（LSSVM3）、运动矢量场特征+LSSVM（LSSVM4）、传统组合特征+ LSSVM（LSSVM5）。采用分类正确率、误分率、训练时间和测试时间作为模型性能评价指标。

3.3 特征归一化处理

LSSVM对在[0，1]的数据最为灵敏，为了提高训练效率，对体育视频特征进行归一化处理，具体为：

式中，x表示原始特征，x′表示归一化后特征，xmax和xmin分别表示最小值和最大值。

3.4 LSSVM的体育视频初步分类

将颜色、纹理、亮度、运动矢量场特征向量分别输入LSSVM进行学习，LSSVM参数γ=100，σ=0.195，分别建立LSSVM1、LSSVM2、LSSVM3、LSSVM4的体育视频分类模型，并对测试集进行测试，得到的结果见表2。

表2 单一特征的体育视频分类正确率

从表2可知，利用运动矢量场特征进行分类时，乒乓球和网球分类效果较差；利用颜色特征进行分类时，羽毛球、网球、排球分类效果较差；利用亮度特征进行分类时，羽毛球、网球、排球、乒乓球分类效果较差；利用纹理特征进行分类时，羽毛球、网球、排球分类效果较差，这表明采用单一特征难以准确、全面描述体育视频类别信息，分类可靠性和准确性比较差。

3.5 计算信度函数值

决策规则判决门限分别为ε1=0.50，ε2=0.65，ε3=0.25，计算各种特征以及信度函数值，具体见表3。

表3 检测框架的信度值

3.6 结果与分析

采用建立的LSSVM1、LSSVM2、LSSVM3、LSSVM4、LSSVM5和DS-LSSVM的体育视频分类模型对测试集进行分类，得到平均分类正确率和误分率如图5、图6和表4所示。从图5、图6和表4可知，在所有体育视频算法中，DS-LSSVM的分类结果最优，可以得到如下结论：

（1）单特征分类模型训练和分类时间短，分类速度快，但单一特征难以揭示体育视频类别信息，单一特征体育视频分类正确率低，误分率大，分类结果不可靠。

（2）传统多特征组合模型（LSSVM5）的分类性能要优于单一特征模型，说明将多个特征组合在一起，能够提供更多反映体育视频的信息，能够较好描述体育视频类别与特征向量之间的映射关系，一定程度上提高了分类正确率，但是由于特征向量的维数较高，训练和识别时间长，体育分类效率低，说明采用传统多特征组合LSSVM分类器不能满足述体育视频分类的实时性、在线识别要求，其应用范围受限。

（3）DS-LSSVM检测结果稳定性好，分类正确率高达到95.61%，误分率大幅度下降，主要是因为采用LSSVM分类结果构造D-S证据理论的信度指派，并根据证据组合规则融合了来自颜色、纹理、亮度、运动矢量场等特征的多个分类结果，实现了弱分类（单特征）决策向较强分类（多特征融合）决策有效转化，有效提高了体育视频分类正确率，而且分类结果更加稳定和可靠。同时DS-LSSVM对每一类体育视频特征（颜色、纹理、亮度、运动矢量场），设计相应子分类器，各子分类器分别完成各自的特征参数子空间到体育视频类别空间的映射，这样单特征分类器输入维数较低，训练时间和测试时间少，体育视频分类速度快。

图5 不同模型的分类正确率

图6 不同模型的误分率

表4 各模型的体育视频分类速度比较s

4 结束语

针对单一特征和传统简单特征难以准确、全面描述体育视频类别信息，提出DS-LSSVM的体育视频分类模型。仿真结果表明，DS-LSSVM的平均分类正确率达到95.61%，显著提高了体育视频分类的正确率和稳定性。

[1]张龙飞，曹元大，周艺华，等.基于支持向量机元分类器的体育视频分类[J].北京理工大学学报，2006（1）：41-44.

[2]宋刚，肖国强，代毅，等.基于视频区域特征及HMM 的体育视频分类研究[J].西南师范大学学报：自然科学版，2010，35（2）：180-185.

[3]Snoek C M，Worring M.Multi modal video indexing：a review of the state-of-the-art[J].Multimedia Tools and Applications，2005，25（1）：5-35.

[4]Yu X G，Tian Q，Kong W W.A novel ball detection framework for real soccer video[C]//ICME 2003.Baltimore，Washington DC：The Computer Society，2003：265-268.

[5]Zhou W S，Vellaikal A，Kuo C J.Rule-based video classification system for basketball video indexing[C]//ACM Multimedia Workshops，2000：213-216.

[6]Ma Y F，Zhang H J.Motion pattern based video classification and retrieval[J].EURASIP Journalon Applied Signal Processing，2003（2）：199-208.

[7]Kalaiselvi M，Palanivel S.A novel block intensity comparison code for video classification and retrieval[J].Expert Systems with Applications，2009，36：6415-6420.

[8]Liu J，Tong X F，Li W L，et al.Automatic player detection，labeling and tracking in broadcastsoccervideo[J].Pattern Recognition Letters，2009，30：103-113.

[9]Luo Y.Object-based analysis and interpretation of human motion in sports video sequences by dynamic Bayesian networks[J].Computer Vision and Image Understanding，2003，92：196-216.

[10]Li Y X，Tan C L.Contextual post processing based on the confusion matrix in offline handwritten Chinese script recognition[J].Patten Recognition，2004，37：1901-1912.

[11]Lin W H，Haupt M.News video classification using SVM-based multi modal classifiers and combination strategies[C]// MULTIMEDIA’02.New York：ACM，2002：323-326.

[12]储岳中.基于支撑矢量机的自动视频分类方法[J].安徽工业大学学报，2008，25（3）：315-318.

[13]张捍东，王翠华.基于改进证据理论和神经网络的故障诊断模型[J].计算机应用研究，2010，27（4）：1277-1279.

[14]刘姝琼，孔英会.基于LSSVM和证据理论的电力系统暂态稳定评估[J].电力科学与工程，2010，26（1）：34-38.

[15]Zhao Y，Zhu Z.TSVM-HMMI：transductive SVM based hidden Markov model for automatic image annotation[J].Expert System with Applications，2009，36：9813-9818.

CAO Aichun1,YANG Xiaoting2,HOU Xudong3

1.Department of Sports,Nanchang University,Nanchang 330029,China
2.College of Sports,Jiangxi Normal University,Nanchang 330027,China
3.Shinsoft Information Co.,Ltd,Shanghai 200233,China

The correct rate of sports video classification for single feature is very low and stability is poor,this paper proposes a sports video classification method combining Least Squares Support Vector Machine（LSSVM）with evidence theory（DS-LSSVM）. The color,texture,brightness,motion vector features of sports video are extracted,and then the extracted features are input into LSSVM to learn and get the preliminary classification results which are taken as evidence to establish the basic probability assignment,and DS is used to decide level fusion,the final sports video classification results are got according to the classification threshold,the simulation experiment is carried out.The simulation results show that the classification rate of the proposed algorithm reaches 97.90%,compared with the reference algorithms,the proposed algorithm has high video classification rate and good stability advantages.

sports video;least squares support vector machine;classifier design;feature extraction;evidence theory

针对单一特征的体育视频分类的正确率低和稳定性差等缺陷，提出一种最小二乘支持向量机（LSSVM）和证据理论相融合的体育视频分类模型（DS-LSSVM）。提取颜色、纹理、亮度、运动矢量场等4种反映体育视频类别特征，将4种单特征的LSSVM初步分类结果作为独立证据构造基本概率指派，运用DS组合规则进行决策级融合，根据分类判决门限给出最终的体育视频分类结果，最后进行仿真实验。结果表明，DS-LSSVM的体育视频分类正确率高达97.90%，相对于参比模型，DS-LSSVM具有体育视频分类正确率高、稳定性好等优势。

体育视频；最小二乘支持向量机；分器设计；特征提取；证据理论

A

TP391

10.3778/j.issn.1002-8331.1306-0105

CAO Aichun,YANG Xiaoting,HOU Xudong.Sports video classification based on evidence theory and improved support vector machine.Computer Engineering and Applications,2013,49（23）：95-99.

江西省自然科学基金（No.0105100900100012）。

曹爱春（1973—），女，副教授，主要研究领域为体育教育、体育产业；杨晓艇（1972—），男，副教授，主要研究领域为体育教育、体育产业；侯旭东（1978—），男，主要研究领域为计算机方面。

2013-06-13

2013-08-05

1002-8331（2013）23-0095-05