胡水清,冯葆欣,蔡宇辉,吴成亮
反复观看比赛及训练录像,利用视频进行图像反馈和录像解析,是教练员、体育科研人员在训练和科研工作中常用的重要手段,视频图像资料在现场反馈和技术分析等方面,都发挥了相当重要的作用。在长期工作中,体育工作者们积累了大量的比赛、训练、技术分析等视频资料,保存形式从最初的照片、电影胶片、模拟磁带,到目前的数码磁带、光盘、硬盘等。我们仔细地记录了每盒胶片和每盘录像带的拍摄时间、拍摄者、拍摄内容等资料,录制视频过程中,会同时将一些比赛具体信息录音。但是,除非你把整个比赛看完,否则,具体到每个运动员、成绩等等具体信息还是无从查起。有着长期相关工作经验的人,或许可以凭记忆想到一些内容可以应用,但对于新投入这项工作的人就毫无头绪了。即使能够记得某年、某月的某些资料,但常常都是懒于或者不便于在资料堆里查找那些不确定是否有价值的视频片段,甚至可能忘记所需视频是在哪张光盘里、哪个硬盘的文件夹里,或者由于录像带重复使用丢掉一些有价值的资料等等。从大量的资料中分类查找到录像带或视频文件后,还需要查看整个录像才可以定位到所需内容,而且可能还要把视频资料转换成所需视频格式,因而,几乎大部分拍摄的资料当时用过之后就永远躺在角落里了。即使是近年来我们拍摄的比赛录像,也很少有人肯花时间在视频上清楚地插入字幕或者制作检索表格等,这样的视频只能当作及时反馈应用,重复利用的次数和可能性很低。前期花费大量人力物力进行的拍摄、视频分析、录像解析等工作,却由于没有便捷的管理和有效的查找调用手段而无法充分发挥作用。
随着数字成像技术、计算机技术和通信技术的进步,以影片、模拟磁带为资料保存的方式显然已不再适应数字时代的要求,而以数码磁带、光盘为保存形式,在使用时受到格式限制、存储占用的空间大,而且经过多次编辑会造成较大的损耗,影响视频质量。因此,硬盘存储影像资料的优势就凸现出来。针对现有视频资料管理缺乏快速查询手段,致使管理、使用效率低下等问题,本研究提出了构建体育比赛及训练影像资料分类管理数据库,以体育训练和比赛数字视频资料为主要研究对象,建立其有效的管理办法,充分挖掘各种体育比赛和训练视频资料的价值,并使其能够得到重复、有效利用。体育比赛和训练视频的主要内容着重于运动员的运动技术表现、运动战术组织和配合表现以及体育器械的运动行为表现,从属于视频图像概念。本研究主要目标是根据体育比赛及训练视频的特点,使视频资料能够根据其主要内容信息在需要时快速分类查询、准确定位并输出,从而为运动员、教练员提供更多、更有效的视频图像资料,为科研人员在视频反馈、图像处理、图像解析和视频资料管理提供更加有效的系统支持。视频资料数据量庞大、种类繁多、结构复杂[4],影像资料数据库分类管理软件提供系统内设置复杂数据和文件的定义、构造及使用,主要实现视频文件搜索、分类管理,所需视频片断定位、重组、备份功能;同时,针对体育比赛和运动项目的特点,除了实现基本的比赛信息检索功能外,还可以根据比赛中关键技术动作进行检索,并可进行分类筛选工作。
基于内容的视频搜索是当前多媒体数据库领域的一个重要研究方向,它通过对非结构化的视频数据进行分析处理,转换成结构化信息并进行标记,视频中的文本信息和当前视频内容紧密相关,对内容的理解起提示作用,同时,结合文本信息,能够大大提高视频搜索的准确率[9]。建立体育比赛及训练视频分类管理数据库首先要满足数据库对视频文件的处理要求,视频数据包含的信息量庞大,包含了文本、图像、声音等多种数据类型,要对各种数据进行统一管理需要解决好数据的组织与存储方法,要保证各种复杂数据之间对象的一致性和完整性,保证图像和声音信息的同步性[5]。同时,体育比赛的视频具有自身的特点,大多数体育项目的一场比赛视频中所包含的关键点较多。以体操比赛为例,一场跳马比赛有十几名队员出场,每个人跳2次,1 h左右的视频中至少要标记20~30个时刻点,需要记录该时刻的运动员名字、动作、得分等信息,自由体操等其他项目还要记录每套动作的动作组合,关键时刻标记点可能多达上百个,而其他类型的视频文件很少需要在同一视频中标记这么多关键点。影像资料管理方面的软件和数据库在诸多领域应用广泛,尤其是媒体管理和各类安全监控等方面。市场上现有的大部分视频数据库软件基本上是按时间或文件名、文件属性等检索的,把视频文件几乎当作普通文档一样数据库管理的,如百度视频、Youtube、土豆网、酷6、优酷等视频网络以及医学影像[1]等;安全监控录像则是按照视频的时间线性、发生地点等进行管理的。这些视频数据库管理和检索方式不适用体育训练和比赛复杂、多样的特点。体育比赛的视频数据库,要求除了按照以上要求检索之外,还应该能按照视频所记录的比赛项目、时间、地点、级别、运动员姓名、成绩、关键的技战术动作等具体内容信息进行检索并准确定位到视频文件上的所在时刻。
在长期应用视频资料的工作中,一些体育工作者利用Access或 Excel等常用软件来管理资料。将连续的视频流划分为具有特定语义的视频片段并将其作为检索的基本单元,记录下视频名称、路径以及视频相关信息,然后,通过Access或 Excel表格建立超链接形成简单的数据库。比如,将某场比赛的每个运动员、每个动作单独截成一个视频,逐一录入数据库比赛信息、运动员、动作名称、视频路径等并建立超链接。这种方法简单但非常耗费时间,而且拷贝后由于视频路径变化,视频链也必须重新更改路径,所以,很难长期应用。还有一些研究人员开发了一些项目的单项数据库软件,张辉等对乒乓球技、战术视频数据库管理系统进行了研究[2,6,7],赵传杰等建立了击剑比赛视频数据库管理系统[8],孙若渔探析了冰球运动视频资源管理的语义化索引和检索方法[3]。这些研究,对于各自所研究项目的科研和训练起到了一定的作用。然而,以单项体育项目为目标进行研发的软件又限制了其应用的广泛性;他们的研究中,技、战术应用情况是重点,着重于单场比赛的技、战术分析。在以往的研究中,几乎都是针对关键视频片段的收集、处理和管理,很少有基于比赛或训练视频进行视频管理、查询和输出关键视频片段的。前者收集和处理关键视频片段时往往会过滤和遗漏一些信息,而后者则能够建立包含比赛和训练视频所有信息的数据库。分割视频增加了大量处理视频的工作,视频文件存储空间增大,同时还破坏了整场观看比赛的连续性。对于视频查询结果,以往研究基本上是用软件播放或者单独拷贝视频片段的方式,本研究除了可以根据查询结果播放视频序列之外,还可以对所需视频集锦合成输出为一个视频文件,即使没有任何运动专业基础、没有该软件操作基础的人,也可以在任何电脑上播放观看。
表1 不同项目视频资料收集及分析情况一览表
2.1 研究对象
以体育比赛及训练的数字视频文件为主要研究对象,确定以举重、体操、乒乓球、摔跤4个项目为重点项目编写视频数据库管理软件,建立这4个项目的视频管理数据库模板(表1)。同时,本研究以举重、体操项目为例,收集大量该项目的视频资料并建立其视频数据库。
2.2 技术路线
图1 视频资料收集及分析技术路线示意图
2.3 研究方法
系统分析法:综合分析体育比赛和训练视频文件与普通视频文件的共性和其自身特点,完成视频分类管理数据库软件的整体设计思路和数据分析方式。体育比赛和训练视频文件中,关键信息点众多,提取、标记和归类关键信息点,从而使视频文件所包含的关键信息文本化。深入分析各类关键信息的递呈、因果、相同、排斥等逻辑关系,按照不同逻辑关系建立文本信息的联系,使大量具有时间线性的视频文件转化成一个具有不同联系的结构化信息网络——数据库。
通过文献查阅、专家咨询以及运动现场实践等方法,分别建立适用于举重、体操、乒乓球和摔跤项目特点的视频管理模板,并建立相应数据库。
采用C语言编程,基于SQL(Microsoft SQL Server)数据库技术进行数据库软件开发。
3.1 软件运行环境
硬件要求:Intel奔腾IV以上处理器;最少1 GB内存;硬盘空间:200 G以上;独立显卡;1394视频采集卡;声卡及音箱。计算机配置的越高处理速度越快,因为处理大量的视频文件用内存和CPU较多,而且视频文件占用计算机存储空间较多,随着视频资料的增多对硬盘空间要求较大,最好能够使用海量存储设备。
软件要求:Window s XP SP1以上操作系统,Microsoft SQL Sever2000简体中文企业版数据库软件;Nero光盘刻录软件和Snagit截图软件等相关软件(以上2种软件的版本不限)。
3.2 举重视频数据库的建立过程
应用 TacAnalysis体育比赛视频资料数据库管理软件,初步建立了举重项目近年来的视频资料数据库,共收集了举重2004年至2009年十运会、奥运会模拟赛、奥运会、队内模拟赛等14次国内、国际重要赛事的84场比赛视频。初步建立了体操、乒乓球、摔跤3个项目的数据库模型,为这几个项目建立视频资料数据库提供了较好的平台。下面以举重项目为例,说明 TacAnalysis体育比赛视频资料数据库管理软件的使用。
软件安装:使用 TacAnalysis软件,硬件设备和软件操作环境必须满足软件运行要求,加载 TacAnalysis对应的“TacData_Data.MDF”和“TacData_log.LDF”数据库文件, Microsoft SQL Sever2000简体中文企业版的安装以及数据库加载过程按照Microsoft SQL Sever2000软件操作说明进行,不再一一赘述。直接将执行程序“TacAnalysis.exe”拷贝到硬盘安装 TacAnalysis软件。
新建项目:双击“TacAnalysis.exe”打开软件,选择菜单选项“文件”中的“新建项目”选项或者直接点击第一个快捷工具“新建项目”,输入新建项目相关信息,这些信息最终会进入数据库中。目前,数据库当中已建立举重、体操、田径、摔跤和乒乓球5个项目的数据库模板,如果数据库中没有列出所分析的运动项目,可以选择其他运动项目,分析数据将全部进入所选项目的数据库,但不会影响数据库的最终结果。
载入视频文件。选择菜单选项“视频”中的“载入视频”选项或者直接点击“载入视频”快捷工具,出现下面的对话窗口。目前,软件兼容avi、rm、mpg、asf等 Window s Media Player播放器能够播放的视频格式。
创建属性列表:在列表标题栏中,依次选上每个标题,并键入相应的列表项,如选“姓名”时,在列表项名称内键入所分析的视频的所有运动员姓名;快捷键是利用键盘进行快速分析的,可以选择不用。列表标题有比较开放的删除和添加功能,可以根据需要任意设置模板,但数据库列表标题确定以后,最好不要随意修改,否则会造成数据库内数据混乱;分析数据时要导入模板,要先确定数据库使用的模板列表标题相同;如果需要更改或重新建立数据库要使用原始空白的数据库文件“TacData_Data.MDF”。建好属性列表后,单击“完成”。建立好属性列表之后,可以将其保存为模板,以便分析其他视频文件使用。对于同一项目不同场次的比赛,只需调入模板并对模板中列表属性中不同的内容进行更改即可。
图2 新建项目文件截图
图3 载入视频文件截图
图4 举重项目视频资料数据库属性列表建立截图
图5是使用 TacAnalysis分析举重比赛视频的过程,分析视频时只需鼠标点击选择不同类别的信息即可,也可以使用快捷键,熟练后只需用快捷键几个字母就可以对某一视频的关键时刻点进行记录,大大减少了文字录入的工作量。重量是个初步预输入值,在分析视频之前,我们不可能把所有涉及到的重量都输入进去,预设一些已知重量数值,在分析过程中,没有的重量值可以先任意选择一个然后点击右键修改为实际重量。当播放到某一需要标记的视频点时,依次点击该视频点每一个相应的属性,然后单击视频画面,相应的分析结果就会显示在结果列表中。开始不熟练时,可以先将视频暂停,再进行分析。
图5 举重数据库视频分析过程截图
保存:视频分析的结果直接保存到数据库当中。单击“保存”快捷键或“文件”中的“保存”,可以保存项目;通过“导入数据库”、“从数据库导出”可以导入/导出不同项目文件的数据,便于数据库合并。
查询数据和视频:单击“数据库查询”快捷键或数据库菜单中的查询选项。选查询字段,关键字为空白,单击“查询”显示所有结果。双击数据所在行,相应的视频就会播放。
图6 项目文件保存截图
图7 举重项目数据库结果查询截图
SQL Sever底层数据查询:打开SQL的“企业管理器”,按图8所示,单击“TacData”中的“表”,并在“表”项目中找到相应的项目“lift”或“gym”等。然后单击右键,选择“返回所有行”,将显示数据库中所有数据。
视频的导出功能:目前,软件设计的视频导出主要是利用潜入软件的方式,有2种方法:第:1种是利用 Snagit抓图软件,先双击视频全屏播放,选取屏幕录制选项后播放所需视频,将视频直接录制保存;第2种是利用Nero刻录软件,根据筛选结果中的文件路径和时间点信息,调入不同视频并设置所需片段始末点,将所需视频片段集锦刻录成光盘。
图8 数据库底层数据截图
3.3 视频管理软件的技、战术统计功能
视频管理软件的“属性列表”有非常开放的功能,如果我们把相应的视频属性变成技、战术的属性名称,那么,视频管理软件就变成了一个技、战术分析的软件(图9)。这样分析后的视频,在回放视频时,就不仅仅只是播放某人某场比赛的视频了,而是可以对某个人很多场次比赛的不同技术分类播放,同时,也可以导出分析数据用 Excel或SPSS做一些统计分析。
图9 乒乓球技术分析列表截图
图10 2007年世界青年摔跤锦标赛女子比赛技术动作分析截图
针对性强,视频分析速度快:TacAnalysis针对同一项目的不同场次的比赛和训练中运动员、技术动作、得分等信息重复的特点,分析不同运动项目的关键时刻点信息特征,并根据这些文本信息中的相同、相似、递呈、因果等逻辑关系使文本信息结构化。针对不同运动项目建立相应模板和视频数据库,使同一个项目的不同场次比赛中重复出现的关键信息不需要重复输入,关键视频片段不需要分割,从而节约了数据存储空间、减少视频处理步骤,在快捷查询关键视频片段的同时又不破坏整场比赛的连续性观看,查询获得相关信息也较为全面。
开放性:TacAnalysis视频管理软件提供了一个开放式的工具。其“属性列表”具有开放性特点,可以根据所有不同体育项目的特点建立相应的模板,同一项目也可以建立适应不同应用需求的模板及数据库,例如乒乓球项目,可以建立视频文件管理的数据库,也可以建立技术统计数据库。TacAnalysis视频管理软件开放性的特点,也可以应用到其他领域数字视频的管理中。
查询快速分类、准确定位:查找视频时,直接输入某一信息,就可以直接查询到数据库中所有包含同一信息的视频并准确对应到每个视频的相应时刻点,查询到的所有视频可按照内容分类、排序,实现了快速准确、分类查找功能。
数据库共享:数据库视频的分析数据能够导入、导出,不同科研人员分析的视频资料和数据能够分享或组合成统一的数据库。数据库中的视频资料查询后,可直接给教练员、运动员回放各种不同分类组合的视频系列,也可以把不同文件中所需的视频片段直接合成并输出。
技、战术统计功能:建立分析模板时,添加技术动作类属性并输入关键技术动作名称,然后,进行相应的视频分析,视频分类管理数据库就可以对不同技战术进行查找、筛选和分类。
视频格式兼容性强:视频处理编程基于 Window s Media Player解码器,能够兼容 avi、rm、mpg等 Window s Media Player能够播放的所有视频格式。
TacAnalysis可以应用于各种体育项目数字视频资料的管理,甚至可以扩展应用到其他领域数字视频管理。建立影像资料数据库,改变图像资料管理水平较低、利用效率不高的情况。加强图像反馈、录像解析等科研手段在运动实践中的作用。使比赛、训练和科研工作中所获得的视频资料得以长期有效的保存。其简单、便捷的视频分析和查询功能,能方便教练员、运动员使用。视频资料在采集、编辑、加工处理以及导出的形式更适用于体育项目训练和比赛的视频。针对不同项目的开放性以及数据库共享等功能,使 TacAnalysis在体育训练和科研领域内具有广泛应用的可能。
项目所开发的视频数据库管理软件在一些细节上还有待完善,软件界面的美化以及系统的稳定性需要提高,数据库软件的数据导入、导出、统计分析、视频合成输出等功能需要进一步改进,软件的应用范围有待进一步扩大。在下一步的研究中,将逐步增强该软件的分类统计功能,添加图示标记、字幕插入等新的功能,在加强视频数据库管理软件的管理、查询和输出功能的同时,开发其分析、统计功能。
[1]李坚,张大力,邵洁,等.一个通用医学图像管理系统的设计与实现[J].计算机工程,2000,26(3):37-39.
[2]刘颖华,张辉,赵霞.乒乓球技战术视频数据库管理系统的研究[C].第8届全国体育科学大会论文摘要汇编(一).北京:北京体育大学出版社,2007:385-386.
[3]孙若渔.冰球运动视频资源管理的语义索引与检索方法探析[J].冰雪运动,2008,(3):38-41.
[4]谭琳,何锦池.数字时代对内容存储管理的要求——媒体资产管理[J].广播与电视技术,2003,29(3):10-18.
[5]叶成林,徐福盟,任光杰.多媒体数据库及其教育应用[J].中国电化教育,2003,(9):100-102.
[6]虞丽娟,张辉,凌培亮.乒乓球比赛技战术分析的系统研究与应用[J].上海体育学院学报,2008,32(6):39-43.
[7]张辉,李晓东.计算机视频技术在乒乓球比赛分析中的应用[J].上海体育学院学报,2005,29(6):47-50.
[8]赵传杰,刘颖华,张辉.击剑比赛视频数据库管理系统的结构与应用[J].上海体育学院学报,2006,30(6):56-59.
[9]周景超.视频文本检测算法研究[D].北京:中国科学院研究生院(自动化研究所),2008.