高动态舞蹈视频中特定动作片段检索系统设计

李丁辛

摘 要： 为了实现高动态舞蹈视频的分析和管理，需要对视频中特定动作片段检索系统设计方法进行研究。当前基于镜头内容的高动态舞蹈视频特定动作片段检索系统设计方法存在检索效率较低的问题。为了减少检索系统运行时间，提高查准率，提出一种基于相似性计算的高动态舞蹈视频特定动作片段检索系统设计方法。首先对高动态舞蹈视频中特定动作片段的背景进行初始化处理和更新，获取特定动作片段前景图像，实现其特征检测；然后依据特征检测结果，计算特定动作片段的密度分布、紧密程度和离散程度，以及特定动作片段的活跃块比率和它们之间的相似性；最后在此基础上设计特定动作片段的检索系统框架。实验结果分析证明，所提方法能够提高查全率和查准率，且减少了检索系统运行时间。

关键词： 高动态舞蹈视频； 相似性计算； 初始化处理； 离散程度计算； 特定动作片段； 检索系统设计

中图分类号： TN911.73?34； TP391 文献标识码： A 文章编号： 1004?373X（2018）05?0097?05

Abstract： In order to analyze and manage the high?dynamic dance video， it is necessary to study the design method of retrieval system for specific action fragments in video. The current lens content based design method of specific action fragments retrieval system for high?dynamic dance video has the problem of low retrieval efficiency. In order to shorten the running time of the retrieval system and improve the precision ratio， a similarity calculation based design method of specific action fragments retrieval system for high?dynamic dance video is put forward. The initialization processing and update were performed for the specific action fragments background in high?dynamic dance video to acquire the foreground image of the specific action fragments， and realize its feature detection. According to the results of the feature detection， the density distribution， close degree and discrete degree of the specific action fragments， as well as active block ratio and similarity of the specific action fragments are calculated. On this basis， the framework of the specific action fragments retrieval system was designed. The experimental results show that the proposed method can improve the recall ratio and precision ratio， and shorten the running time of the retrieval system.

Keywords： high?dynamic dance video； similarity calculation； initialization processing； dispersion degree calculation； specific action fragment； retrieval system design

0 引 言

随着计算机视觉技术以及视频图像处理技术的发展，视频信息已经在众多领域得到广泛应用[1?2]。面对浩如烟海的高动态舞蹈视频信息，用户希望能够像查询文字信息那样便捷、快速地对高动态舞蹈视频中的特定动作片段进行检索和查询，最终获得感兴趣的特定动作片段并进行播放与浏览[3?4]。然而，一方面由于当前视频数据库容量逐渐趋于海量化，视频数据结构越来越复杂，使得高动态舞蹈视频中特定动作片段的检索工作量相当庞大；另一方面，由于当前硬件设备的局限性，想要对高动态舞蹈视频中特定动作片段进行快速、准确的检索具有一定难度，暂时只能利用高动态舞蹈视频数据中本身所包含的固有视频信息进行特定动作片段检索[5?6]。为了实现高动态舞蹈视频的分析和管理，需要对视频中特定动作片段检索系统设计方法进行研究。传统的基于嵌入式的高动态舞蹈视频特定动作片段检索系统设计方法[7]主要将嵌入式的平台和相似性匹配技术进行有机结合，实现高动态舞蹈视频特定动作片段的提取和检索。为了提高高动态舞蹈视频中特定动作片段检索的查准率和查全率，已经有越来越多的专家人士展开了相关研究，为此提出了许多经典方法。

文献[8]提出一种基于语义概念的高动态舞蹈视频特定动作片段检索系统设计方法。首先设计包括高动态舞蹈视频特定动作片段镜头分割、特定动作片段的关键帧提取以及特定动作片段语义概念检测和特定动作片段用户检索三个模块的系统模型；然后采用特定动作片段镜头分割与特定动作片段关键帧提取法对特定动作片段进行层次分割并提取出有效动作片段的低层特征；最后利用支持向量机进行特定动作片段的概念检测，针对概念内容进行特定动作片段的检索。但该方法的视频浏览效率较低。文献[9]设计了一种基于运动目标分类的高动态舞蹈视频特定动作片段检索系统，主要包括特定动作片段分析和检索两个模块，首先利用特定动作片段分析模块对特定动作片段进行分类标注，形成目标片段类别描述文件；然后利用特定动作片段检索模块通过输入的目标片段类别，快速检索到相应的特定动作片段。该方法存在目标片段分类准确率较低的问题。文献[10]设计了一种基于镜头内容的高动态舞蹈视频特定动作片段检索系统，该系统利用相邻尺度小波变换乘机的镜头检测法檢测高动态舞蹈视频中的特定动作片段；然后采用多特征自适应阈值检测法提取出特定动作片段，依据提取结果实现特定动作片段的检索。但该方法存在计算量较大，查准率和查全率较低的问题。endprint

针对上述方法产生的问题，本文提出一种基于相似度计算的高动态舞蹈视频特定动作片段检索系统设计方法。实验结果证明，所提方法能够提高检索的查准率和查全率。

1 高动态舞蹈视频中特定动作片段检索系统设计

1.1 高动态舞蹈视频中特定动作片段的特征检测

对高动态舞蹈视频中特定动作片段的背景进行初始化处理和更新，从而获取经过二值化处理的特定动作片段前景图像，完成特征检测，具体描述如下：

1） 高动态舞蹈视频特定动作片段的背景图像初始化

将高动态舞蹈视频帧转化为灰度图像并进行分块处理，每块大小表示为16×16。如果高动态舞蹈视频中连续两帧特定动作片段对应块变化小于5%，则认定该特定动作片段块没有发生变化；如果连续10帧均没有发生变化，则将该特定动作片段块数据填充至背景相应部分，获得高动态舞蹈视频特定动作片段初始背景图像。

2） 高动态舞蹈视频特定动作片段的背景图像更新

建立一个大小为的高动态舞蹈视频帧缓冲池，存储帧表示为且以帧为间隔采样更新帧缓冲池中的特定动作片段帧。将当前高动态舞蹈视频特定动作片段的背景与高动态舞蹈视频帧缓冲池中的帧，共帧中特定动作片段的像素按照灰度强度进行排序，选取中值更新高动态舞蹈视频背景图像中特定动作片段的相应像素。

3） 获取高动态舞蹈视频特定动作片段的前景图像

当前帧高动态舞蹈视频图像其特定动作片段分量分别表示为由分别计算获得高动态舞蹈视频特定动作片段前景图像和并利用背景差分法进行二值化处理：

式中：代表高动态舞蹈视频中特定动作片段的像素位置；代表高动态舞蹈视频中特定动作片段位置的亮度值；&代表加在上的权重值。高动态舞蹈视频中特定动作片段的高维特征向量与低维特征向量按照以下公式计算获得：

式中：代表高动态舞蹈视频中特定动作片段的二值化阈值；代表特定动作片段图像的长度；代表特定动作片段图像的高度。

则最终的高动态舞蹈视频特定动作片段前景图像的计算表达式为：

1.2 高动态舞蹈视频中特定动作片段的相似度计算

依据1.1节高动态舞蹈视频特定动作片段的特征检测结果，首先计算特定动作片段的密度分布、紧密程度和离散程度；然后计算特定动作片段的活跃块比率和特定动作片段之间的相似性；最后根据相似性计算结果实现高动态舞蹈视频中特定动作片段的检索。具体描述过程如下：

假设高动态舞蹈视频中的一个特定动作片段中有1个颜色对象的像素点集合为：

根据式（5）进行以下定义：

1） 高动态舞蹈视频特定动作片段的密度分布计算表达式为：

式中表示高动态舞蹈视频特定动作片段的像素总数。

2） 高动态舞蹈视频特定动作片段的紧密度分布计算公式如下：

式中，表示在集合中4连接都有像素点的高动态舞蹈视频特定动作片段的像素点总数。

3） 高动态舞蹈视频特定动作片段的离散度计算公式为：

式中：和表示高动态舞蹈视频中4连接都有像素点的特定动作片段像素点总数。其关系表达式如下：

为了定义高动态舞蹈视频特定动作片段的第四个特征，将高动态舞蹈视频特定动作片段分割成大小相同的16×16的块。如果这些分割的块中包含一些的子集，则认定这些块是活跃的。假设在高动态舞蹈视频中特定动作片段的活跃块数量为，则高特定动作片段的活跃块比率的计算表达式为：

根据上述计算，分别取高动态舞蹈视频中特定动作片段空间特征的平均值，用和代表高动态舞蹈视频特定动作片段中的1个颜色对象的平均特征值，则一个高动态舞蹈视频特定动作片段中2个颜色对象和的空间分布差异计算公式如下：

根据上述计算结果，利用Canny边缘检测算子对高动态舞蹈视频特定动作片段中大小相同的的块进行边缘检测。如果块中特定动作片段的边缘点个数大于设置的阈值，则认定该特定动作片段块具有纹理。然后计算每个特定动作片段的纹理块的比率和在1个特定动作片段中的平均值。2个特定动作片段中的纹理相似性由这两个特定动作片段平均值的最小值计算获得。

假设和分别代表高动态舞蹈视频特定动作片段和中的所有颜色对象，给定特定动作片段颜色对象对应在中满足的相似性颜色对象，其中，代表和在HSV颜色空间中的欧氏距离；代表特定动作片段的阈值。此时代表高动态舞蹈视频特定动作片段中的1个相似性颜色对。

如果高动态舞蹈视频特定动作片段和的平均直方图分别表示为和则高动态舞蹈视频特定动作片段和之间的相似性计算表达式如下：

式中：和分别表示高动态舞蹈特定动作片段和的纹理块的平均比率；和表示高动态舞蹈特定动作片段的权重函数。其中高动态舞蹈特定动作片段的权重函数为Sigmoid函数，其表达式为：

式中和是特定动作片段的两个参数。

如果高动态舞蹈视频中的两个特定动作片段分别表示为：

式（15）、式（16）分别包含个特定动作子片段和个特定动作子片段。则高动态舞蹈视频中的两个特定动作片段和之间的相似度计算表达式为：

式中：代表高动态舞蹈视频特定动作片段中第帧和第帧的相似度；表示特定动作片段的归一化参数；表示高动态舞蹈视频中降低位置上不对应的特定动作子片段的相似度权重。

根据式（17）计算选取匹配高动态舞蹈视频特定动作子片段相似度值的平均值作为特定动作片段的相似度，在保证特定动作片段在高动态舞蹈视频中时序顺序的基础上完成检索。

1.3 高动态舞蹈视频中特定动作片段检索系统设计框架

根據上述计算，设计高动态舞蹈视频特定动作片段检索系统框架，主要包括特定动作片段的特征检测模块和特定动作片段的检索模块。整体框架如图1所示。endprint

根据图1可以看出，高动态舞蹈视频中特定动作片段检测模块主要由三部分组成：特定动作片段的背景初始化、特定动作片段的背景更新和特定动作片段的前景图像获取。高动态舞蹈视频中特定动作片段的检索模块主要由四部分构成：特定动作片段的密度分布、紧密程度、离散程度和特定动作片段之间的相似度计算。

2 实验结果与分析

实验采用500段网络下载的高动态舞蹈视频数据，共计120 h。实验环境为Xeon E5410 3.2 GHz，4 GB内存，Windows 8操作系统。将本文方法与文献[8?9]方法进行对比分析，测试了200个高动态舞蹈视频中特定动作片段的检索请求，记录了特定动作片段的查全率、特定动作片段查准率以及特定动作片段检索系统的运行时间。

为了验证本文所提方法的有效性，首先定义高动态舞蹈视频中特定动作片段的查准率和查全率，然后以此作为衡量检索系统性能的标准。

根据上述定义，绘制三种不同系统设计方法的特定动作片段检索查全率和查准率曲线图，如图2、图3所示。

分析图2、图3可知，本文方法的特定动作片段检索查准率始终保持在80%左右，而文献[9]方法的特定动作片段检索查准率在查全率上升时却明显下降；文献[8]方法的特定动作片段检索查全率不断提高时，查准率却不断下降，说明文献[8]方法的特定动作片段检索无法兼顾查准率和查全率；而本文方法的特定动作片段检索查准率和查全率呈现同步上升趋势。由于本文方法计算了高动态舞蹈视频中特定动作片段之间的密度分布、紧密程度、离散程度以及相似性，使得检索系统的查准率和查全率均有所提高，具有良好的实用性能。

为进一步验证本文方法的有效性，采用文献[8，10]方法和本文方法的检索系统运行时间进行对比分析，实验结果如图4所示。

从图4中可以看出，文献[8，10]方法的检索运行时间明显高于本文方法的检索运行时间，其中，文献[8，10]方法的检索运行时间随舞蹈视频个数的增加，其运行时间不断增加，运行总体时间较长，检索系统性能并不理想；而本文方法的检索运行时间随着高动态舞蹈视频个数的不断增加而趋于平稳，且总体运行时间较短，明显优于其他两种对比方法，具有良好的性能。

3 结 语

采用当前方法对高动态舞蹈视频中特定动作片段进行检索时，运行时间较长，且检索准确率较低，为此提出一种基于相似性计算的高动态舞蹈视频特定动作片段检索系统设计方法。通过实验证明，所提方法由于计算了高动态舞蹈视频中特定动作片段之间的密度分布、紧密程度、离散程度以及相似性，使得检索系统的查准率和查全率均有所提高，具有良好的实用性能。

参考文献

[1] 梁俊杰，熊亚军，余敦辉.一种基于本体的视频检索技术研究[J].计算机工程与科学，2015，37（10）：1940?1946.

LIANG Junjie， XIONG Yajun， YU Dunhui. A video retrieval technique based on ontology [J]. Computer engineering and science， 2015， 37（10）： 1940?1946.

[2] 鲁建飞，谢振平，刘渊，等.融合多重Bayesian决策的多视角视频车辆快速检索算法[J].小型微型计算机系统，2015，36（5）：1122?1126.

LU Jianfei， XIE Zhenping， LIU Yuan， et al. Multi?view video vehicles fast retrieval algorithm integration of multiple Baye?sian decision?making [J]. Journal of Chinese computer systems， 2015， 36（5）： 1122?1126.

[3] 杨曼，何鹏，齐怀琴，等.基于Map/Reduce的海量视频图像检索系统设计[J].电视技术，2015，39（4）：33?36.

YANG Man， HE Peng， QI Huaiqin， et al. Huge amounts of video image retrieval technology research based on Map/Reduce [J]. Video engineering， 2015， 39（4）： 33?36.

[4] 余时强，张铮，张为华.近似重复视频检索方法研究[J].电子技术应用，2016，42（5）：24?26.

YU Shiqiang， ZHANG Zheng， ZHANG Weihua. Research of near?duplicate video retrieval [J]. Application of electronic technique， 2016， 42（5）： 24?26.

[5] 袁庆升，张冬明，靳国庆，等.视频检索中图像信息量度量[J].通信学报，2016，37（2）：80?87.

YUAN Qingsheng， ZHANG Dongming， JIN Guoqing， et al. Image information measurement for video retrieval [J]. Journal on communications， 2016， 37（2）： 80?87.

[6] 于萧榕，席屏，黄健荣.监控系统预警视频的分布式检索设计与实现[J].计算机测量与控制，2015，23（7）：2511?2514.

YU Xiaorong， XI Ping， HUANG Jianrong. Design and implementation of distributed retrieval in video monitoring system [J]. Computer measurement & control， 2015， 23（7）： 2511?2514.endprint

[7] 张波，王颖.大数据视频图像关键帧的检索模型优化仿真[J].计算机仿真，2016，33（9）：446?449.

ZHANG Bo， WANG Ying. Big data video image retrieval model optimization simulation of key frames [J]. Computer simulation， 2016， 33（9）： 446?449.

[8] 梁曼，徐肖豪，周建，等.基于粗糙集的航路飞行冲突智能解脱系统案例检索方法[J].科学技术与工程，2015，15（3）：289?294.

LIANG Man， XU Xiaohao， ZHOU Jian， et al. Fuzzy rough set based case retrieval in automated en?route flights conflict resolution CBR system [J]. Science technology and engineering， 2015， 15（3）： 289?294.

[9] 伍振兴，曾令伟，汪文彬.基于概念格特征分区的多源信息检索优化[J].科技通报，2015，31（8）：174?176.

WU Zhenxing， ZENG Lingwei， WANG Wenbin. Optimization of multi?source information retrieval based on concept lattice feature partition [J]. Bulletin of science and technology， 2015， 31（8）： 174?176.

[10] 庞敏.基于Web的电子产品信息分布式检索系统的设计与实现[J].電子设计工程，2016，24（21）：82?84.

PANG Min. The design and implementation of electronic pro?duct information retrieval system based on Web [J]. Electronic design engineering， 2016， 24（21）： 82?84.endprint