基于多特征融合的高动态舞蹈视频关键帧提取系统

张红丽

（宝鸡职业技术学院，陕西 宝鸡 721000）

1 引言

舞蹈是人们通过肢体来表达言语和情感的艺术形式，也是一种受大众欢迎的活动。尤其对于年轻女性来说，更是锻炼的首要选择，不仅能够强身健体，还能够减肥塑形，提升个人气质。对于舞蹈的学习主要有两种方式，一是进入舞蹈培训班，通过教师指导进行学习。二是通过观看视频示范来进行学习。这是当下主流学习方式，因为大多数人没有时间去专门的地点上几个小时的课程。这种学习方式虽然解决了时间和空间上的难题，但是当面对一些高动态舞蹈视频时，人们很难在快速的动作变化中准确识别出动作要点[1]。在此背景下，找出高动态舞蹈视频中的关键帧具有重要的现实意义。

对于视频中的关键帧提取研究有很多。如，国外学者Gunhee 利用视频重构的摘要提取视频关键帧，并取得了一定的效果；alic，J．，Izuierdo，E．采用离散轮廓演化算法，在曲线简化过程中利用差分度量实现关键帧提取。国内也有关于此方面的研究，例如张武等人提出了一种基于阈值筛选的关键帧提取算法，通过计算当前帧与后续帧的特征差值和阈值比较，差值大于设定阈值的即为关键帧；王璐针对花卉生长视频监控提出了基于光流法和熵统计法融合的关键帧提取算法。

以往研究虽然都取得了一定成功，但是大多数都以一种特征作为提取依据的，因此常常发生关键帧个数不全，关键对象丢失或错误等问题。为此，本文设计一种基于多特征融合的高动态舞蹈视频关键帧提取系统，从多特征角度出发，利用权重赋值理论进行多特征融合，然后再进行关键帧提取。最后经测试，证明了所设计系统提取质量较高，可以成为高动态舞蹈视频示范与学习的重要辅助工具。

2 高动态舞蹈视频关键帧提取系统设计

在一个视频中，并不是所有内容都是重点，就好比一篇文章中有一部分或几部分是重点内容，找出该内容，就能对文章有一个大致了解。关键帧是视频中最具代表性的一帧或若干帧，这些视频帧能代表一个镜头中内在的信息。在此背景下，如何从一个视频中准确找出关键帧至关重要。关键帧寻找过程就是关键帧提取过程，其思路是依靠人为设定的检测目标为导向，对视频内容进行解析，以便从众多帧图像中甄别出关键的、有意义的视频帧序列[2]。视频关键帧提取能够快速、有效的帮助用户从大量的冗余视频中快速分析和定位视频中的关键信息，掌握视频重点。舞蹈是一项动作转换复杂、快速的运动，因此录制的视频一般都是高动态视频。从这类视频中提取关键帧是十分困难和复杂的，到目前为止，也没有一个较为成熟解决方法。本文基于多特征融理论，设计一个高动态舞蹈视频关键帧提取系统，以期为辅助运动者更好的学习舞蹈动作。

2.1 系统设计目标

高动态舞蹈视频信息数据量大，结构复杂，要想从中提取关键帧需要经过复杂的过程。这就要求本文设计的系统需要满足一些目标。

目标1：本系统的操作界面要能够方便、灵活操作，且还要美观友好，个性化服务要强。

目标2：系统各功能划分要清晰、明确，逻辑处理关系要科学、合理。

目标3：系统要具体视频播放、暂停、停止、设置视频播放速度等功能。

目标4：系统要具有强大的视频处理功能，能够集视频预处理算法、特征提取与融合算法、关键帧提取算法等为一体。

目标5：系统能够最大限度地实现易维护性和易操作性[3]。

2.2 系统框架设计

本系统基于B/S 三层架构来设计本文基于多特征融合的高动态舞蹈视频关键帧提取系统。B/S三层架构，即表示层、业务逻辑层、数据访问层，如下图1所示。

图1 B/S三层架构

(1) 数据访问层：主要负责高动态舞蹈视频图像数据储存工作，是系统的数据库，具体为业务逻辑层或表示层提供数据服务。

(2) 业务逻辑层：主要负责对数据层中的高动态舞蹈视频图像进行处理、运算和分析，是系统的核心部分。

(3) 表示层：主要负责业务逻辑层结果显示、用户操作以及浏览任务的进行，是系统与用户交流的平台和媒介。

基于B/S 三层架构设计的高动态舞蹈视频关键帧提取系统优势在于能够简化客户端电脑负载、减轻系统维护与升级的成本和工作量、降低用户总体成本[4]。

2.3 系统主要硬件分析

在本文设计的系统中，主要有三个关键硬件设备，即嵌入式核心处理器、多媒体接口发送器和触控播放设备。下面针对这三个关键硬件设备进行分析。

2.3.1 嵌入式核心处理器

嵌入式核心处理器是系统核心部件，相当于一个微型计算机，主要负责程序控制和运算[5]。本系统当中的嵌入式核心处理器为八网两串嵌入式计算机，具体技术参数设置如下表1所示。

表1 八网两串嵌入式计算机技术参数

2.3.2 多媒体接口发送器

多媒体接口发送器主要用于数据传输与交换[6]。本系统中的多媒体接口发送器特征如下：

◆传输线抗干扰性强。无氧铜纯铜导体，铝箔等多层屏蔽，降低损耗，HDM信号高畅传输；

◆高兼容设计，具备Micro USB安卓供电接口；

◆独立音频输出。HDM 转vGA 带音频接口，可自由外接音响设备，可实现音视频同步；

◆采用优质芯片，减少发热，拒绝水波纹，闪屏现象；

◆适用于带HDM接口的设备，通过vGA线与带∨GA接口的显示设备连接使用。

2.3.3 触控播放设备

在关键帧提取之后，还需要一个平台作为视频关键帧播放媒介以及一个操作平台作为用户操作的面板。同时满足视频播放需求和用户操作需求的硬件设备，本系统界面层选择触控面板作为触控播放设备[7-8]。本文所选择的触控面板优势特点如下：

◆灵敏触摸屏：手指任何位置点击触摸，都能快速运作触摸无源移，无坏点高强度抗干扰，操作快。

◆高品质液晶屏：LED背光技术结合工控A规屏，画面清晰，寿命长久。对比度为1000：1；背光亮度为500cd/m2；显色系数为16．7M。

◆采用Intel J1800双核处理器，具有高性能、低功耗、静音等优良特性，因此性能更好，动力更强，更节能，更稳定。

◆采用高速2G 内存和32G 固态硬盘，大幅度提升运行速度。

◆支持通电开机，24小时不间断运行。

◆内置Intel CPU 的工业平板电脑，支持Win7 系统，可运行大部分工控组态软件。

2.4 系统软件程序关键算法

相比较硬件，软件运行程序是系统工作的逻辑思想。本系统当中，软件程序关键算法主要有三个，即视频图像灰度化处理算法、视频图像边界检测算法、关键帧提取算法[9-10]。

2.4.1 视频图像灰度化处理算法

视频图像灰度化是指将彩色视频图像转变成灰度图像，其作用是提高图像质量。处理方法有三种，具体如下：

最大值法：

平均值法：

加权平均法：

式中，R(i，j)、G(i，j)、B(i，j)分别是图像在点(i，j)处的像素值。

2.4.2 镜头边界检测算法

镜头边界检测是指检测出一段视频片段中发生镜头切换的图像帧，这是进行后续关键帧提取的前提和基础。具体过程如图2所示。

图2 镜头边界检测算法流程

2.4.3 关键帧提取算法

基于上述提取出来的镜头边界，进行关键帧提取。关键帧是一段完整视频中的关键部分，能代表视频图像内容。本文设计的系统中关键帧提取方法是基于镜头边界特征的提取方法。该方法包括两个部分，即图像边界特征提取以及融合；关键帧提取。

(1) 图像边界特征提取以及融合

镜头边界上蕴含了丰富的特征信息，透过这些信息可以较为快速发现关键帧的存在。图像边界上的特征包括颜色、纹理以及形状等。以往采用的关键帧提取大多数都是以单一特征为依据的。而单一的图像特征并不能很准确的描述视频内容，因此导致后续提取出来的关键帧出现漏检和错检现象[11]。为解决这种情况，在这里引入权重理论进行颜色、纹理以及形状三种特征融合，即按照需要给不同的特征向量分配合适的权值。这种方式将整体特征和局部特征以相同的分量进行组合，同时又能突出局部目标形状特征的重要性。

(2) 关键帧提取

将上述得到的多特征组合作为视觉特征，然后利用聚类算法对视频帧进行分类，最后选取每个帧类簇中最具代表性的帧作为关键帧[12]。具体过程如下：

步骤1：输入视频图像帧序列；

步骤2：计算相邻图像帧之间的距离和阈值；

步骤3：选择视频图像帧的第一帧为第一类；

步骤4：计算第一帧与相邻第二帧之间的距离，并与阈值相比较。当距离值大于阈值，建立新的类簇Wk；当距离值小于阈值，则将该帧图像划分到Wk-1当中。

步骤5：判断当前是否满足迭代条件。满足，则进入下一步；不满足则回到步骤4；

步骤6：完成视频帧的分类。

步骤7：在每一个类簇中选取最具代表的帧作为关键帧。选取距类中所有帧的目标重心位置的平均值最近的那一帧作为关键帧。

步骤8：视频关键帧提取完成。

3 系统实现与测试

系统设计完成后，为测试本系统提取性能，进行系统测试。系统测试环境如表2所示。

表2 系统测试环境

3.1 实验样本

录制一段芭蕾舞动作视频，在该视频中有6 个关键动作，为保证实验条件的真实性，动作由重复6次，同样的动作内容，组成不同的动作序列。具体如表3所示。

表3 芭蕾舞动作描述

3.2 镜头边界检测

图3 镜头边界检测选项设置

图4 镜头边界检测结果示例图

3.3 关键帧提取

图5 关键帧提取示例图

3.4 结果分析

应用本系统对录制的一段芭蕾舞动作视频进行关键帧提取，然后统计结果，结果如表4所示。

表4 系统应用结果

从表4中可以看出，在本系统应用下得到的关键帧提取结果与实际结果完全一致，证明了本系统的有效性。

4 结束语

综上所述，舞蹈是现代年轻人锻炼的首选，不仅能够锻炼身体，还能够减肥塑性。然而，快节奏的生活和工作，使得人们很难挤出时间参加培训班，因此通过网络上教学示范进行学习成为当下的主流，然而在学习中，学习者很难准确掌握关键动作。为此，为帮助舞蹈者进行标准的舞蹈动作学习，本文设计一个基于多特征融合的高动态舞蹈视频关键帧提取系统。该系统经测试，证明了其有效性。然而，由于时间等因素限制，所做的工作有限。在实验部分，是在理想的环境下录制的舞蹈视频，因此图像质量较高，提取出来的结果较好。然而，在现实环境中，受到各种环境影响，录制的舞蹈视频质量并不好，可能会对关键帧提取结果造成影响。