基于内容的视频分类技术研究

□万玉萍 杨 玲

在通信与互联网普及的今天，数字视频在网络上的传播更加容易，在全世界范围内形成了海量的数据库。面对这些海量的视频信息，如何对它进行有效地组织、管理、分类以及检索，近年来已经成为国内外众多学者研究的主要热点之一，也是极具挑战性的研究课题。

现有视频分类的主流解决方案分析

目前，视频分类的主流解决思路是采用基于视频内容的处理和检索，主要通过以下两类方式实现：

一、部分区域固定特征监测方式。即通过逐帧的分析视频图像，定位图像中需要查询的相关特征，根据此特征的匹配程度，确定图形和视频是否属于暴恐视频。此类方法的代表性处理手段有：匹配暴恐组织旗帜或台标，匹配服饰特征，匹配特定性人物等。通常要实现此类方法，需要采用人脸识别、纹理识别、相似度计算等方法。

该方式的缺点是由于过度依赖固定特征和固定区域，当暴恐视频内容发生变化时，难以有效区分。具体而言，在采用一些暴恐组织的旗帜、台标等特定特征进行识别时，对于基于该类组织的暴视频的识别效果会比较好。然而一旦出现新的暴恐组织或者该组织改用新的旗帜和台标，即这些特定特征发生变化了，新的暴恐视频就很难在该类识别算法中被分类出来。

二、图像整体特征方式。即通过图像特征提取算法，获得图像整体系统特征，通过大量数据的训练，获得分类器模型，利用此分类器模型实现对后续的图像视频的分类识别。此类方法中采用的图像特征提取算法通常有：SIFT 算法、灰度共生矩阵法、傅里叶功率谱法等。

该方式的缺点是由于采用的是固定特征提取算法，当视频中掺杂了干扰数据后，此类算法将会获得大量带噪音的特征，极大降低分类的效果。尤其在海量数据下，难以适应特定需求。具体而言，在采用一些现成的暴恐视频比如暴恐组织进行教授爆炸物制作方法的视频进行整体特征提取后，一旦遇到跟此特征比较相似行为的视频（如影视剧中相似的情节，甚至是动画片中有类似的情节）等，都可能会被归类为暴恐而被识别出来，导致分类效果大打折扣。

深度网络特征的视频分类技术

通过对现有视频分类技术深入分析，现在出现了基于内容的深度网络特征的视频分类技术，该技术分为线下训练和线上预测两大部分。

线下训练部分：用户提供同时包含敏感视频和正常视频的训练数据。该技术从这些训练数据中提取视频帧并利用深度人工神经网络从中抽取能够表示视频内容的视觉特征。深度神经网络在一定程度上模仿了人脑对于外在世界的从粗到细的视觉感知过程。因此，较传统经验设计的诸如颜色、纹理、SIFT 直方图等特征，基于深度网络得到的视觉特征能够在多个粒度上更有效地描述视频内容。因此该种特征特别适用于分析含有复杂内容的视频数据。再进一步通过结合后续的有监督学习，该描述能够自动识别区分暴恐视频与正常视频的视觉模式。该技术与其他视频检索分类算法相比，其优势在于识别过程不依赖于人为指定的特征库，比如特定台标、旗帜等，这就使得该技术对于未知暴恐视频有更好的适应性。

分类器训练模块主要是建立用于区分敏感视频和正常视频的决策模型。考虑到训练数据量很大，且正负样本分布极不平衡，即敏感视频相对只占极少部分。因此，传统的分类器训练方法在此场景下并不适用。为此，设计了一种基于迭代集成学习的训练算法，即通过多次加权采样，解决大数据量和样本分布不平衡问题——绵羊sheep。该技术通过多轮迭代，自动从海量数据中找到最容易被错分为sheep的训练样本。将这些样本加到线下训练部分，可提高视频分类技术的判别能力。

线上预测部分：未知视频数据。同样调用特征提取模块从中抽取视频特征，然后利用已训练好的决策模型对它们进行预测，并返回可能性最大的视频供人工检验。在保证100%召回率（把所有目标视频都找到）的前提下，该技术能够有效排除大量正常视频，从而极大提高人工检索的效率。

将一组（10 个）暴恐测试视频的视频帧集随机掺入一个包含120 万张网络图片的数据集中，技术对所有图像、视频进行打分并排序，检查需要查看多少张图片，才能完全找到这10 个暴恐视频(检测准确率)。

这10 个暴恐视频，在技术打分排序后的位置分别为：第1，24，28，35，69，90，121，123，125，135 处。也就是说要完全确定这10 个暴恐视频，只需要人工查看前135 个预测结果即可，检测准确率为：10/135=7%

在上述实验中，针对模糊暴恐视频如何提高技术的识别分类能力。采用增加训练集合样例的方式，重新训练模型。让技术识别能力得到进一步提升。为个别类型的视频，建立单独的分类器，从而更精确区分特殊视频。利用音频处理技术，实现对特定暴恐声音分类，辅助于图像的分类技术，将会进一步提高视频的检测准确率。