音视频重复序列检测技术在广告节目智能检测中的应用研究

随着广播电视的不断发展，广播电视行业积累了海量的多媒体数据。一方面，由于缺乏有效的电视节目结构信息和内容标注，人们很难从大量的广播电视多媒体数据中快速准确的查找到需要的信息。另一方面，国家广电相关监管部门关注广告播出的内容是否合法，播出的时间、形式是否合规。国家广电总局针对广告的播出情况有较多的条文进行规范，例如《17号令》、《61号令》、《72号文》、《39号文》等。

因此，现在亟需研究针对广播电视多媒体数据的分析技术，以辅助人们方便地对广播电视数据进行管理。本文以广播电视数据为研究对象，以广播电视中的广告节目智能检测为立足点，深入研究了重复序列检测技术。

由于广播电视中的广告节目具有在当天或多天内多次滚动播出的特点，因此在全天或多天的广播电视中存在重复播出的特征，本文正是基于上述特点，采用了一种鲁棒的在广播电视流中检测重复序列的方法，并与传统的音视频模板匹配技术相结合，提升了广告节目智能检测的查全率。

图1

如图1中所示，该方法首先采用传统的音视频模板匹配技术，根据已有的广告模板在全天的广播电视节目中识别已知广告节目，对于剩余的时段（空档）则采用广播电视流中检测重复序列的方法，主动发现多次重复播出的音视频片段，结合广告5秒、10秒、15秒、30秒的时长特征，智能判别为疑似的广告节目，最后由人工审核确认是否为广告节目，从而在传统的采用音视频模版匹配技术只能够发现已知广告的基础上，实现了未知广告的智能识别，进一步提升了广告节目智能检测的查全率。

在本项目中，采用了一种鲁棒的检测重复序列的方法，首先将重复序列检测问题转化为隐马尔科夫模型（HiddenMarkovModel，HMM）中的解码问题。在这个框架中，我们明确定义待检测的目标是最长松弛连接序列，该目标将重复序列检测与相似架格中的最优路径联系起来。由于传统的解决HMM解码问题的方法维特比算法在此处不能直接适用，因此我们采用一种近似维特比的方法来检测局部最优路径。最长松弛连接序列的松弛性定义及近似维特比算法的灵活性，使得提出的算法对信号畸变具有很强的抵抗力。

然后，我们将重复序列检测算法应用于无监督的重复节目检测。在应用时，我们发现重复节目，尤其是广告节目的实际播出情况非常复杂，包括长短版本广告、连续出现广告，这些实际播出的复杂情况使得节目的重复模式也异常复杂。为了解决这个问题，我们提出了重复序列检测算法应用于重复节目检测的三个基本准则：最长重复原则、独立出现原则、等价原则。实验证明提出的准则可以很好的检测独立重复节目，其流程如图2中所示。

图2

首先，一个多媒体数据流被分割为一序列基本的单元，比如镜头、片段等。然后，每个基本的单元都提取音频或视频特征。通过计算音视频的特征的距离确定基本单元之间的相似度，从而构成基本单元之间的相似度度量矩阵。最后从相似度度量矩阵中提取重复序列。

在特征提取方面，和传统的音视频模板匹配技术中使用的特征类似，可以分为音频特征和视频特征。视频方面主要是颜色、纹理、运动等特征[1,2]；音频方面主要是一种时频域的能量峰值特征[3]，对于背景噪音比较鲁棒。但是这种特征对于结构声音（比如铃声）等比较有效，对于自然界的声音（比如开门声）效果不太好。在本文中，则同时使用了音频特征和视觉特征，首先以音频指纹特征作为第一步重复性查找的特征，然后再提取视频特征用来确认，取得了不错的检测效果。

在相似度度量方面，则采用了Herley[4]提出的降维技术降低特征维数的方法，从而提高搜索的效率。至于重复序列识别这一步，则采用将前后具有时间一致性关系的片段连接起来的方法。

总的来讲，基于上述方法，能够在传统的采用音视频模版匹配技术只能够发现已知广告的基础上，实现了未知广告的智能识别，进一步提升了广告节目智能检测的查全率；同时，采用重复序列检测技术的优点是不需要训练数据（例如训练广告音视频模板），可以无监督的进行广告节目的检测，但是缺点也很明显，即假设并不总是成立，比如，有时广告节目只播出了一次，这种广告节目就无法通过重复性检测出来。

[1]John M Gauch and Abhishek Shivadas.Identication of new commercialsusing repeated video sequence detection.In Image Processing, 2005.ICIP2005.IEEE International Conference on, volume 3,pages II{1252. IEEE,2005.

[2]John M Gauch and Abhishek Shivadas. Finding and identifying unknowncommercials using repeated video sequence detection.Computer Visionand Image Understanding, 103(1):80-88,2006.

[3]James P Ogle and Daniel PW Ellis.Fingerprinting to identify repeatedsound events in long-duration personal audio recordings.In Acoustics,Speech and Signal Processing,2007.ICASSP 2007.IEEE InternationalConference on,volume 1,pages I-233.IEEE,2007.

[4]Cormac Herley.Argos:automatically extracting repeating objects frommultimedia streams. Multimedia,IEEE Transactions on, 8(1):115-129,2006.