违规音视频节目自动识别功能的实现过程

何丽媛

内蒙古自治区新闻出版广电局监管中心 内蒙古 呼和浩特市 010050

引言

违规音视频节目的自动识别，主要通过内容分析系统来实现。内容分析系统由特征提取模块、数据索引模块、自动排重模块、自动摘要模、有害内容识别与归类模块几部分构成。

1 特征提取模块

特征提取模块的作用是将含有音视频节目的网页进行信息数据分析，过滤掉次要信息，精确提取出重要信息并保存起来。重要信息主要指文本特征、音频底层特征、视频底层特征等。之后再将所有重要信息合并成一个特征库，系统以这个特征库为依据对违规音视频节目进行检索和分析。

文本特征提取：音视频节目内容的文本特征大致可分为两类，第一类是包含在音视频网页内的文本信息，主要有元信息特征、节目关键字和节目描述文本特征等；第二类则是音视频节目自身所包含的文本信息，即系统从音视频节目中自动识别出的文本信息。这些信息并不能直接用作数据分析，必须从这些繁杂的文本信息中将文本内容的摘要信息抽取出来，才可以使用。

音频特征提取：为有效提高违规音频节目的自动识别准确率，在对音频文件进行分析时，我们无需将音频节目的所有信息都进行提取。而是需要将“无用信息”剔除掉，只保留一些“有用信息”，即一些有用的音频特征来建立“音频底层特征池”。这些构成特征池的“有用信息”包括短时能量、过零率、语谱图亮度以及梅尔尺度倒谱特征等信息。

视频特征提取：抽取视频节目的特征是一个非常复杂的过程，相较于文本特征提取和音频特征提取需要大量的数据运算才可以实现，为了节省运算成本，需要利用一定的“技巧”。经常看视频节目我们会发现，在某一段时间内，视频节目所呈现的画面只有微小的变化，例如人物在讲话的过程中只有嘴部在动这样的情况。因此，在面对变化不大的连续画面帧时，可以只提取出几个关键帧来进行后续处理。视频特征提取模块的基本流程如图1 所示。

图1 视频特征提取流程图

2 数据索引模块

数据索引模块的作用是在系统提取的底层特征之上建立一个高维索引，以便后续的检索工作。在数据检索过程中，少量的图像和视频数据可以简单进行搜索。但对于大量的数据就必须建立高维索引才可以进行检索，形象点说就是给数据建立一个目录，想看哪些内容，就只直接翻到那些页，这样就可以大大提高数据检索的效率。

通常最理想的数据检索是将查询点所对应的近邻点都安排在相近的磁盘位置上，这样数据检索的效率最高。然而这种情况只适用于维度较低的时候，在高维大规模情况下，会非常耗费时间，成本很高。所以，在高维情况下，一般采用近似近邻算法来提高搜索效率。

近似近邻算法将数据根据距离划分成不同的块，这样就缩小了搜索空间，从而达到提高搜索效率的目的。但是，当需要查询的点刚好位于两个区块的边界时，就会出现一个边界问题，导致查询的结果可能有出入。此时就需要同时读取共享边界的数据块，才能保证查询的准确度。

3 自动排重模块

图2 基于视觉特征的音视频节目流程图

要实现音视频节目的自动排重，首先需要将音频中的一些特征提取出来，可以利用“音频指纹技术”来实现。音频指纹就像人类的指纹一样是独一无二的。而音频指纹技术是指“通过特定的算法将一段音频中独一无二的数字特征以标识符的形式提取出来，用于识别海量的声音样本或跟踪定位样本在数据库中的位置。”该技术最早应用于音乐领域，利用该技术，用户只需通过一段旋律就可以找到相应的歌曲，大大节约了查找时间。随着技术的不断发展，目前音频指纹技术也被广泛的应用于音频节目的自动排重中，同时也被运用于视频节目的排重中，不同点是视频节目的排重是借助视频节目的伴音来实现的。

视频特征的音视频节目自动排重，需要根据自动排重的任务描述来进行排重。通过自动排重，我们可以确定不同的节目是否在在节目级别上出现了重复。而在节目内部，一些非镜头或者是较短片断的重复，则不需要在节目内部寻找匹配片断。具体排重流程如图2所示。

4 自动摘要模块

我们在互联网观看视频节目的过程中，需要快进或回放时，发现当光标点到进度条的某些位置时，会出现一个图片摘要，概括的展示了当前片段的大致内容。这项技术，就是通过自动摘要技术来实现的。其作用是自动生成音视频节目的文本和图片摘要，并将图片和它对应视频片对应起来。用户点击图片，系统就可以快速定位到需要查看的镜头，这样用户只需点击摘要图片，就可以大致了解视频内容，无需整段观看，从而节约了大量时间。

5 有害内容识别与归类模块

该模块的作用是将音频、视频节目的文本摘要和特征信息与预先设置好的特征库进行比较，从而将违规的有害音频和视频节目识别出来。然后再根据指定的程序机密性级别，对识别出的有害内容进行自动分类。

结 束 语

在自动识别违规音视频节目的过程中，内容分析系统还可以设置一些不同参数，自动识别出近期发生的热点话题和敏感话题。通过大量的数据分析，实现对这些热点话题和敏感话题的实时跟踪，方便对这些话题的时间和地点特征进行统计分析。还可以将自动识别出的违规音视频节目进行归类，从而实现对舆情的分析。