短视频不良内容智能检测平台研究与设计

周利红 张军军 常孔帅

摘  要： 研究并设计了一个面向短视频不良内容的实时检测平台。该平台研究的核心在于分层筛选系统，通过基于短视频外围核心参数构建的深度学习筛选模型完成海量筛选，再将检测出的可疑不良短视频传递给基于深度学习的短视频内容识别引擎进行重点甄别，提出融合自然语言处理、计算机视觉、语音识别、机器学习等的短视频智能实时检测平台框架。

关键词： 短视频; 不良内容; 智能检测; 分层筛选

Abstract： A platform for real-time short video bad content detecting is designed. The core of the research on the platform is a hierarchical screening system. A large-scale screening is performed through a deep learning screening model constructed based on the peripheral core parameters of short video， and the detected suspicious bad short videos are passed to the deep learning based short video content recognition engine for key screening. Thus a short video intelligent real-time detection platform framework， which incorporates natural language processing， computer vision， speech recognition， and machine learning， is put forward.

0 引言

随着移动互联网应用的飞速发展与普及，提供人类学习和娱乐的短视频应用也应运而生，如抖音等APP已进入到千家万户[1]。与此同时，网络诈骗、庸俗、反动等不良信息也随之而来毒害广大网民[2]。由于短视频用户网络素养和科学认知能力受限，尤其是青少年用户面临的威胁更加严重[3]。因此，从技术上架构短视频不良内容的智能检测平台已迫在眉睫，利用人工智能、云计算、大数据等创新技术，可让短视频网络清朗起来[4，5]。

1 平台整体框架

本平台的总体框架如图1所示，分步骤实现短视频不良内容的智能检测。

首先，构建一个统一的短视频及外围核心参数信息采集接口，将采集到的短视频及外围核心参数处理为统一格式，将海量短视频相关数据投入到深度短视频外围数据智能分析引擎。

然后，通过深度短视频外围数据智能分析引擎中的外围数据文本检测子系统检测外围参数中的文本部分，结合基于短视频外围参数构建的深度学习筛选模型进行分类检测，完成海量筛查。将检出的可疑不良视频传递给深度智能短视频检测分析引擎。

再后，深度智能短视频检测分析引擎通过音频提取识别检测子系统及关键帧图像检测子系统分别对可疑不良短视频提取的音频数据及关键帧图像检测，再结合深度学习模型做最终甄别确认。

最后，将检测所得结果做可视化展示，方便人工交互操作。前期可将判定结果交给人工做辅助判定，通过增强学习，进一步矫正系统，提升正确率。

2 平台实施方案

如图2所示，短视频不良内容智能检测平台由数据获取模块、短视频外围数据检测模块、短视频内容检测模块和服务模块构成。

⑴ 数据获取模块

对采集到的各种途径、各种形式的短视频及外围核心参数数据进行统一预处理，格式化数据，方便存储及后续调用。

⑵ 数据存储模块

数据存储模块基于开源Hadoop架构，并结合Kafka Streaming实现针对对外服务接口的流式实时数据匹配和数据分析处理，通过针对整个系统的各个子系统之间构建可靠的用于传输实时数据的管道，实现对流数据的分析和处理，极大提升系统的利用率，实现对互联网不良内容的智能识别实时处理。

⑶ 数据可视化模块

通过将数据与设计艺术进行融合，提供专业、美观、大气的大数据可视化展示界面，有利于非技术人员对数据进行理解，帮助专业数据分析人员快速了解数据和数据之间的关系。

⑷ 短视频外围数据检测模块

构建短视频外围参数检测分析引擎，实现短视频外围数据文本检测子系统及短视频外围核心参数检测子系统，以高效完成海量数据筛选。

⑸ 短视频内容检测模块

构建高内聚、低耦合的深度智能内容检测分析引擎，实现音频提取识别检测子系统及关键帧图像检测子系统，基于多模态数据融合做最终甄别确认。每个检测子系统独立部署，并基于云服务器实現实时的检测性能扩展，以应对突发的用户需求提升的情况。

⑹ 服务模块

服务模块构建统一的对外服务，以Web Service接口的形式对外提供接口服务，或直接输出本地检测客户端，通过本地检测客户端中的数据进行高速匹配形成缓冲，提升服务的实时性。

3 平台关键技术

短视频不良内容检测平台关键技术研究路线如图3所示，具体包括以下内容。

⑴ 短视频相关数据处理

短视频相关数据处理包括短视频外围核心数据处理，可疑短视频音频提取识别和可疑短视频关键帧提取识别，这些原始数据类型难以直接被用于不良内容识别，需要对其进行预处理。主要包括将不同格式的短视频外围核心数据处理为统一格式数据;对被短视频外围数据检测分析引擎标记为可疑不良短视频，需要通过语音识别技术，将短视频提取的音频数据转换为文档数据，通过关键帧抽取技术将短视频数据转化为图像数据。

⑵ 基于深度学习的短视频数据特征抽取

对短视频数据进行预处理之后，可得到文档数据和图像数据，需要从中计算出对互联网内容具有较强表征能力的特征，以支持互联网不良内容识别模型的训练。

⑶ 基于单模态数据的短视频不良内容识别

对短视频外围核心数据及短视频数据进行预处理之后，得到的文档数据和图像数据中均有可能包含不良内容，分别基于自然语言处理技术和计算机视觉技术对其进行分析。

⑷ 基于多模态数据融合的互联网不良内容识别

基于短视频内容分析同时涉及文档数据和图像数据（音频转换得到的文档和短视频转换得到的图像）。对这些多源异构数据进行融合，可进一步提高识别模型的准确度。通过特征层融合方法、模型层融合方法和模型训练方法三个方面加以实现。

⑸ 大数据可视化

可视化技术是通过将数据表示为可视化图形，并允许用户以可交互的方式对数据进行浏览和操作。互联网原始数据（如网页、视频）可直接进行可视化，因此主要研究空间数据、文本数据、网络数据和多维数据的可视化方法。

4 結束语

本文提出了一个面向短视频不良内容的智能检测平台框架设计方案，主要利用视频播放日志等外围核心数据的采集与大数据存储和处理技术，再融合视频、音频、文本等智能分析模型，实现面向不良内容监控的高效、快速、可扩展、可视化的智能检测模块，为同类项目创新设计及工程实现提供了有价值的参考。

下一步的研究工作可针对不良内容的语义模型，研究构建面向短视频不良内容的知识图谱，提高智能检测模型精度，尤其可为基于社会舆情监控的短视频处理提供参考。

参考文献（References）：

[1] 刘鹏飞.短视频与直播行业发展趋势观察[J].网络传播，2018.4.

[2] 武志强.网络短视频治理工作刻不容缓[J].中国报业，2019.4：20-21

[3] 雷雳.莫让不良短视频污染青年学生[J].人民论坛，2018.32：106-107

[4] 吕云玲，井佩光.短视频内容智能分析技术[J].电视技术，2019.5.

[5] 邓平，郑鸿，罗冰峰.基于卷积神经网络的视频大数据智能预警分析[J].四川电力技术，2019.4：49-53