云计算的视频处理技术研究及其应用

陈 雁，卿济民，刘春秋



云计算的视频处理技术研究及其应用

陈 雁，卿济民，刘春秋

（深圳市赛为智能股份有限公司，广东 深圳 518000）

视频监控领域技术的发展为人们的生活提供了安全保证，使人们更加放心的生活。视频监控中视频处理非常重要，同时相关技术在视频处理上能够提供很大的帮助，但随着大量视频监控设备的运用，人为处理视频的技术存在很大的不足，效率非常低。而云计算具有每秒十亿次的运算能力，所以云计算视频处理技术能够有效提升视频处理效率。本文结合视频智能处理技术经验对云计算视频处理技术的应用进行分析。

云计算；视频处理技术；视频监控；视频处理效率

0 引言

互联网的出现使人们的生活发生了翻天覆地的变化，其中以互联网为基础的云计算对信息时代的影响更加巨大。人们生活中的视频监控设施大量增加，这对人们的安全提供了有利保障，而且视频可以对不法分子进行有力打击。但是视频产生的数据量巨大，并且需要人员对监控进行观察以便及时发现紧急状况能够第一时间采取措施。但是这方面的处理并非易事，视频数据的存储、分析对工作人员的挑战巨大。将云计算与视频处理相结合，这样能够使视频处理更加方便。另外视频处理也可投入到道路建设上，对于视频处理领域将产生深远影响。

1 智能监控技术

云计算与视频监控的结合可实现智能监控，而智能监控解决了视频监控大量人力资源的需求，能够提高监控效率。相较于传统监控方式，智能监控方式具有很大的优势，分析能力强、视频信息的筛选效率高、处理能力高而且没有疲劳等等。对于突发状况可以第一时间采取措施，该技术由以下几种技术构成见图1。

1.1 智能分析技术

智能分析技术能够有效提升视频数据的分析能力，这种技术是以监控网络为基础，然后根据一些方法来进行分析，主要有图像处理方法、计算机视觉、模式识别方法等[1]。该技术可以解决很多方面的问题，这样能够提高工作效率。比如（1）当监控设备出现问题即某个摄像头出现故障无法正常进行工作，智能分析技术能够进行故障报错，方便进行维护工作。（2）网络传输有所限制，在智能分析技术中运用了压缩编码技术，这样能够减缓、减少甚至杜绝出现网络堵塞的情况，一定程度上压缩了网络流量，使网络传输的负担减轻。（3）因为视频监控会出现很多的干扰信息，这对于图像采集产生影响。智能分析技术中的图像处理可以解决这一问题，对图像进行初步处理，去除光照、噪声等。这些方便了进行识别，相当于信息的筛选。（4）对一些连续运动的物体进行视觉识别，将其定位目标对其运动轨迹进行记录，这为之后的识别提供了依据。 （5）将目标分类，对于将物体进行区分十分重要，这样也能高效地对目标进行分析。（6）将网络信息进行分析处理，结合软件，主要是进行多种技术的集成，这对于目标的识别分析有着重大帮助。

图1 传统视频与智能视频的不同监控方式

1.2 视频检索浓缩技术

通过对视频数据检索，对图像进行分析，这是目标分析、识别中非常重要的一种技术。检测方法数据有镜头边界检测，提取图像特征与关键帧，这样进行检索，更加合理准确。图像的提取分析中需要对运动目标进行处理，涉及到运动轨迹估计、将目标进行分割等等，这些处理的出发点就是浓缩技术。该技术的进行可分为以下几大部分，（1）边界检测，这通过镜头中帧数的变化对目标进行分析。（2）关键帧提取，这种方法能够对信息中的关键帧进行选择，然后在进行筛选，最终得到真正关键帧。（3）特征表示，对于大量的视频数据可以采用视频数据特征表征，当然需要保证其能够表达视频内容然后再去研究衡量方法，再进行验证。（4）分布式处理方法，是在满足视频特征表示上对高效提高处理效率和进行合理的计算资源利用。（5）构建系统，以图像的色彩、纹理等的形状为索引，对目标图像的距离进行计算，可以通过相似度来劲信息港检索，这样可以解决图像数据系统中对信息进行手工标注的缺点。

2 智能视频处理的关键技术

智能视频处理关键技术中涉及到多个重要方面，首先是运动目标分析。对于运动目标，需要对其背景进行处理，这涉及到很多的方法，其中有帧差法、背景相减法以及光流法[2]。这些方法在背景变化的情况下能够更新并适合当前情景。这需要建立背景模型，背景模型的建立是分析中的难点、重点。背景模型建立成功能对运动目标分割的完整性有着密切联系，保证其完整性。然后是目标追踪。该项属于分析中的核心，当前的卡尔曼、粒子滤波等都是跟踪技术，能够进行匹配跟踪，或在目标部分被遮挡的情况下能够对运动目标进行跟踪，而且在行为分析上非常重要。目标分类，智能视频处理自然需要对研究物体进行分析，这样就需要对目标进行分类，比如可分为车、人、动物等等。另外在区分上，可以考虑目标的整体结构或者部分结构，这样的方式对于进行目标分类非常有利。行为分析。当前智能视频分析进行入侵、绊线、徘徊等应用，这是在完成目标轨迹跟踪的基础上进行。之后需要设定规则，对其运动轨迹进行判断，以此分析是否异常。关键帧提取方法。首先根据信息上的熵差确定最佳聚类数，这样将最大帧图像作为可选取关键帧，对这些进行融合去除，最终得到真正的关键帧。然后面向检索特征进行提取分配，当前的特征检索的信息提取受到多媒体的特征的影响，比如图像的颜色、形状以及纹理等。智能视频处理技术关系到运动形状的分析，运动轨迹的分析等等，这些运动的特征需要建立一定的模型，一般存在两大问题，其中这些问题关系到过程查询和特征含义。在查询上的问题主要是不直观，没有宏观的概念。然后是特征，语义上的缺乏，其检测结果不会达到用户期望水平，这些都和用户对系统上的期望有着很大的差距。视频库组织索引，对于多媒体上的信息而言，这些都是非结构化的，需要对其进行整理这样能够实现高效的利用。

3 智能视频分析技术

3.1 运动目标的检测提取

在视频分析技术中目标检测属于基础步骤，这是为目标的提取所做的准备工作，可提取出有用目标。通常情况下目标的检测受到很多因素的影响，这造成检测准确度和效率降低[3]。涉及因素有光照变化、运动目标动作变化、运动背景干扰等等。检测的最终结果就是得到目标的颜色、大小以及位置等信息。目标检测一般根据场景图像变化进行，这样能够发现运动目标，一旦场景出现变化则运动目标出现。然后进行目标的提取，出现运动目标则需要对其中的各种信息进行提取，这能够为后期的分析提供有效信息。目标提取一般涉及到三种方法，首先是光流法，即在亮度保持的情况下进行目标检测，其中像素点亮的运动速度称作光流。计算得到的光流度可对目标进行检测。帧间差分法，这是一种运用广泛的目标检测算法，这种方法多为对视频中的相邻帧进行查分，从差值中得到像素点，这些是差值大的点，这些被称作前景像素点。但是这种方法用于高实时性、监控场景中，优点是速度快。因目标运动会在帧中改变位置，然后体现灰度值的变化，这样变化容易观察。背景差分法，与不包含目标背景图像进行查分，这样能够找出是否出现帧的变化，从而确定目标是否进行运动，这方便目标对象的提取。

3.2 运动目标分类

对运动目标进行分类可以更有效地研究运动目标对于之后的运动目标的追踪有着一定的帮助。其中需要对运动目标的各种特征进行提取，是运动目标提取的进一步处理。其中涉及到运动目标的颜色、形状等。这能够实现高精度的目标跟踪[4]。

3.3 运动目标的跟踪

将运动目标提取是为了方便跟踪工作的进行，这是重要的一个过程。通过卡尔曼滤波、或者粒子滤波等进行运动目标的跟踪，这样能够实现有效跟踪，这方便了目标行为分析。

3.4 防碰撞技术

智能视频处理可以实现列车防碰撞，这种技术按三位重建、运动目标检测、跟踪、分析等几部分构成。首先进行目标特征点的提取，然后进行三维建模，计算列车运动轨迹、速度等参数，接着分析是否发生碰撞。智能视频处理的应用在列车运动轨迹上有着重要的作用[5-6]。

3.5 遗留物检测

智能视频处理需要进行遗留物的检测，一种是基于跟踪方法的遗留物检测，还有基于检测的遗留物检测算法。

（1）基于跟踪方法的遗留物检测算法

该算法是将监控场景中的运动物体跟踪记录，然后记录相关信息，这些信息有运动物体的速度、轨迹等。通过遗留物的检测算法进行检测。在跟踪方法上有特征跟踪、运动特性跟踪、区域跟踪以及轮廓跟踪等等[7]。

（2）基于检测的遗留物检测算法

该项算法主要是检测不存在或者长时间静止之后运动的物体，然后在不同帧的图像中进行分析查找，将可疑物体进行算法检测判断。

除了这些算法之外还有比如基于语句检测算法，该方法把遗留物体看成事件，然后找出符合该事件的算法，实现遗留物的检测，这种方法可对多个目标进行分析。

4 视频检索技术

4.1 镜头检测方法

这种方法为以直方图镜头检测为基础的检测方法，首先进行边界的检测，这需要利用灰度直方图的比较来检测边界或者使用颜色直方图的比较来检测边界。这种方法使检测的精度与速度都有所 保证[8]。

代表人检测方法检测过程 Michael D.Beyno等人跟踪遗留物检测算法建立视频分割、对象关联、对象分类和三维模块构成的目标跟踪模型 Smith等人跟踪遗留物检测算法第一步：利用变维马尔可夫链蒙特卡洛法跟踪可疑物体，第二步：利用第一步的跟踪结果判定可疑物体是否为遗留物。 Ferrando等人跟踪遗留物检测算法背景更新依据高层的反馈结果，不对可疑物体部分的背景图像进行更新。另外，在特征提取阶段提取了位置和颜色信息，用来进行目标跟踪。 F. Porikli等人基于检测的遗留物检测算法为每个像素点建立独立的长周期模型和短周期高斯模型。通过把一帧图像与这两模型比较，得出两个前景掩码：长时间前景掩码表示了场景中颜色、阴影和光照的变化。短周期前景掩码包括了运动物体和噪音等。 Y.Tian等人基于检测的遗留物检测算法运用混合高斯模型检测出监控场景中的运动物体和静止物体。后来进行的多方面的改进使得该算法可以较好的应对阴影和光照变化带来的问题。

4.2 关键帧的提取方法

对视频内容进行检索，找出主要内容作为关键帧，然后分析视频随时间变化情况，确定关键帧数目，最后抽取关键帧。与上面提到的方法类似。

4.3 图像特征提取方法

该过程需要对镜头的特征进行提取，然后建立视频索引，提取镜头颜色、文理等等。这是食品聚类和检索的依据。

5 基于海量视频的浓缩技术

该技术研究包括视频的视觉特征表示、基于视觉特征的相似度计算以及大规模视频数据处理等视频检索系统中的关键技术和问题，主要的研究内容可以分为以下几个技术部分:

5.1 分布式处理

针对海量视频数据的相似度计算问题，研究能够满足应用要求的分布式计算和处理框架，在视频的特征表示基础上，研究如何通过分布式的方法有效提高处理的效率和合理的利用计算资源。着重以Hadoop计算框架为基础，在此平台上提出相关的算法和框架[9]。

5.2 系统构建

根据图像的色彩、纹理、图像对象的形状以及它们的空间关系等内容特征作为图像的索引，计算查询图像和目标图像的相似距离，按照相似度匹配进行检索，其目的是试图解决图像数据库系统中手工建立文本标注信息的缺点。

6 视频存储与转码技术

6.1 海量视频存储与转码系统分析

视频数据的分布式存储，实现了分布式的转码功能，对海量的视频数据进行转码分析处理，提高了转码的性能。分布式冗余存储釆用HDFS实现，在流媒体服务器上实现了数据的接收，实现了海量视频数据在HDFS上的分布式冗余备份存储。分布式转码釆用Hadoop的MapReduce分布式计算框架实现，设计了流媒体数据读取模块，以及基于ffinpeg的分布式转码模块，最终实现了对流媒体数据的分析转码处理，利用MapReduce的并行计算能力，显著提升了转码的效率，同时也让用户获得了可以通过使用普通播放器就能观看录像回放的视频数据[10-11]。

6.2 海量视频存储与转码系统以及管理平台的整体架构设计

存储在HDFS上的数据格式是H.264，而用户的普通播放器是无法实现直接播放。因此，将存储在HDFS上的H.264文件进行基于ffinpeg的分布式转码提升了转码的效率。要实现流媒体数据在HDFS上存储，就需要在媒体分发服务器处，将传输到用户的数据按刷新速率进行临时保存，而且是H.264数据，媒体分发服务器上所做的工作就是将设备传输过来视频数据文件将按照一定的目录格式进行临时存放，最后由媒体分发服务器上的DFSClient程序将文件上传到HDFS集群，实现海量视频数据的分布式存储[12]。这个集群由节点服务器组成，NameNode是这个集群的主节点，负责存放文件的元数据，数据节点服务器H是所描述的一系列DataNode节点，是真正存放数据的节点群，在这些节点上面实现了数据的冗余备份存储[13]。DFSClient是HDFS的客户端，在本系统中有两种类型的DFSClient，第一个是流媒体转发服务器D，它负责接收流媒体数据，完成H.264数据帕的复原，同时将H.264文件上传到HDFS集群。

7 结论

云计算的视频处理有着非常重要的意义，而且这对于以往的模式来说效率上有了很大的提升。通过以上技术的处理能够实现智能视频处理，这是云计算的深度发展。而且当前我国道路方面建设可以加入视频监控方法，这样对于减少道路事故、提高轨道交通效率有着深远意义的影响。

[1] 许彬, 张海涛, 胡豆豆. 云计算平台中监控视频摘要任务调度方法研究[J]. 计算机应用与软件, 2017, 34(7): 7-10.

[2] 姚楠, 余劲. 基于云计算方法的电力视频故障及状态智能检测技术研究[J]. 华东电力, 2013, 41(12): 2494-2497.

[3] 包盛, 段保通, 邵锋军. 三网融合下基于云计算的实时转码技术研究和应用[J]. 电信科学, 2011, 27(3): 12-16.

[4] 王东利. 云计算在船舶网络视频监控系统中的应用研究[J]. 舰船科学技术, 2016(22): 151-153.

[5] 王传连, 张宗朔. 基于私有云的大规模交通视频处理框架设计[J]. 计算机工程与应用, 2017, 53(21): 254-257.

[6] 陈旭文, 黄英铭. 海量视频点播系统的云计算技术与建模实现[J]. 现代电子技术, 2013(14): 10-12.

[7] 陈利佳, 李刚荣, 汪鹏. 云计算在媒体资源系统视频应用中的研究[J]. 中国数字医学, 2013(9): 7-9.

[8] 李炜, 马乐, 孙向聚. 基于云计算技术的会议系统在电力通信中的应用[J]. 自动化与仪器仪表, 2017(11): 118-119.

[9] 刘文慧, 王喆. 基于云计算的温室视频监控系统设计与实现[J]. 电子技术应用, 2015, 41(6): 139-142.

[10] Mustafa R, Zhu D. An Investigation into Content Based Video processing in Cloud Computing Paradigm[C]// Int'l Conf. Ip, Comp. Vision, and Pattern Recognition | Ipcv. 2013.

[11] Rosenzweig J J, Blackman S S, Lewis B G. Heterogeneous video processing using private or public cloud computing resources[J]. 2018.

[12] 张艺. 基于WebSocket的即时通信系统研究与实现[J]. 软件, 2015, 36(03): 89-94.

[13] 张晓诺. 基于Android的智能家居环境监测系统APP设计与实现[J]. 软件, 2015, 36(02): 77-79.

Research and Application of Cloud Computing Video Processing Technology

CHEN Yan, QIN Ji-min, LIU Chun-qiu

(Shenzhen Saiwei Intelligent Co., Ltd., Shenzhen, Guangdong 518000)

The development of video monitoring technology provides security guarantee for people's life and makes people more comfortable. Video processing is very important in video monitoring, and related technologies can be of great help in video processing. However, with the application of a large number of video monitoring equipment, the technology of dealing with video artificially has a great deficiency. The efficiency is very low. Cloud computing is capable of billions of operations per second, so cloud computing video processing technology can effectively improve video processing efficiency. This paper combines video intelligent processing technology experience to analyze the application of cloud computing video processing technology.

Cloud computing; Video processing technology; Video monitoring; Video efficiency

TB565+.4

A

10.3969/j.issn.1003-6970.2018.10.011

本研究为2015年技术开发项目“基于海量视频数据的视频监控应用系统”成果之一（项目编号：CXZZ20150402115235001）

陈雁(1975-)，高级工程师，博士，研究方向：计算机视觉、人脸识别、智能视频监控；卿济民(1963-)，高级工程师，博士，国家一级注册建造师，研究方向：轨道交通、节能领域、人工智能、神经网络技术；刘春秋(1983-)，信息系统集成项目管理中级工程师，一级建造师，研究方向：视频分析，人脸识别。

陈雁，卿济民，刘春秋. 云计算的视频处理技术研究及其应用[J]. 软件，2018，39（10）：52-56