大数据技术在视频监控中的应用

陈 雁，卿济民，林必毅



大数据技术在视频监控中的应用

陈 雁，卿济民，林必毅

（深圳市赛为智能股份有限公司，广东 深圳 518000）

我国信息技术的发展十分迅速，在一定程度上提高了我国视频监控的水平。大数据的概念越来越为人们所知，其中大数据技术就是一种先进的信息技术，能够有效处理大数据，而视频监控会产生大量的数据信息，这些信息的处理是一项艰巨的工作，将大数据技术应用到视频监控领域将会提升工作效率。在我国的视频监控领域大数据技术已经得到了应用，这对视频监控的影响意义深远。本文基于大数据技术应用经验对视频监控中大数据技术的应用进行分析，为我国视频监控水平的提升提供了合理有效的建议。

大数据；技术；视频监控

0 引言

在我国城市的建设中大力促进、加强了视频监控的建设，视频监控的建设为人们的生活环境提供了保障依据。国务院总理李克强曾提出城市安全化的建设，这从某种程度上说我国对视频监控行业的发展还是支持的，而且将其大面积投入到城市建设中非常有必要。视频监控设备的大量投入无疑增加了监控观察方面的难度，这对员工的要求非常高，而且员工需要长期保持精神，以备突发状况的发生，可以说非常耗费人力。而大数据技术可以改观当前状况，大力提高监控效率，对我国监控领域的发展有着非常深远的意义。

1 大数据概念

大数据其实就是采用信息技术的方法对数据进行处理，以往的数据处理方式不能够进行处理的数据。大数据技术是当前信息技术中最为便捷的一种技术，在很多方面都有着非常重要的应用，比如信息采集方面、信息管理方面、存储方面、信息分析方面等等。在信息提取中，大数据技术可以更加快捷，有效的、有用的数据能够被更加快速地提取出来，在信息领域方面提高了效率[1]。虽然大数据技术具有非常重要的意义以及优势，我国现在对大数据技术的应用仍然不够熟练，而且我国视频监控领域存在一定的问题，对这些问题分析对加大大数据技术在视频监控领域的投入非常重要。

2 我国视频监控领域存在的问题

完善的视频监控系统对我国安全的建设有着非常重大的帮助，能够推动安全化建设。当然安全化建设并非易事，其中有很多的问题，而且这对大数据技术在视频监控领域的应用也造成了非常大的障碍。首先，我国视频监控范围小，因为在视频建设上存在一定的不足，所以视频监控设备并没有大面积覆盖，我国很多地区都没有视频监控设备的建设，造成了监控领域的空白，这对于某些地区的安全不利。另外我国的警力人员不足，通过监控设备可以弥补该情况。视频监控领域的投入对我国安全建设有着非常积极的影响，而且能够带动我国智能化建设的投入。然后是视频设备的质量问题，视频设备的质量直接关系到视频监控的范围以及可以监控的时间即使用寿命[2]。还有视频监控设备受到各种影响的抵抗力、视频设备的清晰度等。视频设备的清晰度对于视频监控来说是致命的问题，就好像是食品设备中的瞎子，无法正常监控到运动目标，或者运动目标监控特征不明显，这些都对很多技术的进行造成非常大的影响。还有视频监控设备分布不合理，不够科学，对视频设备的安装位置未进行科学化的分析，不能够保证监控设备位置的合理性、科学性以及有效性。在一定程度上造成了资源的浪费。还有视频监控信息无法上传，只有将视频设备采集到的信息进行分析整理才能够判断出一些目标的行为等。一旦视频设备的信息无法上传会造成紧急事件的处理延后甚至不进行报警，导致人们利益受到损害。另外在食品设备的管理上存在障碍，因为视频数据的复杂多样，所以数据的处理就显得尤为重要。怎样从中提取出准确有效的信息非常重要，而无法提取重要信息同样会造成很多损害。除了这些提到的问题之外还有一些问题，将其重视起来然后采取相应策略肯定能够改善当前状况见图1。

3 大数据处理流程

大数据技术对数据进行处理需要将数据进行分类，然后在采取相应的处理方法，因为数据的丰富与复杂，所以要按照一定过程读数据进行处理。大数据处理过程一般是这四个阶段，感知数据与获取数据、对数据进行预处理与存储、将数据进行分解、分析结果[3-4]。

图1 我国视频监控领域存在的问题

3.1 感知数据与获取数据

科技的发展与进步使数据感知与获取方面的来源更多样化，比如通过互联网、传感器、手机等都可进行数据的获取或者感知。非结构化数据，这种数据是当前所包含的最为广泛的数据，其特点突出，具有强噪声、低价值等特点。该形式的数据感知获取的方法也有多种，比如网络探针、日志、ICMP消息等等，这些都是获取数据的方式。对于数据的获取与感知其中的重点就是自然、社交数据了，这些数据是大数据中最为重要的部分。机器间的交互而产生自然数据，同样机器间的交互是产生自然数据最为重要的环节了，其中包括GPS、传感器、网络日志等数据，这些包含一定的技术性。对于传感器则是依托于传感器技术，当前传感器的发展也是非常迅速，其正朝着智能、微型、嵌入的方向发展。而社交数据这个相信大家不陌生，就是人们平常经常使用的社交软件等产生的数据，其产生与互联网有着密不可分的联系[5]。在以后的医疗、智能交通控制、工业控制等领域感知数据与获取数据将会被广泛应用。

3.2 预处理与存储

在该阶段就要对上一环节得到的数据进行处理，比如清洗、去噪等，最终将这些数据便捷化，更加方便操作。大数据有着一定的特点，就是复杂多样，而且在数据的分析处理上还具有一定的困难性。其实在采集数据或者获取数据的过程中会不可避免的加入很多干扰，像噪声等，这些干扰的读入对程序存储空间也会造成浪费，而且严重的话对分析得到的结果也会有很大的影响，所以说进行数据的清洗、去噪就显得非常重要了，而且这些数据能够更有效，对结果能够更加有用。通常就是在预处理过程中使用数据过滤器将其进行过滤，这样处理过的数据就会比较有意义了[6-7]。

预处理包含视频图像的增强、特征空间的转化，这些都包含于背景减除中，经处理，输入特征将对人眼更好，可以提高人们对机器的理解。该阶段包括四个部分见图2。

图2 预处理包含视频

主要特点如下：（1）亮度统一。对增强图像质量有利，可以有效缓解光照对图像造成的影响。（2）转换彩色空间。空间模型光照、色度的分离为后续阴影判别、反射判别提供了有利条件。（3）图像配准。校正摄像头使其不再抖动，这种方法对于场景变化有利，有效避免对场景产生的影响。如大风导致摄像头不稳，使图像抖动的现象。此外，可移动摄像头在进行运动检测过程中造成摄像头抖动。以上情况的处理可进行图像修正，该方法最常见的为几何修正法，一般将得到的图像匹配，叠加。该过程需要进行特征点的提取。首先，进行相似特征点对的匹配查找，然后根据这些特征点确定描绘得到图像坐标参数，然后进行坐标参数变换，最终配准图像。（4）对比度特征提取。提取图像的一些特征，如纹理特征来表达物体全局变化情况，可使场景中的大量噪音有效减弱，此外，对比度直方图对加强检测过程的速度有利，使数据的度方面得到有效降低[8]。

预处理过程中光照对图像产生的影响比较大，需要采取相应措施减缓这一影响。亮度归一化则能够在一定程度上减缓这一影响。所谓亮度归一化其实是背景中将具有相同的均值和方差的亮度值的像素进行归一化处理，处理过的图像可通过与原始灰度不同的阈值分割。在这个过程中，特征提取是非常关键的一步，特征匹配的正常进行需要准确的特征提取，一般在算法中通过使用Harris角点来进行。该特征选取具有一定的理论依据，首先进行图像中的角点的提取，接着按照不同的方法建立图像，并使图像中角点产生关联，之后确定同名角点（同名角点为之后过程中的控制点）通过这些控制点进行图像的配准然后变化。预处理之后将数据进行集成、存储。通过精准的处理，有助于数据的查找，大幅提高数据查找的效率。此外，还可以建立数据库，使处理之后的数据能够更有序的、合理的、科学的进行排放。

3.3 数据分析

数据分析在大数据技术中属于核心环节，这一环节主要是发掘数据价值。为使人们的决策更加合理、科学以及智能，所以要对数据进行分析，找出其中有价值的规则。大数据分析可以使用BI技术，当然还有人工智能，这两种技术为大数据中数据分析提供了很多有利条件，技术和方法，其中有机器学习，也就是当前智能化发展的一个重要方向[9]，让机器像人一样自主去学习成长，过程中需要进行特征的提取，然后进行运算接着分类，当前的机器学习有着三种方法，监督学习，半监督学习以及不监督学习。该项技术中涉及到三个主要领域，搜索、优化和图形计算见图3。

统计学习也是重要的处理技术或者方法，主要是体现在收集、组织、解释数据。该处理技术采用统计学，具有一定的直观性、科学性，主要是进行变量间的关系确定。该技术中通常使用R语言工具包，这是一种语言，是基于S语言的一种统计分析语言，其中和它相关的开源R统计分析软件有很多统计分析算法和绘图技术，可实现分类、时间序列分析、统计监测等，并能够根据这些做出相应图像，比如聚类图、分类信息图等见图4。

3.4 解释与展示结果

该过程相当于相对用户来说的，关系到用户体验，良好的用户体验是该过程重点考虑的。数据信息的大量化使用户不能够得到合理的结果，而该过程需要向客户展示结果，这也是客户非常关心的内容，是数据分析过程中最为重要的一步，该过程十分重要，需要保证一定的准确性，不然对客户造成一定的误导。

视频监控中有着非常多的数据，这些数据形式也在持续增多，提高数据解释与展示的能力非常重要，而且能够满足分析结果输出需求。可视化技术已经被大部分的企业引进，这是结果解释与显示的重要手段。大数据分析结果可视化对大数据技术有着非常重要的作用，也推动了大数据技术的发展[10]。

图4 大数据技术处理流程

4 大数据技术与视频监控

4.1 视频存储与转码系统

大数据中提到了存储，同样在视频监控中需要对视频数据进行存储，这可以为之后的查询提供资料。同时视频数据需要进行转码，这样能够使视频数据分布存储以及分布转码，大数据中分布处理也是十分关键，这不仅能够提高转码的性能，也会为客户带来方便。

分布式存储与分布式转码的功能模块，分布式转码采用MapReduce分布计算框架，对流媒体数据读取模块进行了设计，这样实现流媒体数据的转码，这样明显提高了效率。

4.2 架构设计

该过程的重要思路就是通过流媒体服务器，对来自设备的流媒体数据进行处理，使其传输给用户的同时也能够进行备份，上传到HDFS，这样就实现了视频数据的冗余备份存储。这样的视频数据格式是H.264，是无法直接播放的数据，所以需要对这些备份的数据文件进行ffinpeg分布式转码。

4.3 分布式转码流程

H.264文件写入HDFS后，采用fSnpeg转码对H.264在Hadoop上进行分布式转码，这样能够生成AVI文件，这些文件在用户下载之后可以进行播放，分布式的转码方案提高了转码的效率。在HDFS上存储的数据容量有一定的限制，也就是需要小于64 M，一旦数据超出限定值将会对其进行分割，如果使用MapReduce分布式计算，这样结果不会受到影响，MapReduce软件架构适合处理耦合数据，所以分割的数据使用该分布式计算不会受到很大的影响，但是该方法的效率比较低，所以控制H.264的容量对于提升效率以及提高速度有着非常重要的帮助[11]。

该过程中涉及到了网络流媒体传输系统，该系统能够实现在媒体分发的服务器上面进行对流数据 的处理，一般就是临时性的保存。录像的起始时间，以及文件的存储时间间隔需要由录像配置计划来进行决定，这在一定程度上解决了文件过大的情况，具有一定的优势。这样就能够使H.264文件的大小得以控制，控制在HDFS所限制的64M以内，这样数据不会被切割，也避免转码之后需要进行数据合并。在MapTask阶段就能实现数据的转码，提升转码的效率，最后生成AVI格式的视频文件[12]。MapReduce应用的输入是存储在HDFS上的H.264文件，因为录像配置的存在，将一个H.264文件作为单独的一个map输入，所有的H.264文件己经是一个单独的逻辑分割，不需要再对它进行切割，保证了一个视频数据的完整性。FilelnputFormat将单独的输入文件和系统块的大小作为逆辑分割的依据，只需在FilelnputFormat的子类中覆写isSplitableO方法，将返回结果置为为false，即可达到将一个单独的H.264作为一个逻辑分割的目的，每一个逻辑分割是一个FileSplit，一个FileSplit是一个结构体类。将H.264文件作为一个单独的逻辑分割之后，我们就可以自己设计FilelnputFormat来操作H.264文件，然后对文件按顿进行读取，传输到转码分析模块，完成H.264格式到AVI格式的转化[13]。

图5 分布式转码流程图

5 结束语

人们已经进入了大数据时代，而且大数据对人们生产生活产生了重大影响，通过对大数据的处理流程进行了解，对于以后运用大数据技术处理相关问题有着非常重要的帮助。而且我国视频监控领域存在一定的不足，有很多方面可以结合大数据技术。大数据技术能够有效提升视频监控信息的处理效率，而且视频监控运用大数据技术也是以后的一大发展方向，这样对于提高我国视频监控水平有着深远意义。

[1] 邵振峰, 蔡家骏, 王中元, 等. 面向智能监控摄像头的监控视频大数据分析处理[J]. 电子与信息学报, 2017, 39(5): 1116-1122.

[2] 黄铁军, 郑锦, 李波, 等. 多媒体技术研究: 2013——面向智能视频监控的视觉感知与处理[J]. 中国图象图形学报, 2014, 19(11): 1539-1562.

[3] 刘云恒, 刘耀宗. 基于Hadoop的公安视频大数据的处理方法[J]. 计算机科学, 2016, 43(s1): 448-451+475.

[4] 徐爱萍, 王波, 徐武平. HBase中基于时空特征的监测视频大数据关联查询研究[J]. 计算机应用研究, 2017, 34(5): 1423-1427.

[5] 崔凌云, 刘春玲, 魏荣华. 大数据技术在船舶监控系统数据管理中的应用[J]. 舰船科学技术, 2018, 40(04): 142-144.

[6] 管皓, 薛向阳, 安志勇. 深度学习在视频目标跟踪中的应用进展与展望[J]. 自动化学报, 2016, 42(6): 834-847.

[7] 许粲羚, 赵虹. 智能技术在新能源工程管理中的应用前景[J]. 中国电力, 2016(s1): 166-168.

[8] 周国亮, 朱永利, 王桂兰, 等. 实时大数据处理技术在状态监测领域中的应用[J]. 电工技术学报2014, 29(S1): 432-437.

[9] 赵军锋, 庄怀东, 赵亮, 等. 大规模数据并发环境下视频监控系统的研究与实现[J]. 都市快轨交通, 2016, 29(6): 11-15.

[10] Ding S, Li G, Li Y, et al. SurvSurf: human retrieval on large surveillance video data[J]. Multimedia Tools & Applications, 2017, 76(5): 6521-6549.

[11] Shang Q, Zhang S, Wang Y, et al. Efficient large-scale graph data optimization for intelligent video surveillance[C]// 2017: 012091.

[12] 张忠琳, 黄炳良. 基于openstack云平台的docker应用[J]. 软件, 2014, 35(11): 73-76.

[13] 程陈. 大数据挖掘分析[J]. 软件, 2014, 35(04): 130-131.

Application of Big Data Technology in Video Monitoring

CHEN Yan, QIN Ji-min, LIN Bi-yi

(Shenzhen Saiwei Intelligent Co., Ltd., Shenzhen, Guangdong 518000)

The development of information technology in China is very rapid, which improves the level of video monitoring in China to some extent. The concept of large data is becoming more and more known, in which large data technology is an advanced information technology, can effectively handle large data. Video monitoring will produce a large number of data information, the processing of this information is a difficult task, the application of large data technology to video surveillance will enhance the efficiency of the field. Large data technology has been applied in the field of video surveillance in China, which has far-reaching influence on video surveillance. Based on the application experience of large data technology, this paper analyzes the application of large data technology in video surveillance, and provides reasonable and effective suggestions for improving the level of video surveillance in China.

Large data; Technology; Video surveillance

TP274

A

10.3969/j.issn.1003-6970.2018.11.017

2015年技术开发项目“基于海量视频数据的视频监控应用系统”(项目编号：CXZZ20150402115235001)

陈雁(1975-)，女，高级工程师，博士，研究方向：计算机视觉、人脸识别、智能视频监控；卿济民(1963-)，男，高级工程师，博士，国家一级注册建造师，研究方向：轨道交通、节能领域、人工智能、神经网络技术；林必毅(1974-)，男，高级工程师，本科，研究方向：自动控制、轨道交通、节能领域、人工智能、神经网络技术。

陈雁，卿济民，林必毅. 大数据技术在视频监控中的应用[J]. 软件，2018，39（11）：72-76