智能视频分析技术应用研究

吴冬

智能视频分析技术应用研究

吴冬

智能视频分析包含的范围很广，很多智能视频分析技术已经在各个行业发挥了重要的作用。本文讨论智能视频分析技术结构、内容、难点、应用与发展趋势，重点讨论智能视频分析在视频监控行业中的应用，期望能为智能视频分析技术的应用、研究与发展提供借鉴。

智能视频分析概述

智能视频分析是什么

计算机视觉技术在图像及图像描述之间建立映射关系，从而使计算机能够通过数字图像处理和分析来理解视频画面中的内容。视频智能分析（IVS，Intelligent Video Surveillance）主要指计算机“自动的抽取和分析视频源中的关键信息”，按照一定的规则进行判断并决定是否给出报警。如果把摄像机看作人的眼睛，而智能分析系统可以看作人的大脑。

需求

随着近年来视频监控系统的大力建设，各个行业的摄像机越建越多。仅仅在平安城市的建设中，至2010年，根据北京市公安局的统计数据，公安建设的各类监控有270多万个，共享社会资源300多万个。在传统的视频监控模式下，通过有限的电视墙人工监控来监看实时事件；通过人工根据时间段和大致地点来查找已发生的事件。如此多的摄像头，极少量的电视墙，人工实时监视根本无法顾及。统计信息显示，人工不能有效监控多个电视屏幕，操作人员盯着屏幕电视监控超过10分钟后将漏掉90%的视频信息，来自其他事件将会干扰监控的效果（例如电话、聊天等）。在发生事件后，通过人工来检索事件变得比较困难而低效，大部分事件稍一疏忽就会遗漏过去。伦敦七七爆炸案中，有100多位安保人员花费了70多个工时才在大量磁带中找到了需要的信息。

另外，成千上万的摄像头给管理部门的维护也带来麻烦，如何确定每一路视频是否在正常工作也成为一个难题；有一些视频会因为大风或震动出现抖动；也有一些视频因为大雾而变得不清晰等等。

而智能视频分析技术的出现正是为解决上述问题，它能协助进行视频质量的诊断，帮助确定哪些摄像机可能存在问题；它能对实时视频进行24小时不间断的分析，而不会感觉疲劳或被打扰；它可以帮助我们智能搜索感兴趣的内容而不是一帧一帧的查找视频。但是，它并不能代替我们工作，要明确智能视频分析所起到的作用是辅助的，它可以通过科技力量提高工作的效率，做出最终判断还是人工。

智能视频分析技术解析

系统结构分析

基于现有的视频监控系统架构，智能视频分析系统有不同的系统结构。

针对传统的模拟视频监控系统，通常增加外置DSP处理主机（集成软件License）或工控机+视频采集卡+软件License。

针对传统的IP视频监控系统，通常增加外置嵌入式主机+软件License或服务器+软件License。

基于视频质量的分析

基于视频质量的分析主要由两个方面，视频质量诊断主要用于设备运营管理，在中、大型视频监控系统中的作用非常明显；视频图像增强用于改善的视觉效果，用于某些特定的场合。

视频质量诊断

功能：视频信号缺失、遮挡、清晰度异常、亮度异常、噪声、雪花、偏色、画面冻结、PTZ运动失控等。

通过基于视频图像比对的方法、机器自动学习的方法、模拟运动指令图像分析等方法对视频质量的异常进行分析，并对异常的摄像机提出报警，由人工进行检查修正。机器自动学习的方法在实际视频监控系统中应提取大量的视频片断，包括正常视频以及存在各种故障的视频，形成训练样本，并模拟人类视觉特性，针对不同故障类型提取了大量视频图像特征参数，用以训练检测系统。

在实际运行场景中，视频质量诊断系统应当通过自动学习适应摄像机在室外环境下的光线变化、场景变化、季节变化、各种不同的安装视角、球机或云台的运动适应，特别需要加强自动学习能力方面的设计，与人眼的识别不同，机器是通过各种参数来识别，场景变化对机器来说更加敏感，所以自动学习适应能力对视频质量诊断系统来说尤为重要，通过对新样本的训练来提高系统的性能是可行的。

视频图像增强

功能：抖动稳定、去雾、降噪、增强清晰度、雨天增强、昏暗环境增强、沙尘天气增强等。

视频图像增强是加强图像中感兴趣的信息，它可以是一个失真的过程，其目的是要改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像识别效果，满足某些特殊分析的需要。

图像增强技术根据增强处理过程所在的空间不同可分成两大类：空间域法和频率域法。

空间域法是对图像中的像素点进行操作，用公式描述如下：

其中是f(X,y)原图像；h(X,y)为空间转换函数；g(X,y)表示进行处理后的图像。

频率域法是间接的处理方法，是先在图像的频域中对图像的变换值进行操作，然后变回空间域。例如,先对图像进行傅里叶变化到频域，再对图像的频谱进行某种滤波修正，最后将修正后的图像进行傅里叶反变化到空域，以此增强图像。

在实际的应用场景中，专业的图像增强系统应用比较少，很多IP摄像机集成了视频图像增强功能，只要在参数中选择设置即可。视频图像增强技术虽然取得了一定的进步，例如模糊映射理论、交互式图像增强技术的应用，在特定的专业领域有比较好的应用，在通信领域中应用的效果有待改进。

基于视频内容的分析

基于视频内容的分析主要集中在对目标的识别（人、物体、图标等）以及目标是否违反了设定规则的判断，另外还有对环境变化的分析。

人、物体、图标等各类目标识别

对人的分析无疑是智能视频内容分析的重点中的重点，绝大部分智能视频分析的规则都涉及到人。单个摄像机成像是二维的，而实际场景中的人是在三维的立体空间中活动，对于智能视频分析系统而言，精确的识别出人以及跟踪人的运动状态非常重要，这将作为基础数据来进行下一步的分析。为适应各种不同的安装角度、视场大小的摄像机，基于采集的二维图像建立三维的立体模型是一个有效的方法，利用三维的立体模型设置相关的检测参数，再将三维的模型映射到二维的场景中是一个可行的方法。在更加高级的智能分析中，针对变焦摄像机的场景变化自动适应而无需额外的设置，但这种技术尚不成熟。

对于物体、图标等的识别原理与人的识别类似，应用三维模型、机器自动学习、模式识别库等技术能够有效的区分物体。对于不同的物体还可以增加该物体的特征以获得更好的识别结果，例如对于车辆的识别，可以增加车灯、车窗、车体、车型方面的特征，对于图标的识别可以增加图案、纹理等方面的特征。根据具体的应用领域进行特定的优化有助于更好的识别目标。

规则

规则就是由用户预先设定的一些参数条件，智能视频分析最常见的就是对目标违反预设规则提供的报警：

最常见的规则是入侵检测：虚拟警戒线、警戒区、区域进入及离开、区域出现及消失、区域逗留、虚拟围栏等。入侵检测的重点是对目标类型的准确判断，对于入侵行为的检测的精细度，以及极少的误报率。

针对人的分析常见的类型：尾随、徘徊、反向移动、人员计数、人群密度、人群聚集、剧烈运动、异常动作、值岗检测等。针对人的分析重点是对人的精确识别，对于规则建立机器自动学习的模式库，加强对真实样本的训练，对特定应用领域安装条件、补光条件的限制。

其它规则：非法停车、遗留物、目标移动、静态跟踪、PTZ自动跟踪、PTZ接力自动跟踪、车辆事故、车辆排队等。

特征识别

特征识别是智能视频分析系统根据动态分析的结果连续或抓拍单张图片对某些特征进行识别。

常见的特征包括：车牌号码、车牌颜色、车辆类型、车身颜色、车辆厂商标志、人脸识别、人的性别、人的身高、人的年龄、特定图标识别、细胞类型识别等。

特征的识别对于安装环境条件的要求比较高，一般会有特定的摄像机类型、安装位置限制、补光条件等，以获得稳定可靠的高质量图片，取得比较好的识别效果。特征识别往往会采用模式识别的方法，综合利用机器自动学习技术、模式库技术、样本训练提高识别的准确率，在实际环境中的不断应用改进能极大提高识别准确率。

环境变化

环境变化指对视频中用户特别关注的某些特定变化进行报警。

常见的类型：烟雾、火灾、大雪、冰雹、暴雨等。此类为特定应用，较少使用。

关键难点

复杂的视频源

视频来源复杂，特别是在平安城市的项目中，往往有来自多个厂商的不同型号、规格的摄像机，这些摄像机成像效果差别较大，包括：视频亮度、颜色、清晰度等等。对于智能视频分析系统来说，必须克服这种差别，提供一致的结果。

摄像机安装条件不同与补光条件不同

摄像机安装条件各不相同，包括安装高度、角度、参数设置等，可能针对的场景也不相同：广场、通道、室内、十字路口、道路断面、街道、厂房等等。这些地方有的有路灯，有的完全没有补光，有的安装了专用的补光灯，最终成像也千差万别。如此多的安装条件导致建立二维到三维的映射模型变得相当困难，补光条件的差异会导致成像效果的巨大差别，给智能视频分析带来更多的难度。

不受控制的摄像机参数

增加智能视频分析系统往往只是从已建视频监控系统中获取数据，并不能控制摄像机的参数，这对于视频分析来说非常不利。例如，要对高速运动的物体成像清晰需要比较高的快门，但对于夜间比较弱的补光要使动态监控图像清晰则需要相对较低的快门。不受控制的摄像机参数对于智能视频分析应用也是一个限制。

变化的场景

球机或云台枪机一般都可以变化场景与聚焦，对于智能视频分析来说，要比较精确的识别就要对场景进行建模并进行用户预先的设定，而动态变化的球机或云台枪机则难以进行标定。适应变化的场景对智能视频分析系统来说是一个艰巨的挑战，目前并没有技术能很好的解决这一问题。

大场景、小目标与多种类的复杂事件

对于固定总像素的摄像机，场景越大，针对的目标像素就相对越小，用户总是希望能再同一台产品实现所有的功能。对于目标检测，小于一定的像素值时误差将会呈指数形式的增长，过大的场景中会发生过多过复杂的事件，以目前设备及算法的性能难以负担，这也是在应用中遇到的挑战。

场景环境变化

基本上所有的摄像机都会遇到场景环境的变化，白天、黑夜、黄昏、阴天等等，特别是对于室外使用的摄像机，风、雪、雨、雾以及季节性气候变化都会给环境场景带来变化。智能视频分析系统必须适应或排除这些变化才能取得比较好的应用效果。

智能视频分析应用分析

成功的应用

平安城市之高清卡口

平安城市之高清卡口的应用中，通过单一的摄像机规格型号、一致的安装条件要求、特殊的补光系统设计、可以控制的摄像机参数、固定的摄像机场景，使室外断面的成像在白天、黑夜以及各种环境变化情况下保持很好的一致性，使系统能够捕获高清晰的运动目标的图片并进行特征的识别。

监狱、看守所及戒毒所

监狱、看守所及戒毒所的应用中，主要应用于室内，室内环境相对单一而且环境变化比较稳定，通过对各种智能视频分析功能在此环境中实际应用的分析，将一些重要并且检测准确率高的应用提炼出来，例如：视频质量诊断、警戒线、起身、区域看防、剧烈运动、值岗等，以达到比较高的检测准确率（99%），较低的误报率（小于1个/天.路），达到比较好的辅助管理效果。

银行ATM自动取款机

银行ATM自动取款机一般范围比较小，环境相对单一，而且补光条件一般都比较好，这对于智能视频分析来说是非常好的条件。而且银行ATM自动取款机涉及敏感的金钱，对安保的需求比较高，特定的智能视频分析功能应用比较成功，例如：人脸识别、尾随、剧烈运动、异常动作等。

工业检测

工业检测领域已经广泛应用了智能视频分析技术，利用智能工业摄像机分辨率可以达到1/10mm，超过人工的视觉，特殊的摄像机可以达到更高的精度。在饮料行业，智能视频分析可以辅助判断安装饮料的高度、瓶盖安装是否正确、厂商标志是否清晰等，工业检测一般都在室内，可以固定摄像机安装条件、充足的补光、相对单一的检测功能使智能视频分析相对可以得到更成功的应用。包括在汽车制造业、轮胎制造业、物流业、机械制造业、印刷质量检测、视频加工业、钢铁铸造业、农业等各个领域获得比较成功的应用。

医学成像分析

在医学中，视频智能分析也获得了比较成功的应用，利用现代化的科技仪器，可以在显微镜下拍摄清晰的图片，利用物理的方法进行分析是医学上最可靠的方法。一种典型的应用是尿液分析仪器，虽然可以用试纸等化学的方法进行分析，但由于进行了化学上的变化可能导致原有的细胞发生变化，利用物理的方法进行搅拌沉淀后，采用高清摄像机进行拍摄，可以得到稳定清晰的图片，再利用视频智能分析的方法对各个不同种类的细胞进行统计，这能保持最真实的结果，在高端或疑难病因检测时往往采用此方法。

探索中的应用

平安城市之监控视频分析

平安城市之监控视频分析的应用中，监控视频来源复杂，场景大小多，安装条件复杂，补光条件也各不相同，而平台城市的视频监控中客户要求实现的功能也比较多，因此大多数项目都是雷声大雨点小，最后不了了之。需要引导的是，目前并非所有的摄像机都适合进行智能视频分析，具备一定的外部条件才可以，并非所有的功能都能在一路视频上实现，需要根据应用的环境选择合适的应用功能。

机场安防

机场是重点的安防场所，安防投入也比较多，但智能视频分析在机场没有取得比较成功的应用。在机场的周界中，除了防范地面的破坏还要防范地下的破坏，智能视频分析只能防范地面上的入侵。另外，与其他大场景的视频监控一下，不同安装条件、不同型号的摄像机，不同的补光条件对智能视频分析的准确性和误报率造成比较大的影响。在机场室内安防中，主要关注人和物的安全问题，人脸识别获得一定的应用，而其它的智能视频分析功能则有待进一步开拓。

平安校园

校园是一个特殊的场合，特别是近年来针对校园的暴力事件发生后，国家对校园的安防投入增加了许多，但同样的问题是视场、安装条件、补光环境等方面的差异比较大，另外，针对有干扰的围墙入侵检测更容易发生误报而导致系统实用性能不佳。

轨道交通安防

轨道交通同样是一个对安防有比较高的需求的行业，但目前没有比较好的应用。与其它探索中的应用不同，轨道交通中的地铁市内监控环境相对比较好，如找到比较合适的应用切入点，其功能相对会比较稳定。

其它行业及领域

在其它行业及领域，智能视频分析也有探索与应用，包括平安社区。与大部分探索中的应用一样，克服安装条件的限制、补光条件的限制是智能视频分析需要持续改进的，现阶段，对于安装场景的大小必须具有一定的约束，适应变化的场景是一个长期的任务。

智能视频分析技术发展趋势

特定领域优化应用

开发在特定领域的优化应用将是智能视频分析进入实用的重要阶段，例如在高清卡口领域，限定安装环境、补光环境、可控制的参数与一致的摄像机，从而在室外环境中获得高度可用的视频源信息。在其它的领域，可以针对核心的应用需求制定特定的解决方案，使用专用的产品提高性能，从而达到比较高的可靠性与比较低的误报率。

智能视频分析技术与摄像机集成

智能视频分析技术对视频源进行分析，由于数据量巨大，算法复杂，因而非常消耗CPU资源。采用集中处理将增加大量额外的处理器，使整个系统变得复杂，增加系统故障节点。随着智能摄像机技术的发展，摄像机集成CPU处理运算能力的提高，摄像机集成智能视频分析技术将是未来的趋势。实际上，目前已经有相关的产品，但产品的类型、功能上尚存在不足，价格相对比较高，未能进入主流的应用。

不同场景中相同特征提取与识别技术

相同的品牌、型号的摄像机安装在不同场景中成像效果都会发生一定偏差，不同品牌、型号的摄像机之间这种偏差就更大。智能视频分析针对同一目标在不同摄像机间进行分析时，需要获得相同的结果，这就需要加强在不同场景中同一目标相同特征的提取与识别技术，否则跨摄像机的目标搜索将会是一个灾难。

智能存储

视频监控发展到现在的阶段，各种优化技术层出不穷，最新的IP监控系统中利用H.264编码能极大的减少监控存储的码流。但在平安城市的建设中，数万个摄像机中，大部分摄像机在绝大部分存储的无效的视频信息。通过智能视频分析，除了重点监控目标外，大部分摄像机可以只存储感兴趣的码流（例如有动态目标），另外，可以进行智能的标记，方便进行检索，从而实现智能存储，极大的减少无用的信息存储。

对动态场景的自适应建模与分析

变化的球机或云台对智能视频分析一直是一个困扰，动态场景的自适应建模与分析将是智能视频分析系统前进道路上必须克服的一座大山。

智能检索历史视频内容

在平安城市建设中的公安应用中，智能视频内容检索一直是公安客户非常关注和有用的一个功能，甚至，只要准确率能达到30-50%也非常有用，这非常罕见，大部分的功能都要求准确率达到90%以上。但这确实是一个艰难的任务，在复杂的视频源中，不同安装条件下，不同的场景中，不同的摄像机中，寻找同一个目标非常困难。客户的强烈需求会推动技术的持续进步，而技术持续研发就是为客户解决问题，相信不久的将来会有新的技术、新的方法来解决这一问题，从而推动安防监控行业不断前行。

作者单位：深圳市博康系统工程有限公司