智能图像监控前端系统技术分析及应用

毛晓东

(上海市公安局科技处，上海 200042)

责任编辑:任健男

公共安全是国家安全的重要组成部分，是人民安居乐业、是建设和谐社会的基本保证。公共安全的信息化是实现公共安全的基础保障，是中国未来科技发展的重点领域。多年来，公安机关借助社会信息化的发展，通过实施“金盾工程”、“平安城市”等一系列安防信息化的建设，在完善社会公共安全管理、维护社会安定团结、健全社会治安防控体系、提高警务指挥等方面发挥了重要作用，特别是在视频图像的建设和应用方面，全国各地的监控探头如雨后春笋般伫立起来，公安机关与社会单位监控资源纷纷联网，初步形成了遍布全国重要场所、道路交通、重点区域、敏感地带等视频防控信息系统，在进行重大活动、日常警务工作、公共安全管理、社会治安管理、突发事件处置、反恐处突等方面发挥了不可替代的重要作用，治安防控体系已具备雏形。

随着中国社会经济的高速发展，社会安全的危险性和人民的安全意识也逐步提高。社会的公共安全形势也变得越来越严峻。社会矛盾凸显，影响社会和谐稳定的各种因素日趋复杂多样，社会公共安全领域中人流、车流、物流、信息流和意识流速度加快，对公共安全管理充分利用视频防控信息技术维护社会稳定、治安管理、打击犯罪、反恐处突等工作提出了新要求、新挑战、新思考［1］。

充分研究、应用智能化的视频防控信息技术，为增强公共安全管理工作的预见性、前瞻性、统筹分析判断、科学动态指挥、快速反应处置，切实提高维护国家安全的能力、驾驭社会治安局势的能力、处置突发事件的能力、为经济与社会发展服务的能力，提供强有力的视频分析信息应用技术支撑，已经成为时代的要求和社会公共安全管理的实战需要。

1 上海城市公共安全图像监控系统建设和应用现状

经过改革开放30年，特别是近10年围绕重大公共活动(如奥运会、世博会、世游赛等)安全保卫的建设，上海市的政府部门、企事业单位，如金融、文化、商业、教育、医院、化工、食品生产、居民小区以及报警服务企业等，陆续开展图像监控系统建设。尤其为确保2010年上海世博会的安全举行，政府各委办局根据各自业务需要，增加建设了大量监控探头，有效提高了公共区域和重点目标的监控覆盖。在探头数量与联网规模上，上海城市图像监控系统的整体水平处于国内领先水平。

尽管上海公共安全图像监控系统建设已处于国内领先水平，但是与国际发达城市的水平相比、与迅速增长的平安城市安保要求相比，已有设备新技术的应用还有一定距离和主要体现在以下几个方面:

1)被动式的人工监看与分析。目前，公安专用监控

网络普遍采用人工重点实施观看和突发应急综合指挥两种基本的运行模式。监看人员根据经验和实际情况对重点部位的视频进行重点观看，如果发现异常会及时通知、调度现场周围的民警进行干预和处置。遇到重大突发事件或者重大社会活动时，通过视频监控室了解现场动态的重要手段。各级领导在指挥中心进行集中指挥，通过视频监控网络对全局事态直观掌控。此外，公安实战部门的视频应用模式还比较原始，基本依靠人工分析。在这种应用模式下，无论是视频监控网络的运行人员还是一线的办案民警，他们的工作量都非常大，不但视频数据的应用效率非常低，而且案件办理的成本非常高。

2)图像分辨力较低，感兴趣目标的信息量不足。前端摄像机和后端的显示设备以支持标清为主，基本像素仅40万左右(水平解析度约480线)，很难获得感兴趣区域的细节信息，例如犯罪嫌疑人面部特征、犯罪现场细节和车牌等信息。而视频监控系统的带宽和存储资源有限，录像格式的分辨力通常较低，导致监控视频中大部分目标图像的分辨力较低，很难达到事后取证的要求。

3)缺乏智能应用模式的探索。现代城市呈现出的人口高度密集和流动，车辆等交通运输系统繁忙，重大活动多且参与人员广泛，恐怖事件、突发事件和恶性案件复杂且频发，犯罪行为和手段高明且隐蔽，城市范围越来越大、城乡渗透互动发展迅速，信息传播高度发达，科技发展速度快等特点，“异常事件”的发生和定义不断发生变化，从而使得智能应用的模式也要不断变化和更新。目前带有智能视频分析的前端系统大多针对某种特定事件进行探测，缺乏一种对异常事件的结构化的描述及快速响应的应用模式。

4)设备技术标准混乱。目前，配备监控网络的建设，TC100标委会、公安部等部门出台了相关的标准，例如《城市监控报警联网系统技术标准》等十多项标准，对监控网络的建设中的技术指标、验收指标等做出了较为系统的规定，构成了有关视频监控网络建设的标准体系。但是对于视频监控设备的相关标准只有数项，没有构成一个完整的标准体系，使得目前监控设备的研发和市场状态较为混乱，设备兼容性差，建设单位在视频监控网络建设中研发设备原型的压力和风险都很大。另外，目前对监控设备的配备、操作和系统运行等事关监控网络运行和数据应用效率等重要方面缺乏相应的标准。

因此，提高图像质量与带有检测识别预/报警功能的视频监控前端系统成为公安一线对图像监控技术升级的现实需求，有望推动公安视频信息化应用的深度变革。

2 图像监控智能前端系统应用模式分析

监控前端作为视频信息处理的第一个加工厂，在整个视频监控系统中发挥了重要的作用。目前大部分基于图像的智能化分析多集中在后端的监控中心，很少有前端系统带有主动感知异常的功能或者只针对简单场景，集成越线、区域入侵等简单的分析功能，这样不仅响应速度慢，而且不能有效缓解当非异常情况发生也要进行编码传输的操作，造成了很大处理资源及网络资源的浪费。因此采用智能前端系统具有较好的应用前景，目前其主要的应用模式主要分为4种，如图1所示。

图1 智能前端4种应用模式

模式1的系统是在原有的非智能的监控系统框架下增加智能视频分析及主动感知的功能，采用串行连接的方式，在探头和编码器之间增加一个智能视频分析服务设备，使得智能视频分析与编码系统和探头相对独立，信号串行处理，这不仅增加了系统的复杂性，也造成了多设备交互的处理及响应的延时。

模式2的系统从设备角度采用并行联接的方式，摄像机探头与智能图像处理服务器和编码器分开，并用某种硬件接口互联，智能图像处理服务器和编码器对摄像机采集的图像并行处理，相对独立，大大阻碍了探头、智能感知分析、编码这3个部分的高效协同的工作机制。

模式3则将编码和行为分析模块结合在一起，减少了设备之间的交互操作，既节约系统处理时间，减低了成本，同时方便系统维护;另一方面将两个处理模块结合在一起有利于智能感知分析、编码两部分高效协同的工作。

从技术角度而言，模式3也较为成熟，具有在实际场景中使用的能力。

模式4是一体化的智能前端模式，高度集成了视频采集、分析、编码和传输的功能，是智能前端未来发展的一个方向。目前受到硬件平台处理能力的限制，不能实现复杂的智能分析功能。

智能前端编码和行为分析模块目前都有多种算法可以应用，在选择算法方案时，主要基于以下方面:

1)算法性能的评估。即编码算法的压缩效率和图像质量，行为分析算法的检测准确率。仅考虑算法性能，则编码质量和行为分析检测率越高越好，但一般会造成算法复杂度的上升，进而影响系统实时分析性能，从而也需对算法复杂度进行评估。

2)算法复杂度的评估。简单来说，即是算法的耗时和存储单元的使用情况，对于智能前端来说，算法的复杂度不能影响系统的实时性分析，一般而言算法复杂度的降低往往会带来性能的下降。

因而在选择算法方案时，要对性能和复杂度进行折中，既要使算法性能满足智能前端系统的需求，同时算法复杂度不能影响系统的实时性。定义代价比为，选择的算法能使得λ越大越好，公式为

综上所述，实际应用中针对不同场景和目标类型应该选择性能复杂度代价比高的方法。

3 关键技术分析和挑战

面向公安行业应用的智能前端监控系统在技术和应用上面临着许多挑战。需要解决以下几个难点问题:

1)高准确率、高稳健性的信息提取。面对公安行业的应用特点，大多数的探头将安装在室外的公共场所，监控的区域包括道路、多类重点目标等。对这些场景的视频分析面临着各种实际的环境适应性的挑战，包括雨雪天气变化、光照变化、树木扰动以及电器设备噪声的影响，如何克服这些环境的干扰，高准确率地提取信息是本系统要解决的一个难题［2］。

2)多种类型目标的检测。在城市公共安全图像监控系统中，需要关注的目标很多，类型也各不相同。例如目标包括车辆(机动车包括小型车、货车、公交车，非机动车包括自行车、三轮车、电动车)，行人个体和群体(大尺度、中尺度、小尺度)等，如何在复杂环境中有效提取多种类型目标的信息也是本项目要面临的挑战［3］。

3)高效、内容自适应的视频编码和传输。视频编码技术的进步给高清监控带来了新的发展，有效缓解了高清视频监控在网络带宽、解码显示能力、存储资源上遇到的瓶颈，成为了监控行业全面高清化最有力的助推力量。

上海公安自建的探头以固定探头为主，尤其是今后“十二五”期间高清建设中也将保留这种前端固定探头为主的模式。这样视频场景比较固定，大部分时间的视频信息不需要重点关注，尤其是在夜间或非忙时阶段，如何利用数字视频智能分析的结果，有效地筛选感兴趣目标和区域并进行自适应调整码率分配策略，达到高效编码、传输和存储的目的，是本项目要面临的挑战之一。

4)稳定的系统设备及实时的处理性能。本项目的智能前端系统设备需要安装在被监控目标附近，通常在室外的配电设备箱中面临着环境温度、湿度变化、灰尘等恶劣条件。设备运行时需要7×24 h不间断工作，需要设备具有远程升级、自检的功能以及工业级的环境适应性和可靠性设计。另外，面向公安实时高清应用的需求，设备需要具有高效快速的软硬件处理能力。环境的适应性需要比较复杂的智能分析算法来补偿，而复杂的算法需要强大的处理能力，如何权衡现有的软硬件处理能力和优化算法的性能是本项目面临的另一个挑战。

5)符合公安实战应用的工作模式。上海公安担负着上海国际化大都市的城市安全管理、治安防范等工作，其相关的业务要求图像监控系统应具有图像清晰、响应速度快、稳定可靠、易于管理和维护等特点。智能前端设备如何与探头数据采集、传输、存储、应用等系统协同工作的机制和模式是本项目需要解决的关键问题。

4 应用前景分析

4.1 应用条件

智能监控在过去几年一直未能真正实现普遍性商用，主要停留在小范围，在特定行业的试用，分析其应用受限的原因和条件，可以从图像清晰度、算法的高效性和稳健性、软硬件平台及应用模式几个方面进行。

1)图像高清晰度是实现智能前端应用的前提条件。视频图像质量低下而无法为智能分析提供基本素材，但这两年随着高清技术的逐渐普及，使得基于高清晰图像实现智能分析成为可能且技术不断成熟，大大提高了智能信息识别的精度。

2)算法的高效性和稳健性是智能前端应用的首要条件。智能前端编码和行为分析模块目前都有多种算法可以应用，在选择算法方案时，主要需要权衡算法的性能(包括检测识别的准确度和环境的适应性)和算法的效率(实时性)。即选择的算法方案既要使算法性能满足智能前端系统的需求，同时算法复杂度不能影响系统的实时性。

3)嵌入式软硬件系统的性能提升是智能前端应用的必要条件。由于智能分析算法通常采用计算机视觉、模式识别、机器学习领域的知识，通常算法复杂度较高，采用高清视频后，复杂度也将曾指数增长，所以嵌入式系统为主要设备形态的智能前端监控系统的广泛应用也受到软硬件平台性能的限制。

4)行业的应用模式是智能前端应用的决定性条件。无论是何种技术，必须能在实际中面向应用才能在市场上普及应用。智能前端的商业应用需要深入研究市场业务系统的需求，以市场为导向，促进智能前端技术的不断推广。

4.2 应用前景

智能前端系统的研究可以对面向上海城市公共安全的智能监控应用提供必要的算法创新和技术储备，同时为新型智能视频监控系统的架构设计提供参考方案。随着智能视频监控系统及嵌入式智能前端设备的市场推广、大规模商业化进程，可以促进新的业务链的形成，有着广阔的市场前景，将产生巨大的经济效益。

5 总结

当前，上海公安工作面临的形势发生了许多新变化，呈现出许多新特点。同时，科学技术日新月异，发展迅速。结合上海公安工作的发展特点和科技与信息化工作的实际情况，充分发挥世博后续效应，深入推进网络、通信手段、图像信息、数据共享、信息采集和安全等信息通信基础设施建设，满足各类实战应用对于信息通信基础的需求。力求“十二五”期间把上海建设成以数字化、网络化、智能化为主要特征的“智慧城市”，并努力使上海成为最安全的大都市之一。

［1］周立.关于社会公共安全视频图像监控系统建设、管理及应用的几点思考［J］. 中国安防，2009(10):18－20.

［2］曾令卉.城市视频监控系统解决方案［J］.电视技术，2012，36(5):131－133.

［3］尹晓华.智能监控系统多目标检测跟踪技术研究［D］.西安:西安交通大学，2006.