超微光全景高速球智能联动系统设计与应用

□ 文/贺志刚 徐 玮 张 虎 刘晓华

超微光全景高速球智能联动系统设计与应用

□ 文/贺志刚 徐 玮 张 虎 刘晓华

随着我国现代化建设和经济的飞速发展，人们安防意识也随之不断提高。当前国际形势日益复杂，特别是一些恐怖事件的发生，使的城市治安管理和应对突发事件的安全防范压力越来越大。安防监控系统作为政府打防控一体化体系的重要组成部分，对提高社会治安防控水平，增强对治安事件的反应能力，保障社会治安持续稳定起到了重要的作用。

我国于 2004 年提出创建平安城市，经过科技强警战略和“3111”试点工程等项目的大力推进，全国已安装了超过1000万个摄像头，其中公安机关掌控的摄像机超过100万个。目前全国视频监控报警联网平台已基本建立并处于高速发展中，作为安防系统的重要组成部分，视频监控是一种防范能力较强的综合技术，因其直观、方便、信息内容丰富而被广泛应用。在公安机关治安防控管理、预防打击犯罪等方面起到了重要作用。

十多年来，视频监控系统从模拟到数字、从标清到高清，经历了改扩建或升级。但是当前国内视频安防监控产品中依然存在不少问题：监控视角范围有限、图像细节看不清、夜视失效、以及智能化程度不高等等。毫无疑问，“全景高清”和“智能”是城市治安监控建设的主要技术趋势。“全景高清”是使用机器来延展和增强人的视觉系统，解决了“看得见看得清”的问题。而智能是使用机器来帮助人思考，如非法闯入报警、车辆号牌识别、人脸识别等。这些智能分析技术伴随着视频监控的发展逐渐成熟，大大提升了安防工作效率。

为了顺应这种趋势，本文设计实现一款超微光全景高速球智能联动系统，它由一台全景摄像机和一台高速球组成，既可以监控全局场景，又可以观察场景中局部细节的高清画面。通过鼠标或触摸的操作方式，选取全景图像中的任意局部，即可追踪和查看局部的高清细节图像。

超微光全景高速球智能联动系统，作为安防市场领域的一款全新的4k视频监控设备，全景画面最高可覆盖360°全局场景，局部高清可看清6公里以内的车牌等细节信息，视感整体连续，同时针对夜间等光照条件很差等情况下的特殊监控需求，本系统还可以在照度低至0.01 LUX下正常全彩色成像，具有普通产品不可比拟的优势，可广泛应用于平安城市、天网工程等大型安防工程，还可应用于军事侦察、机场、城市至高点、森林堤岸防灾等市场，具有巨大的经济效益和社会效益。

技术与产业现状

全景摄像机的发展己经有十几年的时间，起初主要应用于高科技领域。最早的应用是勇气号火星探测器，作为人类遣往其他行星上的第一个地面移动机器人，上面装有一对可拍摄火星表面彩色照片的全景摄像机以及各种传感器设备。

2007年瑞典厄勒布鲁大学AASS移动机器人实验室研制出一种球形安全机器人GroundBot[4,5]。该机器人在球形主体的两侧安置了可变焦摄像机拍摄周围环境，生成360度虚拟全景空间。利用获取的全景图像增强机器人对环境的观测感知能力和远程监控能力，并采用机器人的SLAM（Simultaneous Localization and Mapping）技术进行机器人自主定位和导航。同年，卡内基梅隆大学与美国宇航局在合作的“Global Connection”项目中，研发出一款全景摄像机器人Gigapan。该全景摄像机器人采用具有重叠的单张图像拍摄方法，生成高达10亿像素的全景图像。

目前全景摄像机根据硬件组成的不同，可以分为多镜头式全景摄像机和单镜头式全景摄像机。单镜头式全景摄像机一般采用单个鱼眼镜头，鱼眼镜头是一种超短焦距、超广角镜头，其拍摄视野能够达到甚至超过180度。基于光的折射原理，鱼眼镜头的设计与制造一般遵循某个特定的投影模型，如等距投影模型，其投影模型及参数决定了鱼眼镜头的视野、分辨率分布情况。鱼眼图像有严重的畸变，如场景中的直线在鱼眼图像中可能成了曲线，因此鱼眼图像不适合人眼观察，需要把鱼眼图像校正成“看起来”正常的图像，去除或减少畸变，这一过程一般被称作鱼眼镜头畸变校正。

多镜头式全景摄像机首先通过有规律地排列多个普通镜头来覆盖整个拍摄视野，然后通过图像配准、图像拼接及图像融合等技术来生成完整、无缝的全景图像。

全景摄像机的成功研制己经已有近十年的时间，但一直没有得到广泛的应用，主要原因还是因为技术和成本的的限制：多镜头式需要使用多个摄像机成本较高且图像拼接融合技术较为复杂；单鱼眼式相对普通镜头来讲同样价格偏高，且畸变图像后的分辨率及效果不尽如人意。而近几年来随着科技的进步，全景摄像机成本开始降低。与此同时人们对“看的更清”“看的更广”的需求日益提高，全景摄像机开始得到真正的推广，逐步在城市安防领域开始应用。

目前一些知名的安防品牌，如德国MOBOTIX公司、瑞典Axis公司、美国Tyco公司等推出了相应的单鱼眼式全景摄像机。中国虽然在视频监控系统的自主研发方面起步较晚，但是吸收了各国研发阶段的经验教训，发展迅速。目前国内几家公司如海康威视、大华等，也研发了各自的全景高清监控产品。由于成本低、性价比高等优势，中国的监控产品在国际市场上也受到了用户的青睐，占有一定的销售份额。

系统设计

超微光全景高速球智能联动系统包括以下几个组成部分：

图1 超微光全景高速球智能联动系统

其中高清全景摄像机由一个全景摄像机和一个高清高速球组成。整个系统会给出两种画面：全景画面和高速球画面。全景画面代表“面”，用来监控全局，高速球画面代表“点”，用来提供细节信息。本系统将全景摄像机的“面”与高清高速球的“点”完美搭配组合，实现由“面”及“点”的一键式操控，点击全景画面的任何一个位置，系统可立即调度高速球转到预定监视点，使监控全局与局部细节一览无遗。

同市面上普通产品相比，超微光全景高速球智能联动系统具有以下特点：

“全景”--成像范围广。普通摄像机的成像角度一般不超过60°，而本系统能获取最大360°的广大视角范围的场景。因此我们的产品，一套系统可替代多台普通摄像机。

“高清”--成像质量高。本系统可实现最高800万像素、25帧/秒的高清实时成像，成像清晰度是普通摄像机的十几倍，再配合可变焦高速球的使用，可实现半径几公里范围内全部场景的高清监控。

“超微光”--超低照度下依然能全彩色高清晰成像。普通摄像机在低光照环境下需要红外补光，才能正常成像。而这会带来两个致命缺陷：一是红外灯会在漆黑环境中暴露监控位置，使得不法分子可以提前防范；二是这种情况下成像是黑白的，失去了及其重要的纹理信息，不利于辨别物体特征。而本系统可日夜全彩色成像，即使在极低的光照环境下，图像依然清晰通透、色彩准确鲜明，在事件多发的夜晚具有很高的应用价值。普通摄像机与本系统的夜视效果对比图如下所示。

图2 普通摄像机与本系统的夜视效果实拍图对比

“智能”--点面智能联动。本系统通过将一台高清全景摄像机与一台高清高速球有机结合，共同组成一套智能摄像机系统，专门用于解决视频监控中，“看得广”与“看得清”不能兼得的难点。本系统既能大视角、全覆盖地纵览整个监控现场、又可通过鼠标选择全景画面的区域，驱动高倍率、高速旋转的高清高速球实时呈现全景图像中任意一点即时发生的细微状况，从而实现面到点，全局到细节的统一监控。

图3 本系统点面联动示意实拍图

关键技术

超微光全景高速球智能联动系统通过全景摄像机和高速球的协同工作，提供既全面又兼顾细节的画面信息。高清、全景、超微光是其最重要的三个特点，其核心关键技术主要包括：“环眼型分辨率均匀化高清全景成像技术”、“全景视频信号处理技术”、“超微光图像处理技术”、“全景与高速球智能联动技术”。

环眼型分辨率均匀化高清全景成像技术

超微光全景高速球智能联动系统采用非球面元件以降低远离轴变形效应、基于环眼镜头畸变修正的方法，设计出适用于超微光180度全景高清摄像机的环眼镜头。环眼镜头成像空间分辨率分布更为均匀，边缘分辨率较鱼眼图像有明显提高，实测边缘分辨率提升约30%，详见图4。

图4 成像实验对比图：左为鱼眼图像，右为环眼图像

全新的全景视频信号处理技术。

特殊条件下传统技术难以满足全景成像应用需求，例如全景图光线来自宽广范围，传感器成像颜色难以校正；恶劣天气条件下图像噪声干扰严重等。超微光全景高速球智能联动系统采用全新的全景视频信号处理流水线，系统解决了超微光180度全景高清成像需求，为用户使用以及后续视频智能分析，压缩传输提供了成像基础，详见图5。

图5 视频信号处理流水线

全景视频信号处理流水线主要包括针对图像传感器的黑水平校正、坏点校正、自动曝光与自动白平衡、2D/3D去噪、去马赛克、颜色校正、伽马校正、边缘增强、对比度亮度调整、去模糊、图像修补、去雾、全景展开、畸变校正等技术。其中一部分应用了已有的成熟技术，而另一部分以视频信号处理流水线为基础，突破了传统技术限制，全面提升了成像质量，我们自主研发的核心成果主要包括基于图像边缘特征的颜色恒常性方法、面向透射或折反射的快速全景展开方法、基于编码孔径的图像去模糊方法、基于视差的图像修补方法等。

超微光图像处理技术

在极低照度环境中（0.01Lux以下），普通摄像机如人眼一样是无法看到图像的，通常的做法是采用红外LED补光照明，但此时图像被转换为黑白颜色，且不正确的红外LED补光会造成图像的模糊或明暗反差过大。

超微光全景高速球智能联动系统采用全新的图像处理技术，面对暗光情况下图像已被噪声淹没的现象，通过双阶3D去噪算法实现了对图像中高噪声部分的强力抑制，有效还原了图像应有的色彩与品质，该项技术已达国际领先水平。

全景与高速球智能联动技术。

基于全局与局部一体化监视方法，以监视实时性、精确性、便捷性为设计目标，提出了快速空间精确匹配与校正技术，提出了面向全景与高速球智能联动的目标跟踪、行人检测、行为识别的全景视频智能分析技术，实现了灵敏触发、精准联动的点面一体化监视，丰富了高清全景摄像机功能和应用。具体来说，本系统重点解决了以下四方面的问题：

（1）全景高速球一体机空间配准：实际安装时全景摄像机和高速球相对位置存在各种偏差。不同全景高速球一体机全景和高速球坐标的变换关系不同，因此每台全景高速球一体机都需要配准。如何确定全景图像和高速球局部场景图像素点坐标之间的变换关系，从而准确控制高速球摄像机旋转角度，显示用户选择的指定区域的视频图像，是个关键问题。针对现有技术存在的配准难度大、高速球不能准确定位拍摄的问题，本系统提出了能够对全景图像和高速球局部场景图像进行准确配准的全景高速球一体机空间配准方法。此方法当用户选择全景图中的某个点或区域时，能够快速准确计算出高速球旋转角度，并对局部场景进行拍摄，能显著提高监控设备性能。

（2）全景高速球一体机全景图像校正：由于全景高速球一体机中全景摄像机向重力方向倾斜拍摄，获得的180度全景图像存在较大的畸变。这种畸变不同于普通全景图像中的畸变，也不同于顶式拍摄的全景图像中的畸变，因此需要一种针对此畸变特点的校正算法对全景图像进行畸变校正，使之符合正常的人眼观察习惯。为解决上述技术问题，提出一种基于全景高速球一体机的全景图像校正算法。算法简单有效、计算速度快，其FPGA中实现满足了全景图像的实时校正输出。

（3）全景高速球一体化监视浏览：本系统针对全景高速球一体机监视，设计了符合用户操作习惯、人机交互简单的联动浏览方法，并设计和开发了相应的客户端监视、浏览和视频管理软件系统。

（4）全景高速球联动智能分析：本系统提出了多种智能视频分析技术，包括基于深度空间分解的全景高清全向立体视频的目标跟踪技术、基于概率重采样的级联检测的全景高清视频中行人检测算法、基于多尺度局部约束的时空编码技术的全景高清视频中行为识别等。提高了全景高清摄像机系统的智能化分析能力，扩展了全景高清摄像机系统的应用。

在太原市天网工程中的应用

为了创建“智慧城市”，太原市于2013年出台《太原市“天网”治安工程视频监控系统建设三年规划》，拟利用三年时间新装高清视频监控摄像机32万台，达到市区每平方公里装备120台摄像机的标准。2015年又出台“天网”治安工程建设任务分解表，全力推进“天网”视频监控系统建设任务的完成。其中“天网”工程正是以本文提出的超微光全景高速球智能联动系统为依托，将人事管理中的科层制引入到视频监控摄像头的管理之中，形成新型天网架构，实现视频管理的一键式应用。整个系统的平台层次架构如下：

图6 平台层次架构

城市视频立体化防控系统是建立在以城市为单位的应用系统，在应用上将高点和路面监控设备紧密结合，同时内嵌各种智能工具的。依托城市中完善的视频卡口子系统、地面枪机视频监控子系统、制高点点面联动子系统、制高点全景相机子系统、地面球机视频监控子系统及支撑城市运行的各种云数据，实现对各种可疑目标的分析、预警、跟踪及最终抓捕的全过程响应。

太原市“天网”工程的一个突出特点是采用立体化视频监控模式，可以从多维度实现视频监控的全覆盖并兼顾日常应用与突发事件的不同需求方面。下图中第一层、第二层、第三层超为高楼层制高点全天候部署，通过光纤直连、市政统一供电、快速应急保障的方式实现。第三层热气球无人机、第四层平时保留数据接口，突发事件发生时设备启动，分别按照不同的事件规模和等级采用不同方式。

图7 城市视频立体化监控模式空间总体架构

城市视频立体化防控系统将本文提出的超微光全景高速球智能联动系统作为单点设备及管理设备接入城市视频立体化防控系统，实现在单个超微光全景高速球智能联动系统之下的联动及多个超微光全景高速球智能联动系统之间的联动。并将视频监控点位信息、被观测目标背景数据通过数据调用和数据推送的方式，同步呈现出来，实现信息追随警务活动的目标。如图8的三屏联动模型，通过在GIS地图及多屏联动中的鼠标点击，快速确定目标位置。

城市视频立体化防控系统还可以通过在主画面中点选摄像机图标，快速调用对应的视频资源，如图9所示。

图8 三屏联动模型

图9 相机联动六分屏模型

本文提出的超微光全景高速球智能联动系统，作为太原市“天网”工程的最重要部分，支持了其中枪球联动、区域联动等核心功能，使得太原市的“智慧城市”建设获得了巨大的成功。

作者单位：贺志刚，山西省太原市公安局；徐玮，中国人民解放军国防科学技术大学信息系统与管理学院；张虎，山西中天信科技股份有限公司；刘晓华，湖南优象科技有限公司