基于全景视觉的态势感知系统研究

杨柯 张长江 周军华 陈兆飞

摘要    本文首先介绍了态势感知的概念和全景视觉态势感知系统的组成及特点，概述基于全景视觉的态势感知系统的应用需求背景和在军民用领域实际的应用情况。接着介绍了全景视觉系统的技术实现途径及各技术途径的优劣，指出实现全景视觉需要解决的摄像机选型技术、全景光机成像技术、全景光学及通信控制技术、全景图像处理技术、全景图像显示技术等关键技术问题。最后详细介绍了系统在陆、海、空、天的军用领域及其他民用领域的市场应用分析，并给出了本文的总结展望。

【关键词】全景视觉 态势感知 全景图像处理及显示 全景视觉系统应用

1 引言

态势感知是指在一定时空条件下，对环境因素的获取、理解和对未来的预测，是Endsley在1988年提出的定义，1995年其对态势感知理论及评价方法进行了系统研究，奠定了态势感知理论基础，并将该概念首次引入到网络与信息安全领域。

基于全景视觉的态势感知系统以光电图像监视为手段，以全景态势感知为目的，具有信息丰富、形象直观、准确度高和时效性强等特点，常用的图像数据包括可见光/红外图像和合成孔径雷达图像。本文只讨论基于可见光/红外全景图像的态势感知系统。

2 需求背景

态势感知理论的需求背景来源于航空飞行领域，用于支持飞行员和指挥官的快速决策，近几年基于全景视觉的态势感知系统逐渐成为战场配置及作战指挥的关注焦点之一。

在军用领域，基于全景视觉的态势感知系统可以为坦克装甲车作战员、飞机起降指挥员、驾驶战机空战的飞行员等提供更加全面的直观、可视化的图像信息，从而实现态势感知、作战防御、指挥决策，军情处置等功能。

在民用领域，机器人导航、监狱、核电站、民用机场等场合使用基于全景视觉的态势感知系统可实现区域内全方位监控，从全局和整体的高度监视和感知上述区域的人员、物体的状态和变化趋势，为相关人员快速掌控突发异常事件提供实时、直观的全景视频信息。

在航空航天领域，一幅全景图像可以涵盖更全面的环境信息，以期实现对火星、月球表面的更好探测。

3 实现途径

基于全景视觉的态势感知系统是采用图像传感器技术，将环境信息转换为视频信息，并在屏幕上显示出来，实现与周边环境信息交互的理论、方法和技术。根据成像原理可分为单视点全景成像技术和多视点全景成像技术。

（1）使用鱼眼镜头、环形透镜、反射镜（形状结构可以是球面、圆锥面、抛物面、双曲面）等光学元件扩大相机视场的单视点全景成像方法。如图1所示。

（2）多视点成像的图像拼接方法。使用多相机拼接或单相机旋转对不同方向的场景成像，再将这些不同方向的场景图像拼接成全景图像。如图2所示。

依据全景视觉成像的构成形式的不同，又有如下五种实现方式：一是单相机云台旋转式全景视觉系统;二是基于鱼眼镜头的全景视觉系统，该方式可获得大视场的全景图像;三是基于多相机拼接组合的全景视觉系统;四是由一个曲面反射镜与一台摄像机组成的曲面反射式全景视觉系统;五是由折反射透镜组与摄像机组成的折反透镜式全景视觉系统。五种全景视觉系统实物图如图3所示，实现的技术途径优劣对比分析表1所示。

4 关鍵技术

基于全景视觉的态势感知系统是以全景摄像机选型技术、全景光机成像技术、全景光学及通信控制技术、图像处理技术、全景图像显示技术等为核心的软硬件相结合的一体化系统，其涉及关键技术如下。

4.1 摄像机选型

摄像机选型是根据系统技术指标要求进行传感器和镜头参数计算选型的过程。该项工作对系统功能性能实现起着关键性作用，而采用何种器件又反过来决定了系统的功能性能。首先是传感器的选择，包括可见光和红外传感器。可见光传感器有CCD、CMOS等成像器件;红外传感器有制冷型和非制冷型，短波、中波及长波红外器件，这些都需综合考量。其次是镜头的选择，一般定焦镜头使用镜片少、结构简单、可靠性高、设计与加工精度高，而高精度变焦镜头的结构尺寸及加工难度较大，成本高，且不适合做全景成像。最终的工作全景摄像机选型需综合考虑传感器及镜头光学特性、作用距离、目标辐射、背景辐射、大气衰减、材料、结构、订货来源、国产化需求、成本和系统的复杂性要求等因素。

4.2 全景光机成像技术

全景成像光机设计通常采用中心投影法原理，该成像方式既是普通相机的成像方式，也是人眼观察外部世界的成像方式。鱼眼镜头、曲面反射镜、折反射透镜组等就是利用全景光机设计技术实现的全景成像。

鱼眼镜头具有焦距短、视场大的特点，但畸变大是该类镜头最大的问题。一般情况下畸变包括径向畸变和切向畸变，其产生的原因在于相机光学系统中存在因制造产生的光学误差，即目标点在相机靶面上的实际投影点与目标理想成像点位置不完全重合，须经复杂图像校正算法对其进行处理。图4是鱼眼透镜式全景视觉系统光机结构原理图。

基于曲面反射透镜的全景视觉系统通过相机光轴垂直水平面的放置方式，在相机前端光学系统中配置相应的曲面反射镜，从而实现将入射角度较大的光线反射成入射角小的光线，经相机光学系统汇集和图像传感器成像后实现增大监视视场的目的。根据反射曲面不同，可以分为抛物面、椭球面、双曲面全景视觉系统。图5是反射式全景视觉系统光机结构原理图。

折反射式全景视觉系统通过将入射光线多次折射和反射，实现全景柱面图像投影到360°环形视场中成像。该类系统大多采用由两个反射面和两个折射面组成的Panoramic Annular Lens环形结构透镜，该透镜可将360°环形虚像实际成像于图像传感器上。图6是折反透镜式全景视觉系统光机结构原理图。

4.3 全景光学及通信控制技术

为实现系统前、后端光学及通信控制功能，便于后续目标的检测、跟踪及全景视频的拼接融合，一个稳定可靠、利于集成、扩展性强的全自动调光及通信控制单元能完成系统视频的同步采集和增强、减轻后续图像处理压力，并实现系统前后端的通讯链接。

4.4 图像增强及融合技术

图像增强及融合技术针对不同的气象条件，如雨雪、雾霾、黑暗、沙尘、强光、多干扰等，同时配置不同波段图像传感器，如电视、红外和紫外相机，将各波段成的不同特性的图像，或模糊不清的图像，进行几何配准，然后采用图像增强技术和多光谱融合算法将各图像中所含的优势信息优势互补，生成新的全景视频图像，改善成像效果，提高系统探测能力。

4.5 电子稳像技术

全景监视摄像机通常会安装在移动的车辆、舰船、飞机等设备上，该类平台一般存在较大的机械震动有时加上外界强风干扰，会造成相机抖动，不利于系统成像、目标检测跟踪和图像拼接融合，而有效的电子稳像技术可以有效地去除这些晃动。

4.6 多目标跟踪技术

迄今为止，尽管目标检测跟踪的研究已取得很多成果，相关技术也在实际应用中也取得不错的效果，但基于全景视覺的多目标跟踪技术还需要解决360°视场下目标实际所处的背景复杂，云层变化快、强光及其他干扰多，且在整个过程中即有低、小、慢又有高、大、快成像特性的目标实时稳定跟踪技术难题。

4.7 全景图像拼接技术

全景图像视频拼接是通过相关算法，将来自单相机移动采集或者多相机拼接采集的多幅图像拼接成一幅360度全景图。图像拼接的主要步骤包括：摄相机的标定、传感器图像畸变校正、图像的投影变换、特征点匹配、全景图像拼接融合等。该过程涉及到图像缩放、垂直旋转、水平旋转校正技术，不同角度图像的坐标转换技术，图像畸变校正技术，图像投影变换技术，特征点匹配技术、图像融合技术等。

4.8 全景图像显示技术

软件工程技术水平直接影响系统工作模式配置合理程度和全景图像的显示效果，全景图像显示技术的优劣会对系统整体性能发挥和使用效率产生重要影响，关键技术包括软件工程技术、多层次全景显示技术、人机工程学技术等。全景图像处理显控软件一般要求软件功能齐全、界面友好，全景感知图、局部区域图、360°环带及雷达图布局合理，还可视需要显示目标定位信息，实现自动告警功能等。

5 市场应用

5.1 陆军市场应用

现代战争中非对称敌人和大规模杀伤性武器对陆军装甲车、坦克造成重大安全威胁，因此这些战车需装备用于战车周围环境观测和告警的全景视觉态势感知系统，该系统用于提前检测战车潜在威胁，包括反装甲武器和临时爆炸物，以适应现代战争需求。系统主要功能包括全局监视、态势感知、进近威胁告警、辅助战车驾驶、出战车前的周边环境安全观察等。图7是法国泰雷兹公司最新研制的车载全景视觉感知系统。

5.2 海军市场应用

图8是法国泰雷兹公司装备到“阿基坦”号多任务型护卫舰上的ARTEMIS全景视觉态势感知系统，该系统采用三个640×512的红外探测器，通过精密光机系统设计实现每个相机覆盖120°视场，三个相机围绕桅杆均匀配置即可实现360°全景监视需求。

5.3 空军市场应用

战斗机或歼击机在空中执行任务时，由于视线受限，无法对进近来袭的敌机或导弹进行全方位的实时可视化侦查作战。图9是美国诺格公司为美最先进的四代战机设计的EODAS全景视觉感知系统。系统通过安装在机身6处不同的位置的图像传感器，采用复杂先进的图像处理算法，将增强融合后的全景图像实时投影于飞行员头盔显示器上，从而为飞行员提供一个围绕飞机机身的全景图像。该系统可对飞机360°方向的进近威胁进行探测和预警，主要用于空战。

5.4 航空航天市场应用

2004年美国研制的“勇气号”和“机遇号”火星探测机器人都配置了基于全景视觉的态势感知系统，目的是为了对月球表面进行全景成像和实现更好的科学探测。该类机器人配备有九台摄像机，除了轮子下装有成像相机外，顶部桅杆上还装有一个全景摄像机，用于探测器的周边环境感知。

5.5 无人机系统市场应用

出于安全或军事需求，需对广域场景进行实时持久监视和态势感知，基于全景视觉的态势感知系统可满足实时、高分辨率、大区域监视需求，并可监控多个感兴趣区域，同时为操作员和分析员提供对跟踪事件的及时视频回溯能力。系统的核心是机载部分，由光电传感器、图像处理单元、高清视频压缩存储单元、图像增强及电子稳像模块和视频分析软件组成，下图10是以色列埃尔比特系统公司最新研制的无人机机载全景视频监测系统。

5.6 民用机场市场应用

目前民用机场的飞机起降指挥作业主要靠飞行塔台上的空管雷达和无线电通信设备完成，面对日益复杂的空间电磁干扰和周边日益增多的不明飞行物威胁，如鸟群、商业小无人机、激光笔照射等，需要指挥员能对机场周围环境有个整体的态势感知和威胁响应能力。基于全景视觉的态势感知系统能辅助塔台指挥官完成机场态势感知、飞行安全威胁报警、进场程序控制和综合指挥决策。如图11所示，将多个摄像机的视频画面通过先进的图像处理算法生成高分辨率的全景图像。

5.7 基于全景视频的特殊监控领域的市场应用

有别于普通安防的事后查证，安防要求极高的特殊区域，如军事管制区、核电站、监狱、炼油厂等区域要求监控设备具备全局监视、整体感知、快速响应、威胁识别告警的能力，目前国内外流行的针对这些特殊区域的视频监控方案有基于视频切换矩阵的视频监控方案、基于PC的视频监控方案等。但这些方案不能实现对整个区域的直观全局感和方位感，仅靠画面上叠加的字符去联想所看画面的实际位置，且显示输出的延迟一般较大、不易扩展等。