基于全景视觉和常规视觉融合的目标跟踪技术

钱泽东等

摘 要：全景视觉和常规视觉协同利用进行运动目标检测与跟踪是图像处理中的一个重要课题，具有广泛的应用前景。文章基于全景视觉与常规视觉融合的目标跟踪技术，采用全景视觉和常规视觉协同方式，由全景发现目标后报警，将目标在空间中的水平和垂直角度信息传递给常规视觉系统，实现目标的跟踪。

关键词：全景视觉；数字图像处理；目标检测；目标跟踪

传统视觉一般采用常规摄像头，一般视野较小，对周围环境信息的获取不全面，容易形成视觉盲区，不能及时地处理某些突发事件。全景视觉能满足人们大视场需求，能在同一时间获取周围水平方向360°，垂直方向超过180°的视野信息，但是对周围环境存在畸变映射，不是实际景物的真实反映，对距离全景摄像机较远的目标无法精确观测和识别。因此，为满足实际中的各种需要，合理运用全景和常规视觉系统，由全景视觉系统发现目标，然后通过位置解算对目标方位信息进行解算，基于解算得到的方位信息，通过常规视觉系统进行精确观察，不失为一种良好的目标跟踪系统。

1 全景视觉和常规视觉融合系统组成

全景和常规视觉系统的结构布置可以有两种，一种是全景视觉系统和常规视觉系统水平方向放置，一种是垂直方向放置。两种结构布置方式都可以实现周围环境的监测，但是水平放置时，常规视觉系统中的云台摄像机会遮挡住一部分全景信息，虽然也能同时通过云台进行观察，但是造成了资源的浪费，相对于垂直方向的放置方法，不能完全发挥全景的优势。而且两者的坐标轴有一段距离，当全景找到目标确定位置信息后，调动云台转动到相应的预置位，而相应的云台控制系统的预置位又因为全景设备的遮挡，云台相机的视野受限。综上所述，本系统采用垂直布置结构，全景和云台的垂直结构又可以有两种情况，一种是全景设备在上，一种是云台设备在上。在这两种情况下，全景摄像机的优势都能被充分地利用，区别就在于云台相机上。选取的云台摄像机垂直方向上能够从水平位置向下转动90°，如果放置在系统的上方，视野也会因为全景设备遮挡而受限，目标出现在同一区域时两者的角度很难完整对应，设置较为复杂，经过试验对比，云台摄像机放置在系统下端，可以把全景计算得到的目标的水平垂直角度直接发送给云台作为目标的位置信息，两者的对应关系较为简单，所以最终选取上全景下与下云台的垂直结构。可以这样说，在进行协调控制的时候，根据几何关系得到全景坐标系下的目标的水平垂直角度，就能控制云台转动的预置位，再微调下角度，就能得到很好的视野。如图1所示。

2 基于帧间差分目标识别

基于全景视觉和常规视觉融合跟踪技术是在目标识别基础上完成的，利用全景装置和云台之间的关系，通过坐标关系变换得到目标的位置信息，使云台能够转动到目标出现区域进行细致观察和追踪，因此，首先必须进行目标识别。

帧间差分法是一种基于相邻帧图像序列之间具有高度相似性，相减看变化确定目标的简单计算方法。将图像中大部分相同的东西忽略掉，直接计算灰度变化较大的区域，在阈值化处理之后就凸显了运动的目标，效果类似高通滤波。

对于图像序列中的运动目标，由于目标在移动中，目标在当前帧的位置和上一帧的位置是不同的，当运动目标的颜色特征与背景颜色特征不完全一致时，那么体现在图像中的变化就为运动目标所在位置的像素值在两幅图像中发生了明显的改变，这种改变可以采用差分并阈值处理的形式凸显出来。

假设当前帧为f（x，y，z，n），上一帧为f（x，y，z，n-1），其中x，y表示圖像像素所在位置；z表示位深（当为彩色图像时表示通道个数z=3，当为灰度图或单颜色通道时z=1）；n表示图像序列的序号（n>1）。

4 试验结果

全景视觉系统与云台装置安装完成之后，两者之间的协调工作关系进行确定。全景完成检测工作之后，还要定位目标，将位置信息出传达给云台，就完成了全部设计功能。云台仅需设置手动控制按钮，进行镜头的微调和目标跟踪功能。基于以上设计原理，在VC++平台上编程实现，证明整体的可行性和优越性。全景软件实现的基本功能是实现全景图像开始预览和图像录制。对采集到的每帧图片进行处理，按帧间差分法处理可疑目标，并且将目标的位置信息给到云台。

云台软件能够完成的基本要求是抓拍目标图像、开始和停止录像，实现云台全方位的调节，云台可以由全景软件直接打开，也可以通过全景内目标发现后打开，在给出目标的水平和垂直方向的角度后，确定云台设置的预置位。云台转动到相应的预置位，这时候就能观察到符合人视觉的正常目标图像，并进行跟踪。

参考文献

[1]张帆.基于全方位视觉的超分辨率重建方法研究[D].哈尔滨工程大学，2008.

[2]古真杰.RoboCup中型组机器人全景视觉硬件研究及设计[D].重庆大学，2008.

[3]唐超.基于双目全景视觉的运动目标特征检测技术[D].哈尔滨工程大学，2012.

[4]Stefano Cagnoni，Monica Mordonini.A Hybrid Dual Camera Vision system[J].

[5]Yoshio Onoe，Roberto Naokazu Yokoya，et al.Visual Surveillance and Monitoring System Using an Omnidi-rectional Video Camera[C].14th International Conference on Pattern Recognition.Brisbane，Australia：IEEE，1998：588-592.

作者简介：钱泽东（1986-），男，山东日照人，东海标准计量中心。