基于多传感器信息融合技术的智能视频监控系统研究

刘鹏飞， 赵陈，王嘉永， 张洁

（1 兰州交通大学电子与信息工程学院 兰州 730070；2 河北师范大学汇华学院，石家庄 050091）

0 引言

在目前犯罪分子利用先进的科学技术、复杂化、职能化的犯罪手段的情况下，单一传统的防范手段已经难以满足重点单位、交通车站、公共场所的安全保卫工作的需要。智能视频监控是在现有的数字视频监控系统，加上自动数据采集及视频分析技术，通过对摄像机拍录的图像序列进行自动分析来对动态场景中的目标进行定位、识别和跟踪，对可疑行为给出实时警告，并及时、有效地存储相关的录像资源。

1 多传感器信息融合技术

多传感器信息融合是针对一个系统中多种传感器（多个或多类）技术所展开的一种信息处理的新研究方向，它的基本原理也就像人脑综合处理信息一样，充分利用若干个传感器资源，合理地采集多传感器及其观测信息，把多传感器在空间或时间上可冗余和互补信息，在一定准则下加以自动分析、综合以完成所需的决策和估计，以获得被测对象的一致性解释或描述[1]。

在多传感器信息融合技术中，各种传感器的信息可能具有不同的特征及意义，快变的或者缓变的，实时的或者非实时的，同步的或者异步的，模糊的或者确定的，相互支持或互补的，多传感器信息融合与经典信号处理方法之间也存在本质的区别，其关键在于数据融合所处理的多传感器信息具有更复杂的形式，而且可以在不同的信息层次上出现（见图1），这些信息抽象层次包括数据层、特征层和决策层(即证据层)。所以多传感器系统是信息数据融合的硬件基础，多源信息是数据融合的加工对象，协调优化和综合处理是信息数据融合的核心[2]。

图1 多传感器信息融合的一般体系

2 系统的构建及组成

多传感器的智能监控系统主要由设在特定的保护区上的传感器装置、视频监控摄像头及设在监控中心室的控制主机组成。通过集成多普勒微波雷达传感器、红外传感器、CCD视频传感器等组成的智能监控系统，实现外来者非法穿越周界保护区的及时检测报警及视频跟踪等功能，各传感器将立即将探测信号发送到系统平台，系统能够及时地将外来者进行智能识别检测，并对可疑的行为进行告警和视频监控，以便保卫人员的调动和对事故的及时处理。系统的结构组成如图2所示。

（1）微波-雷达传感器安装于周界保护区的中心位置，两两对射，距离大约为50～100m 左右。其原理为：多普勒理论是以时间为基础的，当无线电波在行进过程中碰到物体时该电波会被反射，反射波的频率会随碰到物体的移动状态而改变。如果无线电波碰到的物体的位置是固定的，那么反射波的频率和发射波的频率应该相等；如果物体朝着发射的方向移动，则反射回来的波会被压缩，就是说反射波的频率会增加；反之反射回来的波的频率会随之减小。

（2）被动红外传感器主要对自然界中的人体辐射的红外线产生检测，例如人体、火焰等物体都会放射出红外线，只是其发射的红外线的波长不同而已。人体的温度为36℃～37℃，可辐射出中心波长为9～10μm的红外线。当红外传感器接受到波长7～10μm以上的红外线时，便做出检测，以上就是对人体敏感的红外线传感器。

（3）CCD视频传感器是指运用CCD摄像头采集的视频图像，通过DSP芯片对帧图像进行处理检测，采用了背景减除的方法对图像内的运动物体进行识别检测，从而对保护区内的可疑物体及人的运动方向和移动位置进行及时的预判，并准确的采集保护区内的视频信息，传递到后端控制中心。

图2 多传感器信息融合系统结构图

以上这3种传感器从人体辐射的红外线、多普勒的频率的改变和运动物体的图像检测等不同入侵的情况，消除了单一传感器的报警漏报和误报率，同时克服了因传感器个别故障产生的系统报警偏面性。

3 系统的多传感器信息融合方法

在多传感器系统中，各传感器提供的环境信息都具有一定程度的不确定性，对这些不确定信息的融合过程实质是一个不确定性推理过程。由于模糊逻辑技术和神经网络技术各自独到的特点，将模糊技术和神经网络有机结合组成模糊神经网络控制系统，可实现模糊规则自动提取及模糊函数。模糊神经网络是将模糊理论和神经网络融合在一起，以便发挥两者的功能。两者的融合形态多种多样，本文给出一种串联结构的模糊神经网络，该网络由两部分组成，前一部分为模糊量化部分，后一部分为神经网络部分。

如图3所示，不难发现在整个网络图中，第一层XYZ为输入层，其中共分为3个节点，其中每个节点数由传感器的输入信号数量决定。其输入量分别为微波雷达的不同频率、辐射红外线的波长、模拟的视频图像。

图3 模糊神经网络信息融合结构图

各种传感器传到下一层的各个输入变量信号经过不同类别地滤波和算法检测，根据实际情况及经验值的不同系统将得到第二层的X1X2、Y1Y2、Z1Z2等模糊量化值。第三层为神经网络隐含层，神经网络的不同模糊量化值经过Sigmoid函数映射到输出量的集合中。其中隐含节点数可根据实际情况决定，采取2n+1个（本系统中，n=3个输入节点数），隐含函数为

在决策层中，Q1Q2Q3Q4每一个输出节点代表了不同的决策判断，其中大致分为报警录像、录像、正常、非正常。结合实际情况函数的输出值不能为负，Sigmoid作用函数将采用：f(x) =1(1+e-x)。

4 仿真研究

考虑到复杂的实际监控环境以及各种传感器自身易受干扰、寿命长短等影响，根据经验知识，我们发现在日常安防系统中的单一的电子设备系统并不是达到理想的工作状态。如：红外线探测器常常受到探测区域暖气流的影响而产生误报、微波雷达探测器往往受到周围环境的电磁波干扰而产生误报、视频图像检测则易受光线不良和大雾天气的影响而产生漏报等。为此将对以上传感器输入信号进行假设与实验。设：红外传感器的误报率为0.5%，微波雷达探测的误报率0.5%、漏报率0.5%，视频检测的误报率0.5%、漏报率0.5%。通过MATLAB实验设定网络输入：p=[0.95,0.05,0.05,0.95;0.05,0.05,0.95,0.95;0.05,0.05,0.95,0.95]，输出：t=[0.05,0.3,0.5,0.95]。采用神经向前网络traindx函数训练以上样本，选择期望误差为0.001，当网络在经过74次迭代后收敛，如图4所示。

图4 traindx函数训练结果

其中仿真输出结果为a =0.0697 0.3015 0.4822 0.8995。以上样本诊断值基本与样本输出结果一致，同时说明了诊断结果具有一定的可信性。

[1]高岩,熊建设.周界防越报警数据融合系统的实现方法[J].安防科技，2007(06).

[2]林月芳,吉海彦.基于多传感器信息融合技术的防盗报警系统[J].微计算机信息,2003(10).

[3]朱凤春,戴炬.多机器人系统传感器融合技术应用研究[J].微计算机信息,2006(35).

[4]李圣怡,吴学忠,范大鹏.多传感器融合理论及在智能制造系统中的应用[M].长沙: 国防科技大学出版社,1998.

[5]Hall L D, Linas J.Handbook of Multi-sensor Data Fusion[M].Boca Raton, FL, USA: CRC Press,2001.

[6]滕召生,罗隆福,童调生.智能检测系统与数据融合[M].北京：机械工业出版社，2001.

[7]Ruud M.A Hampapur Face Cataloger: Multi-Scale Imaging for Relating Identity to Location[M].2003.

[8]朱大奇,刘永安.故障诊断的信息融合方法[J].控制与决策,2007（22）.