基于DM8168的遗留物体检测算法设计

李新文+张璐

摘 要： 针对智能监控中遗留物体检测算法存在物体之间的遮挡和将静止的人检测为遗留物造成的虚警问题，为了达到实际应用中低功耗、实时和系统稳定性的要求，设计了一种基于达芬奇DM8168平台的遗留物检测方案。该方案使用双重背景方法检测出由运动变成静止的目标，同时结合证据累加的方式解决了运动目标遮挡静止目标造成的虚警问题，并采用支持向量机分类器对静止的目标分为人和遗留物体，避免了将静止的人检测为遗留物的问题。实验结果验证了该算法可以达到预期的效果。

关键词： DM8168； 遗留物体检测； 双背景； 支持向量机

中图分类号： TN911.7?34 文献标识码： A 文章编号： 1004?373X（2014）15?0113?04

Design of abandoned object detection algorithm based on DM8168

LI Xin?Wen1， ZHANG Lu2

（1. North China University of Technology， Beijing 100041， China； 2. Hebei University of Science Technology， Shijiazhuang 050018， China）

Abstract： To solve the problems of blocking and false alarm caused by regarding the still people as remnants during abandoned objects detection， and satisfy the requirements of low power consumption， real time and stability in practical application， an abandoned object detection scheme based on DM8168 was designed. In the approach， dual?background is used to detect the still objects coming from moving objects. It also solve the false alarm problem caused by the phenomenon that the moving objects block out the still objects in combination with evidence accumulating mode. Moreover， the SVM classifier is used to distinguish between people and abandoned objects to avoid the problem that the still people are regarded as abandoned objects. The experimental results show that the algorithm can achieve the desired effect.

Keywords： DM8168； abandoned object detection； dual background； SVM

0 引 言

近年来随着国际冲突的不断升级，针对飞机场，火车站，地铁等人流量较多的交通枢纽的恐怖袭击越来越多。这些恐怖袭击多以异常物体如遗留物的形式出现，越来越多的监控设备被用来维护安全，防止恐怖活动的发生。一些针对包裹行李等遗留物的检测算法[1?5]开始出现，智能视频监控系统的需求也越来越强烈。

传统的以PC机为平台的视频图像处理算法，无法满足恶劣天气、无人值守环境下的实时系统要求。高速数字信号处理器[6?7]的出现立刻以其体积小、功耗低、运行稳定、便于扩展等优点被广泛应用。TI公司的DM8168芯片集成了ARM、DSP和视频协处理器多核系统，保持低功耗性的同时提升了系统的实时运算能力，满足各类智能视频处理算法的需求。因此以TI的DM8168嵌入式平台，设计了一款具有遗留体检测功能的嵌入式系统。该系统具有检测速度快，误检漏检率低，便于扩展等优点。

1 系统的框架

本系统主要由高清相机、远端控制平台、达芬奇开发板，交换机、外部存储设备等组成。系统的核心处理器选择TMS320DM8168。TMS320DM8168为TI公司的高性能DMSoC，其中包含1个DSP，1个Cotex?A8，3个HDVICP。CPU具有强大的数据处理能力并包含大量的外设资源。HDVICP这个硬件可以加速对图像、视频的编码和解码。系统框架设计如图1所示。其中：A8处理器作为主控制器，负责各个处理器的调度和处理外部设备；DSP处理器用来做视频处理和视频分析；Video M3可以用作H264，MPEG?4，MJPEG编码/解码；VPSS M3可以用来处理视频捕获、显示、缩放等功能。

通过Socket获取图像数据后，A8通过用SysLink组件中的ListMP， Notify和共享寄存器模块实现将图像数据传递给M3Video处理器进行解压，解压完成后M3内部则通过带有Notify（通信）机制的IPC，ListMP和FVID2_Frame来实现帧交换。将帧数据传递给M3VPSS复制成两路数据：一路视频直接给DSP进行算法处理，处理后的结果返回给A8。另一路视频经过两级缩放、压缩等处理后存入外设如硬盘等。最后将视频数据和对应该帧数据的处理结果通过TCP发送到客户端显示。

图1 系统的框架设计

2 系统的算法设计及实现

遗留物检测可以分为背景更新和前景提前模块，目标检测模块和分类模块三部分：

2.1 背景更新和前景提取

为了获得较为理想的背景以检测静止的前景，本文采用像素级背景更新方法[8]，引入动态矩阵以决定某像素何时应该被更新入背景[9]，其流程图如图2所示。

图2 背景检测算法流程

引入动态矩阵的目的是为了确定是否有新的静止目标进入场景中，判断方法如下：

（1）[It（x，y）]-[BCt（x，y）>T]（表示有物体出现）&&[It（x，y）]-[BOt（x，y）]（表示有物体出现）>T&&[Dt（x，y）]=0（表示该物体已处于稳定），表示有新的静止目标出现。

（2）[It（x，y）]-[BCt（x，y）]>T（有）&& [It（x，y）]-[BOt（x，y）]

（3） 都小于T&&[Dt（x，y）]=0，表示为纯净的背景。

其中：[It（x，y）]表示当前帧某像素处的值；[BCt（x，y）]表当前背景；[BOt（x，y）]表示原始背景；[Dt（x，y）]代表动态矩阵在该像素处的值；[T]代表阈值。

此时当前背景BC和原始背景BO双背景的更新规则如下：

（1） 当有新的静止目标出现时，更新当前背景并将相应的当前背景存入原始背景，即：

[BOt（x，y）=BCt（x，y）] （1）

[BCt（x，y）=It（x，y）] （2）

（2） 旧目标离开时，如原来有遮挡，遮挡物消失后，将保存在原始背景中的信息存入当前背景，即：

[BCt（x，y）=BOt（x，y）] （3）

（3） 当为纯净背景时，直接更新双背景，即：

[BCt（x，y）=a*It（x，y）+（1-a）*BCt（x，y）] （4）

[BOt（x，y）=a*It（x，y）+（1-a）*BOt（x，y）] （5）

式中：[a]为学习速率。使用双背景的原因是对于遗留物体，无论[a]如何选取该静止的目标都最终将会被更新入背景中，从而造成无法检测的问题。使用双背景，遗留物体进入视场变为静止之后，它将被更新入当前背景，但原始背景中保存了先前的背景信息，因此，当前前景中不能检测出遗留物体，而原始前景恰好相反，同时结合动态矩阵中的状态信息便可检测出这一静止的前景，可以达到对遗留物体检测的目的。

2.2 遗留物体的检测

将新出现的静止物体更新入差分图像，二值化、形态学处理之后，对差分图像进行轮廓查找。找到后通过进一步判断以确定该轮廓是否为异常物体，判断方法如图3所示。

图3 异常物体判断方法

遗留物体进入视场变为静止之后，它将被更新入当前背景，但原始背景中保存了先前的背景信息，因此，当前前景中不能检测出遗留物体，而原始前景恰好相反，同时结合动态矩阵中的状态信息便可检测出这一静止的前景，然而假如直接依赖于这一规律进行决策，将检测出过多虚假的静止前景。在此，通过累加证据去除虚警并证实最终的遗留物体。其思想如图4所示。

图4 静止物体检测算法

在实际的监控场景中，遮挡问题是难以避免的，而证据图像为处理这类问题提供了有效的手段。当遗留物体被其他运动目标遮挡时，按照该思想，证据图像中对应被遮挡的部分将逐步减少。随着遮挡的结束，对应遗留物体的那部分证据将不断增加，直到该目标再次被检测出来。

2.3 目标分类

实际检测中，人进入场景静止一定时间后也会同包裹行李等物体一样被判断成遗留物，从而造成虚警。为了区分人和物，本文采用HOG特征+SVM分类器方法。

方向梯度直方图（Histogram of Oriented Gradient， HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。

支撑向量机（Support Vector Machine，SVM）[10]是根据统计学习理论中结构风险最小化原则提出的。利用支持向量机基于形状特征的运动目标分类方法，通过对一组己知类别的样本数据的学习（训练）来确定某个判决界限，使得按这种判决规则对待识别对象进行分类所造成的错误识别率最小，该方法可以避免人为去指定判断目标需要的阈值。

分类算法流程如图5所示。

3 实验结果

为了验证本算法的有效性，采用地铁站内大小为320×240的视频对本系统进行实验验证。系统运行在DM8168平台下，C674x DSP主频为1 GHz，Cotex?A8主频为1 GHz，HDVICP频率为600 MHz。Linux内核版本为2.6.37，根文件系统为ubi文件系统。实验的视频中有行人将行李包遗留在站台后离开的行为，也有行人遮挡行李的行为，站台上也有等待列车的行人，也有经过站台的行人，遗留物检测算法将遗留的行李检测为遗留物，将静止的行检测为非遗留物，运动的行人将行李遮挡时还能检测到遗留的行李，行李被拉走后，取消遗留物检测报警。具体的实验结果如图6所示，其中黑白图中白色表示检测的静止像素。

图5 基于HOG特征的SVM分类器

图6 遗留物检测算法结果

图6（a）表示有拉行李的行人出现。图6（b）表示检测到静止的行人，静止的行行李但主人还没有离开，采用SVM分类器后没有将静止人检测为遗留物，也没有主人的行李检测为遗留特。图6（c）表示行李的主人离开了。图6（d）表示行李主人离开后将行标识为遗留物，静止的行人没有标识为遗留物。图6（e）和图6（f）表示行李被运动的行人遮挡的检测情况。图6（g）～（i）表示行李被拉走后取消警告标记的情况。

从实验结果可以看出本算法可以较好地处理遮挡、静止行人和静止物体的区分问题，验证了本文算法的有效性。

4 结 论

本文针对传统监控系统的不足，将遗留物体检测算法嵌入到DM8168平台，设计了一种具有遗留物智能检测功能的嵌入式系统。实验结果表明：采用双背景算法可有效地区别静止目标和运动目标，采用基于HOG特征的SVM分类器可以有效地将静止行人和静止的物体分开，采用证据累加算法可以很好地处理运动物体遮挡遗留物的问题，提高了遗留物检测算法效用。利用DM8168的多核系统很好地平衡了系统的低功耗和高速实时处理性能之间的矛盾，满足了实际应用的需求。本系统运算性能可以满足实时应用，且较好的处理了遮挡和虚警造成的影响，具有良好的稳定性和稳健性，可应用于飞机场、地铁站等交通枢纽。

参考文献

[1] AUVINET E， GROSSMANN E， ROUGIER C， et al. Left?luggage detection using homographies and simple heuristics [C]// Proceedings of IEEE International Workshop on Performance Evaluation in Tracking and Surveillance. New York， USA： IEEE Press， 2006： 51?58.

[2] MIEZIANKO R， POKRAJAC D. Detecting and recognizing abandoned objects in crowded environments [J]. Computer Vision Systems （S0302?9743）， 2008， 5008： 241?250.

[3] LI X L， ZHANG C， ZHANG D. Abandoned objects detection using double illumination invariant foreground masks [C]// Proceedings of 20th International Conference on Pattern Recognition. Istanbul： ICPR， 2010： 436?439.

[4] KIM K， CHALIDABHONGSE T H， HARWOOD D， et al. Real?time foreground?background segmentation using codebook model [J]. Real?Time Imaging， 2005， 11（3）： 172?185.

[5] 方瑜，滕奇志，李科伟，等.复杂场景下遗留物体的检测[J].计算机仿真，2011，28（1）：281?284.

[6] 刘德方，王戴木，邓明，等.基于Davinci?DM6467的高斯混合模型算法的实现[J].阜阳师范学院学报：自然科学版，2012（2）：69?76.

[7] 赵攀，卢彬.基于FPGA+DM6467智能监控系统设计[J].电视技术，2012（7）：137?139.

[8] YANG Tao， LI Stan?zi， PAN Quan， et al. Real?time and accurate segmentation of moving objects in dynamic scene [C]// Proceedings of ACM Multimedia?2nd International Workshop on Video Surveillance and Sensor Networks. New York， USA： ACM Press， 2004： 136?143.

[9] 吴明军，彭先蓉.遗失目标的实时检测算法[J].光电工程，2009，36（7）：36?40.

[10] 程和生，胡幸福.基于HOG和SVM的人体检测技术在静态图像中研究[J].仪器仪表用户，2012，19（5）：20?23.

图5 基于HOG特征的SVM分类器

图6 遗留物检测算法结果

图6（a）表示有拉行李的行人出现。图6（b）表示检测到静止的行人，静止的行行李但主人还没有离开，采用SVM分类器后没有将静止人检测为遗留物，也没有主人的行李检测为遗留特。图6（c）表示行李的主人离开了。图6（d）表示行李主人离开后将行标识为遗留物，静止的行人没有标识为遗留物。图6（e）和图6（f）表示行李被运动的行人遮挡的检测情况。图6（g）～（i）表示行李被拉走后取消警告标记的情况。

从实验结果可以看出本算法可以较好地处理遮挡、静止行人和静止物体的区分问题，验证了本文算法的有效性。

4 结 论

本文针对传统监控系统的不足，将遗留物体检测算法嵌入到DM8168平台，设计了一种具有遗留物智能检测功能的嵌入式系统。实验结果表明：采用双背景算法可有效地区别静止目标和运动目标，采用基于HOG特征的SVM分类器可以有效地将静止行人和静止的物体分开，采用证据累加算法可以很好地处理运动物体遮挡遗留物的问题，提高了遗留物检测算法效用。利用DM8168的多核系统很好地平衡了系统的低功耗和高速实时处理性能之间的矛盾，满足了实际应用的需求。本系统运算性能可以满足实时应用，且较好的处理了遮挡和虚警造成的影响，具有良好的稳定性和稳健性，可应用于飞机场、地铁站等交通枢纽。

参考文献

[1] AUVINET E， GROSSMANN E， ROUGIER C， et al. Left?luggage detection using homographies and simple heuristics [C]// Proceedings of IEEE International Workshop on Performance Evaluation in Tracking and Surveillance. New York， USA： IEEE Press， 2006： 51?58.

[2] MIEZIANKO R， POKRAJAC D. Detecting and recognizing abandoned objects in crowded environments [J]. Computer Vision Systems （S0302?9743）， 2008， 5008： 241?250.

[3] LI X L， ZHANG C， ZHANG D. Abandoned objects detection using double illumination invariant foreground masks [C]// Proceedings of 20th International Conference on Pattern Recognition. Istanbul： ICPR， 2010： 436?439.

[4] KIM K， CHALIDABHONGSE T H， HARWOOD D， et al. Real?time foreground?background segmentation using codebook model [J]. Real?Time Imaging， 2005， 11（3）： 172?185.

[5] 方瑜，滕奇志，李科伟，等.复杂场景下遗留物体的检测[J].计算机仿真，2011，28（1）：281?284.

[6] 刘德方，王戴木，邓明，等.基于Davinci?DM6467的高斯混合模型算法的实现[J].阜阳师范学院学报：自然科学版，2012（2）：69?76.

[7] 赵攀，卢彬.基于FPGA+DM6467智能监控系统设计[J].电视技术，2012（7）：137?139.

[8] YANG Tao， LI Stan?zi， PAN Quan， et al. Real?time and accurate segmentation of moving objects in dynamic scene [C]// Proceedings of ACM Multimedia?2nd International Workshop on Video Surveillance and Sensor Networks. New York， USA： ACM Press， 2004： 136?143.

[9] 吴明军，彭先蓉.遗失目标的实时检测算法[J].光电工程，2009，36（7）：36?40.

[10] 程和生，胡幸福.基于HOG和SVM的人体检测技术在静态图像中研究[J].仪器仪表用户，2012，19（5）：20?23.

图5 基于HOG特征的SVM分类器

图6 遗留物检测算法结果

图6（a）表示有拉行李的行人出现。图6（b）表示检测到静止的行人，静止的行行李但主人还没有离开，采用SVM分类器后没有将静止人检测为遗留物，也没有主人的行李检测为遗留特。图6（c）表示行李的主人离开了。图6（d）表示行李主人离开后将行标识为遗留物，静止的行人没有标识为遗留物。图6（e）和图6（f）表示行李被运动的行人遮挡的检测情况。图6（g）～（i）表示行李被拉走后取消警告标记的情况。

从实验结果可以看出本算法可以较好地处理遮挡、静止行人和静止物体的区分问题，验证了本文算法的有效性。

4 结 论

本文针对传统监控系统的不足，将遗留物体检测算法嵌入到DM8168平台，设计了一种具有遗留物智能检测功能的嵌入式系统。实验结果表明：采用双背景算法可有效地区别静止目标和运动目标，采用基于HOG特征的SVM分类器可以有效地将静止行人和静止的物体分开，采用证据累加算法可以很好地处理运动物体遮挡遗留物的问题，提高了遗留物检测算法效用。利用DM8168的多核系统很好地平衡了系统的低功耗和高速实时处理性能之间的矛盾，满足了实际应用的需求。本系统运算性能可以满足实时应用，且较好的处理了遮挡和虚警造成的影响，具有良好的稳定性和稳健性，可应用于飞机场、地铁站等交通枢纽。

参考文献

[1] AUVINET E， GROSSMANN E， ROUGIER C， et al. Left?luggage detection using homographies and simple heuristics [C]// Proceedings of IEEE International Workshop on Performance Evaluation in Tracking and Surveillance. New York， USA： IEEE Press， 2006： 51?58.

[2] MIEZIANKO R， POKRAJAC D. Detecting and recognizing abandoned objects in crowded environments [J]. Computer Vision Systems （S0302?9743）， 2008， 5008： 241?250.

[3] LI X L， ZHANG C， ZHANG D. Abandoned objects detection using double illumination invariant foreground masks [C]// Proceedings of 20th International Conference on Pattern Recognition. Istanbul： ICPR， 2010： 436?439.

[4] KIM K， CHALIDABHONGSE T H， HARWOOD D， et al. Real?time foreground?background segmentation using codebook model [J]. Real?Time Imaging， 2005， 11（3）： 172?185.

[5] 方瑜，滕奇志，李科伟，等.复杂场景下遗留物体的检测[J].计算机仿真，2011，28（1）：281?284.

[6] 刘德方，王戴木，邓明，等.基于Davinci?DM6467的高斯混合模型算法的实现[J].阜阳师范学院学报：自然科学版，2012（2）：69?76.

[7] 赵攀，卢彬.基于FPGA+DM6467智能监控系统设计[J].电视技术，2012（7）：137?139.

[8] YANG Tao， LI Stan?zi， PAN Quan， et al. Real?time and accurate segmentation of moving objects in dynamic scene [C]// Proceedings of ACM Multimedia?2nd International Workshop on Video Surveillance and Sensor Networks. New York， USA： ACM Press， 2004： 136?143.

[9] 吴明军，彭先蓉.遗失目标的实时检测算法[J].光电工程，2009，36（7）：36?40.

[10] 程和生，胡幸福.基于HOG和SVM的人体检测技术在静态图像中研究[J].仪器仪表用户，2012，19（5）：20?23.