基于改进三帧差分法对监控视频中行人目标检测

莫丹雷 杨瑞兆 吴伟 甘永进 龙妹

摘  要：行人是交通系统中的主要参与者，所以监控视频中的行人目标检测对智能交通系统的研究和应用有着重要的意义。由于场景的动态变化使得行人目标的检测变得相当困难，有效检测出监控视频中行人目标是解决这个问题的关键。本文对比帧差法、光流法、背景相减法、三帧差法等几种常用检测算法的效果，最终采用三帧差法结合形态学技术对监控视频中行人目标检测，能较好地填充行人目标的部分“空洞”。实验结果表明：改进的算法能较清晰，较完整地检测出视频中行人目标，检测效果良好。

关键词：监控视频  行人目标检测  三帧差法  形态学技术

中圖分类号：TP391.1          文献标识码：A                   文章编号：1674-098X（2021）02（c）-0138-05

Pedestrian Target Detection in Surveillance Video Based on Improved Three-frame Difference Method

MO Danlei  YANG Ruizhao*  WU Wei  GAN Yongjin   LONG Mei

（School of Physics and Telecommunication Engineering， Yullin Normol University， Yulin， Guangxi Zhuang Autonomous Region， 573000 China）

Abstract： Pedestrians are the main participants in the transportation system， so the detection of pedestrian targets in surveillance video is of great significance to the research and application of intelligent transportation systems. This article compares the effects of several common detection algorithms such as frame difference method， optical flow method， background subtraction method， and three frame difference method. Finally， the three-frame difference method combined with morphological technology is used to detect the pedestrian target in the surveillance video， which can better fill in the part of the pedestrian target hole. The experimental results show that the improved algorithm can detect pedestrians in surveillance video clearly and completely， and the detection effect is good.

Key Words： Surveillance video; Pedestrian target detection; Three frame difference method; Morphological technique

1  引言

行人目标检测就是检测图像或者视频序列中是否包含行人目标，并根据检测出的行人得出其大小和位置信息，是目前计算机视觉领域的研究热点之一[1]。常用的目标检测方法主要有两帧差法、背景差分法、光流法、Vibe算法和三帧差分法等[2]。两帧差法是最为常用的运动目标检测和分割方法之一，其基本原理就是在视频序列相邻两帧采用基于像素的时间差分通过二值化来提取图像中的运动目标，其具有较好的实时性、算法简单、计算量小等特点。但存在着对环境噪声较为敏感，对阈值的选择要求高，对比较大的、颜色相似的运动目标容易在目标内部产生空洞，无法完整地提取运动目标[3]。背景差分法是一种有效的运动目标检测算法，但是背景差分法必须要有背景图像，并且背景图像必须随着光照或外部环境的变化而实时更新，因此背景差分法的关键是背景建模及其更新，尽管目前已有多背景建模方法，但是在检测目标需要更长的时间，因此实时性降低了。光流法主要是通过计算光流场，根据图像序列的时空梯度估算运动场，通过分析运动场的变化对运动目标和场景进行检测和分割，虽然光流法不需要预先知道场景的任何信息就能够检测到运动目标，但存在噪声、多光源和遮挡等因素时，会对光流场分布的计算结果造成严重的影响，并且光流法计算复杂，很难实现实时处理。Vibe是一种典型的运动目标检测算法，但是这种方法存在对鬼影消除速度缓慢以及对全局光线变化的抗干扰能力差等缺点[4-6]。三帧差分法是在两帧差分法不能鲁棒性地检测到完整的运动目标上进行改进的，能较好、较快地检测出图像序列中运动目标，但是检测出的目标仍然存在着内部“空洞”的现象，需要进一步的处理[7]。

针对以上检测算法存在的问题，本文采用了三帧差分法结合形态学技术对监控视频中行人目标的检测。该改进的算法能较好地填充行人目标的部分“空洞”，实验结果表明：改进的算法能较清晰较完整地检测出视频中行人目标，检测效果良好。

2  传统的三帧差分法检测行人目标

传统的三帧差分法是在两帧差法基础上改进的，在一定程度上优化了运动物体双边，更适用与物体移动速度较快的情况，比如道路上车辆的智能监控[8]。其算法如图1所示。

首先，用Fn+1、Fn和Fn-1表示视频序列中的第n+1帧、第n帧和第n-1帧的图像，然后对这三帧图像进行灰度化处理，用Fn+1（i，j）、Fn（i，j）和Fn-1（i，j）表示处理后的灰度图，接着利用式（1）求出Fn+1与Fn的差分图像Dn+1和Fn-1与Fn的差分图像Dn，接着利用式（2）对所得的差分图像Dn+1和差分图像Dn进行与运算，得到目标前景图像D'n，进一步地对D'n进行二值化处理，最终得到检测的目标。

（1）

（2）

3  改進后的三帧差分法检测行人目标

3.1 二值化处理

在数字图像处理中，处理灰度图的计算量要小于处理彩色图像，而二值图像的计算复杂度更低于前两种，因此，二值化处理在数字图像较为关键。一幅图像包括目标、背景及噪声，想要直接提取出目标物体，通常采用灰度变换阈值化操作。常用的图像阈值化有经典的OTSU、固定阈值、双阈值等操作[9]。本文采用式（3）进行二进制固定阈值化操作。

（3）

其中，thresh是预先设定的阈值，当灰度值src（x，y）大于预设的阈值时，将灰度值设定为255，将低于thresh值设定为0，完成该阈值处理操作。

基于环境的变化，场景中光线动态变化，会对检测造成一定的影响，而三帧差分法中，二值化处理时采用的是固定的阈值，由于同一场景下，设定不同的阈值都会对检测结果造成影响，例如当阈值设定过小，差分图像中的噪声难以消除;阈值设定过大，差分图像中目标部分信息被掩盖。因此，固定的阈值无法适应场景中光线变化，从而给检测结果造成一定的影响。本文在二值化处理上按照式（4）加入了判别条件，首先，假设场景中光照变化较小，式（4）中光照变化值趋向于零，接着，假设场景中光照变化较大，公式4中光照变化值增大，使得式（4）中的判别条件自适应值增大，就可以进一步的抑制了光照变化对运动目标检测结果的影响。

（4）

其中，NA为检测目标区域像素，λ是光照抑制系数，A是图像帧，T是设定的阈值，是图像中光照变化值。

3.2 形态学技术

传统的三帧差分法中，由于相邻两帧的图像有重叠部分，使得检测到的目标存在空洞现象。经过阅读文献，利用式（5）形态学闭操作能较好填充目标区域的离散小空洞和分散部分，能够排除小型黑洞，消除低于临近点的孤立点，可以平滑物体轮廓，弥合较窄的间断和细长的沟壑，消除小孔洞[10-11]。

（5）

从式（5）中可以看出，形态学闭操作首先是用结构元素B对A进行膨胀，接着进行腐蚀，最后达到消除目标空洞的目的。

3.3 本文算法具体方法

由以上的分析可知，本文采用改进的算法实验步骤如下。

（1）首先，按照式（6）对视频序列中连续的第n+1帧、第n帧和第n-1帧的图像进行灰度化处理，得到灰度图像Fn+1（i，j）、Fn（i，j）和Fn-1（i，j）。

（6）

其中，Gray（i，j）表示灰度图像，R（i，j）、G（i，j）和B（i，j）为彩色图像中的红、绿和蓝三个分量。

（2）接着，按照图2，对步骤（1）中得到的灰度图像Fn+1（i，j）、Fn（i，j）和Fn-1（i，j）分别做差分运算处理，得到差分图像Dn+1和差分图像Dn。

（3）接着对步骤（2）得到的差分图像Dn+1和差分图像Dn进行高斯滤波去噪处理。

（4）接着按照图2，对去噪后的差分图像Dn+1和差分图像Dn进行与运算，得到目标前景图。

（5）接着，对检测到的目标前景图进行判别和二值化处理，得到检测目标。

（6）最后，对检测到的目标进行形态学闭操作，消除目标中空洞，提取到完整的目标。

4  实验结果及分析

本次采用的视频序列是自制录制的视频，从录制的视频中可以看到场景有比较复杂。本实验检测视频序列中的行人目标，将传统的三帧差分法和本文改进后的算法进行对比。实验效果如图3。

从实验结果图中，我们可以看出传统的三帧差法检测行人目标效果图（m），检测目标内部存在着“空洞”，甚至是人的上半部分和下半部分发生了分离，使得检测结果不够完整，图像信息缺失。从本文改进的算法中可以看到行人目标效果图（n），检测行人目标是比较完整的，较好的解决了传统三帧差分法检测目标“空洞”的问题。因此，本文采用的三帧差法结合形态学技术的检测算法能较清晰、较完整地检测出监控视频中行人目标，检测效果良好。

5  结语

本文针对视频序列中行人目标检测方法进行研究，采用了三帧差分法结合形态学技术设计了一种对视频序列中行人目标检测方法。该方法能够较好的克服了传统三帧差分法检测行人目标“空洞”的问题，并且能在光照变化等因素影响下准确的检测出行人目标。通过与传统三差分法的检测效果进行对比可知，基于三帧差分法结合形态学闭操作技术的检测方法的检测效果更好，较好的适用于机器人视觉和道路上车辆的智能监控。

参考文献

[1] 苏剑臣，李策，杨峰.基于边缘帧差和高斯混合模型的行人目标检测[J].计算机应用研究，2018，35（4）：1246-1249.

[2] 孙清涛，赵欣悦，张晓萌.基于改进三帧差法的微小目标运动轨迹检测方法研究[J].装备制造技术，2019（3）：135-137.

[3] 赵柏山，郑茂凯，张帆.基于帧差与背景差分的改进目标识别算法[J].通信技术，2018，51（11）：2733-2739.

[4] 方岚，于凤芹.去除鬼影及阴影的视觉背景提取运动目标检测算法[J].激光与光电子学进展，2019，56（13）：71-78.

[5] 谭玉枚.一种快速行人检测与跟踪方法[J].科技视界，2020（15）：34-36.

[6] 赵巍，蒋铭.复杂场景行人检测技术研究[J].电视技术，2020，44（5）：43-45，50.

[7] Hou Jianbin， Li Baoguo. Swimming target detection and tracking technology in video image processing. 2021， 80.

[8] 傅莉，王一淼，黄全军.基于改进三帧差分法的运动车辆目标检测[J].科技风，2020（29）：69-70.

[9] 谢敏.基于视频监控的快速行人检测算法[J].无线电工程，2020，50（10）：835-838.

[10] 韩冠南.基于机器视觉的客流量统计系统研究[D].西安：西京学院，2020.

[11] 陈媛，蔡晓燕.改进的帧间差分运动目标检测算法研究[J].现代计算机，2019（33）：41-44.