视频监控系统中的行人及其面部侦测研究

练士龙，李 强，赵蓓蕾

（西南科技大学 信息工程学院，四川 绵阳 621010）

视频监控系统广泛应用于各种监控场合。如何有效地对视频监控区域内容进行分析处理是一个值得深入探讨的问题，尤其针对行人目标进行侦测是当前研究的一大热点。

行人检测算法研究已取得了一些成果，常用的行人检测算法有背景差法和光流法等[1]。Gavrila等人[2]给出了基于轮廓模板的匹配方法，该方法实现简单，但对姿态变化多样的行人检测具有一定的局限性。Viola等人[3]结合类haar小波特征与AdaBoost算法建立瀑布型行人检测分类器，有效地提高行人检测速度。李娟等人[4]利用改进的混合高斯模型实现行人检测，具有较好的适应性和鲁棒性。Alonso等人[5]利用人体各个部位特征信息建立支持向量机检测器，通过检测结果的综合比较来完成对行人的检测。Walk S等人[6]利用行人颜色自相似度特征，并结合HOG特征实现行人检测，有效地提高了检测精度，缺点是计算量较大。朱文佳等人[7]将改进的Boosted Cascade人脸检测算法应用到行人检测中，具有检测速度快、训练时间短的优点，但训练尺度会影响其检测精度。

本文在设计视频监控系统的基础上，接着结合形态学分析方法，利用背景差分法和阴影去除方法精确提取目标运动区域，再结合连续均值量化变换（SMQT）和SNoW分类算法对运动区域中的行人及其面部信息进行检测。进而通过监控区域中是否存在行人目标的检测判断实现视频监控系统的录像启动与行人侦测报警等功能，以达到无人值守监控的目的。

1 系统平台设计

视频监控系统主要由采集终端、传输网络、监控平台应用软件等部分组成。采集终端主要完成对目标监控区域的音视频采集与压缩处理，传输网络主要完成音视频信息及系统控制信息的传输，监控平台应用软件主要完成信息获取、行人及其面部目标侦测、图形界面设计、系统控制命令配置等功能。

视频采集终端主要包括存储器接口、音频采集转换、视频采集转换、PTZ控制、以太网接口、视频输出转换、电源管理等电路设计，其结构图如图1所示。

图1 视频采集终端结构Fig.1 Structure of video collection terminal

视频采集终端中央处理器选用海思半导体公司高性能通信媒体处理器Hi3512，是一款基于ARM内核以及视频硬件加速引擎的处理器，并支持H.264协议。NOR Flash选用闪存芯片SGL064N，SDRAM选用同步动态RAM芯片EM68B16CWQD。视频信号采集选用Sony公司彩色一体化摄像机，水平分辨率高达530线。采集到的视频信号通过视频解码芯片TW9910将模拟信号转化为数字信号供Hi3512压缩编码等进一步处理。通过麦克拾取到声音信号经立体声音频编解码器TLV320AIC32B处理后，传送给中央处理器作压缩编码等处理。经Hi3512处理后的音视频信息通过以太网发送，Hi3512通过串口对摄像机和云台进行控制操作。

针对传输网络，监控系统应用软件通过以太网访问视频采集终端设备，并通过创建套接字方式实现对系统设备进行设置、控制、图像和声音数据请求等操作。视频监控系统应用软件可以分为系统设置、设备管理、PTZ控制、系统日志、录像管理、实时监控等功能模块，其结构如图2所示。

图2 监控系统应用软件结构Fig.2 Software architecture of monitoring system

系统应用软件通过以太网获取监控区域视频数据流并进行H.264解码处理获得监控现场视频图像信息，根据视频图像清晰度需求和监控区域定位需求对云台和摄像机进行相应的调整。在获取到监控区域视频图像信息后，便可对其中的行人目标及面部信息进行侦测。

2 行人侦测算法

行人目标侦测过程中融合了针对行人面部信息的检测。利用背景差分法提取运动目标区域，并利用目标阴影的相关特征去除阴影干扰，获取精确的运动目标区域。进而在运动目标区域内利用SMQT和SNoW算法检测定位行人及其面部信息。

2.1 运动目标提取

2.1.1 形态学分析

图像形态学处理[8]是依据数学形态学集合论方法对二值图像发展起来的图像处理和分析方法，基本的图像形态学处理方法包括膨胀和腐蚀两种，将两者组合起来可以得到开运算和闭运算两种基本形态学处理方法。

腐蚀的作用是去除目标图像的边界毛刺像素点和其他小噪声像素点，使用结构元素B对A进行腐蚀表示为：

膨胀的作用是在目标图像的边界处添加像素点，使用结构元素B对A进行膨胀表示为：

开运算就是使用结构元素B对A先进行腐蚀，然后对结果进行膨胀，表示为A◦B。开运算可以去除小目标区域噪声，但是对重要目标区域的改变不大A·B。闭运算就是用结构元素B对A先进行膨胀，然后对处理结果进行腐蚀，表示为。闭运算主要作用是填充空洞和平滑边缘，但是无法去除小的噪声区域。根据图像的特征选取合适的图像形态学处理方法可取得较好的效果。

2.1.2 运动目标粗提取

利用背景差分法对监测图像进行二值化处理，并通过形态滤波方法实现运行目标区域的粗提取。背景差分法利用获得背景帧图像Bk与含有运动目标的当前帧图像fk做差，设定合适的阈值Th对差分图像进行二值化处理，即：

由于视频信号获取过程中的噪声影响，通过简单的图像处理得到的运动区域可能与实际运动区域有所偏差。为解决这个问题，采用图像形态学分析方法来获取有效的运动目标区域。

2.1.3 阴影去除

视频监控过程中，由于光线原因可能会使得目标形成一定的阴影区域，从而造成一定的阴影干扰，故需要进行阴影去除处理。考虑到阴影区域的主要特征[9-10]是阴影像素亮度值低于背景和前景目标区域的亮度值，而色度信息基本保持不变，那么，根据阴影像素亮度值的差异情况就可实现目标阴影的去除。

结合视频监控背景图像与前述的运动目标区域，根据不同光线下亮度的变化情况确定合适的判别阈值，并以此进行二值化处理，将含有阴影像素信息消除并保留目标信息。再对去除阴影后的图像应用形态学分析方法，以便从视频监控图像中准确提取目标区域。

2.2 行人面部检测

针对获取到的行人目标区域，利用连续均值量化变换方法获取行人目标区域细节特征，再利用稀疏网络分类方法标记出行人面部的准确位置。

2.2.1 SMQT方法

SMQT方法[11-12]主要完成对灰度目标图像进行增强处理，并能以较小计算代价获取较好行人目标图像细节特征。

SMQT方法的实现可用二叉树来描述，其中的节点表示均值量化单元，且该单元可通过平均值计算、量化和输入集划分三个步骤来获取。首先，计算出图像像素灰度值的平均值；其次，以该均值作为参考进行像素灰度值的二值量化处理，采用的量化函数规则为

式中，V（y）表示为图像中的任一像素灰度值。结合连接操作⊗，量化结果可表示为

最后，将输入图像集合I（z）进行分解，获取二叉树结构中左、右两个子集 I0（z）和 I1（z），即

经过上述处理，经过SMQT变换后的输出可表示为

上式中，L是SMQT变换重要输入参数，表示输入灰度图像的等级参数，且当处理对象为的灰度图像时，参数L取值为 8。

2.2.2 SNoW分类方法

SNoW分类器[12-13]学习算法利用预定义的相关样本特征训练线性稀疏网络，进而实现目标识别，其中，任意样本特征均与相应的线性稀疏网络节点相对应。线性稀疏网络根据正负样本更新网络节点权重值，假设节点x处的正样本特征集合为Yx，表示第i个特征的权值，θTh为判决阈值，上升参数α＞1，下降参数 β∈（0，1）。

对本文而言，φ设是图像经SMQT处理后得到的特征集合，目标判定阈值θ表示为

3 实验调试与分析

以实验室场景为例，所设计的视频监控系统运行整体效果如图3所示，该系统能实现控制、运动侦测报警、录像管理等功能。从图中可以看出，监控系统能够获取满意的视频图像。

图3 视频监控系统运行效果图Fig.3 Operating results of Video surveillance system

在获取监控区域现场的视频信息后，采用文中给出的行人侦测算法进行相关实验。针对一个空旷的监控区域，利用多帧平均方法获取背景图像，在实验中取200帧图像进行背景获取，背景获取结果如图4（a）。视频监控系统的当前帧图像如图4（b）所示，行人目标旁边形成了一定的阴影区域，使用当前帧图像与背景图像做差，并通过阈值方式进行二值化处理，得到运动目标的大致区域如图4（c）所示。从图4（c）中可看出经差分二值化处理得到的二值图像出现了空洞和毛刺现象，对其进行图像形态学运算处理，结果如图4（d）所示，进而从原图中提取运动目标大致区域如图4（e）所示。为避免阴影对人脸检测的干扰，利用阴影像素亮度低于背景像素和运动区域像素的特征去除阴影，结果如图4（f）所示。从4（f）图中可以看出基于亮度的阴影去除算法会使人脸部分空洞部分扩大，为了能够准确提取运动目标，使用形态学分析方法对图4（f）进行形态学处理，结果如图4（g）所示，结合原始的当前帧图像精确提取出的行人区域，结果如图4（h）所示。最后利用SMQT和SNoW算法对提取到的运动目标区域中进行面部检测与定位的效果如图4（i）所示。

从上图结果可以看出，在准确提取运动目标区域后进行面部定位与行人侦测，可以提高检测的精度和速度。原因在于准确提取得到的运动目标区域减少了其他干扰对面部定位与行人侦测的影响，提高了面部定位精度，同时也减少面部定位分类器搜索范围以提高定位速度。为对所采用算法性能进行对比实验，单独采用SNoW算法对视频当前帧图像图4（b）进行面部定位处理，其结果如图5所示。从图中可以看出，仅采用SNoW算法时检测结果中出现了误检区域，使得检测准确度降低。与图4（i）对比，本文所采用算法则能获得满意的行人目标及其面部信息检测效果。

图4 行人侦测算法Fig.4 Pedestrian detection algorithm

图5 SNoW算法面部定位结果Fig.5 Results of face position by SNoW algorithms

图6 SNoW算法与本文算法对比Fig.6 Contrast with SNoW algorithm and the article algorithm

进一步地，为测试所采用算法在干扰环境下的行人目标检测效果，调整的视频监控区域如图6所示，该区域中存在相应的黑色砖块干扰区域。分别采用SNoW算法和本文所采用算法进行对比实验，检测结果如图6中的方框位置所示。从图中可以看出，单独采用SNoW算法时仍然导致误检区域的出现，本文所采用算法则实现了行人面部信息的有效提取。

4 结束语

本文在完成视频监控终端硬件设计的基础上，将面部定位算法应用于行人侦测。首先利用背景差算法、阴影去除算法和图像形态学分析方法完成运动目标区域精确提取，然后使用面部定位算法对运动目标区域进行面部定位，最后以面部定位结果判断监控区域是否存在行人目标。通过相关实验证明了本文所用方法在行人侦测的精度和速度上有较大的提升，可用于需要行人侦测报警功能的视频监控系统中，以及各类重要视频监控的场合。另外，本文设计的视频监控系统具有很好的扩展性，可应用于电力、能源、通信、交通等行业。

[1]ZHOU You， LIU Yan-ying， WANG Chun-min.Contrast research of several human motion detection algorithm[J].Journal of Jilin University:Information Science Edition，2009，27（6）:652-658.

[2]Gavrila D M，Giebel J，Munder S.Vision-based pedestrian detection:the PROTECTOR system [C]//In Proceedings of IEEE of Conference on Intelligent Vehicles Symposium，Parma:2004:13-18.

[3]Viola P，Jones M J，Snow D.Detecting Pedestrians Using patterns of motion and appearance[J].International Journal of Computer Vision，2005，63（2）:153-161.

[4]李娟，邵春福，杨励雅.基于混合高斯模型的行人检测方法[J].吉林大学学报：工学版，2011，41（1）:41-45.LI Juan，SHAO Chun-fu，YANG Li-ya.Pedestrian detection based on improved gaussian mixture mode[J].Journal of Jilin University：Engineering and Technology Edition，2011，41（1）:41-45.

[5]Alonso I P，Llorca D F，SoteloM A.Combination of feature extraction methods for SVM pedestrian detection[J].IEEE Transactions on Intelligent Transportation Systems，2007，8（2）:292-307.

[6]Walk S，Majer N，Schindler K，Schiele B.New features and insights for pedestrian detection[C]//In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition（CVPR）， San Francisco:2010：1030-1037.

[7]朱文佳，戚飞虎.基于Gentle Adaboost的行人检测[J].中国图象图形学报，2007，12（10）:1905-1908.ZHU Wen-jia，QI Fei-hu.Gentle adaboost based pedestrian detection[J].Journal of Image and Graphics，2007，12（10）:1905-1908.

[8]Rafael C.Gonzalez，Richard E.数字图像处理[M].2版.北京:电子工业出版社，2005：420-432.

[9]刘清，秦秀丽，文松柏，等.YUV颜色空间和图论切割的阴影去除算法[J].智能系统学报，2010，5（6）:556-559.LIU Qing，QIN Xiu-li，WEN Song-bai，et al.The algorithm of shadow-elimination based on YUV color space and graph theory[J].CAAI Transactions on Intelligent Systems，2010，5（6）:556-559.

[10]Prati A，Mikic I.Detecting moving shadows:algorithms and evaluation[J]. IEEE Trans. on Pattern and Machine Intelligence，2003，25（7）:918-923.

[11]Nilsson M，Dahl M，Claesson I.The successive mean quantization transform[C]//In Proceedings of IEEE Conference on Acoustics，Speech，and Signal Processing （ICASSP），Philadelphia:2005：429-432.

[12]Nilsson M，Nordberg J，Claesson I.Face detection using local SMQT features and split up SNoW classifier[C]//In Proceedings of IEEE Conference on Speech and Signal Processing（ICASSP），Honolulu:2007：589-592.

[13]Roth D，Yang M，Ahuja N.A SNoW-Based face detector[C]//In Proceedings of Annual Neural Information Processing Systems Conference on Advances in Neural Information Processing Systems 12，Massachusetts:2000：855-861.