雨天环境基于HOG-SIFT特征稀疏表示的行人检测

陶 春，陈淑荣

(上海海事大学 信息工程学院，上海 201612)

雨天环境基于HOG-SIFT特征稀疏表示的行人检测

陶 春，陈淑荣

(上海海事大学 信息工程学院，上海 201612)

针对雨天环境下监控视频因雨水噪声、图像的灰度值削弱使行人轮廓特征丢失而出现的目标行人漏检误检情况，建立了一种基于HOG-SIFT特征稀疏表示的行人检测算法。通过直方图均衡化降低雨水噪声；提取图像HOG-SIFT融合特征表征视频图像中的行人信息，减少轮廓特征的丢失；利用稀疏表示降低融合特征的维数，减小计算量并保留有效的行人特征，结合AdaBoost分类器降低漏检率和误检率。实验结果表明，该算法在雨天环境下有效地提高了行人检测的准确率。

HOG特征；SIFT特征；稀疏表示；行人检测

0 引言

行人检测是计算机视觉领域备受关注的前沿方向和研究热点。常用特征主要有方向梯度直方图(HOG)[1]、Haar特征[2]、尺度不变特征(SIFT)[3]、加速鲁棒特征(SURF)[4]等。参考文献[5]利用非负矩阵分解和方向梯度直方图生成HOG-NMF特征的快速行人检测方法，降低了特征维数，对线性支持向量机的分类效果提高显著，但易受光照环境影响。文献[6]提出一种颜色自相似度特征与AdaBoost级联分类器结合的行人检测方法，加快了检测速度，但漏检误检情况较高。文献[7]采用快速SIFT算法匹配相邻帧人的身体，结合AdaBoost级联分类器检测行人信息，该算法适用于复杂场景下的行人检测但是实时性差。上述文献中所提到的检测方法能够运用在较多场景，但在雨天环境下，监控视频图像灰度值削弱导致行人轮廓特征丢失，出现大量行人漏检误检情况。

在光线昏暗的雨天环境下，针对视频图像的灰度值削弱问题，本文采用图像的HOG-SIFT融合特征描述行人信息，可以减少其轮廓特征的丢失。利用稀疏表示对图像HOG-SIFT融合特征进行降维，得到强轮廓特征，通过AdaBoost分类器的级联强分类性来提高雨天环境下行人检测的准确率。

1 算法原理

实验中首先提取雨天环境下监控视频的每帧图像，进行直方图均衡化处理降低雨水噪声影响，再变换为灰度图像并归一化。通过提取图像HOG特征和SIFT特征，串行组合成HOG-SIFT融合特征，表征图像中的行人特征。利用稀疏表示降低融合特征维数，得到强轮廓特征，并减少弱噪声影响。通过AdaBoost级联分类器检测目标行人。算法流程如图1所示。

图1 算法流程图

1.1 HOG特征提取

HOG特征是图像处理中检测行人或物体的一种特征描述子。提取测试样本图像的HOG特征，需将图像分成小的细胞单元(cell)，采集cell中各像素点梯度和边缘的方向直方图，再组合起来构成测试样本图像的HOG特征。图像中像素点(x,y)梯度为：

Gx(x,y)=H(x+1,y)-H(x-1,y)

(1)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(2)

式中Gx(x,y)，Gy(x,y)，H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值。像素点(x,y)处的梯度幅值和梯度方向分别为：

(3)

α(x,y)=tan-1(Gy(x,y)/Gx(x,y))

(4)

实验中对样本图像进行HOG特征提取，图像归一化为64×128。将图像分割成16×16像素的cell，每2×2个cell组成一个块。将梯度方向平均划分为9个区间，统计cell里每个区间中像素的梯度方向直方图，得到一个9维的特征向量。计算出每个块内有4×9=36个特征向量，用块对样本图像进行扫描，扫描步长为一个单元。将所有块的特征串联起来，构成完整的HOG特征。图2是雨天视频图像HOG特征的提取。

图2 HOG特征的提取

图2(a)为原始图像，(b)为根据提取的HOG特征还原的图像。HOG特征是统计每个cell中像素的梯度直方图，而还原图像的像素点受到雨天光线变暗、图像灰度值削弱的影响，使图2(b)中的行人轮廓出现明显的丢失,在检测时易造成漏检误检情况。因此，利用单一HOG特征在雨天环境下检测行人的准确率较低。

1.2 SIFT特征提取

SIFT特征能保持图像的尺度与旋转不变性，对光照变化有较好的稳定性。通过对样本图像分别提取HOG和SIFT特征，串联组合成HOG-SIFT融合特征，能够有效描述雨天视频图像中行人轮廓的特征信息，提高在雨天环境下的行人检测准确率。提取SIFT特征首先要构造图像的尺度空间，对每层尺度空间进行关键点检测和方向分配，再通过归一化生成关键点描述子。尺度空间和关键点的算法描述如式(5)～式(7)。

I(x,y)是输入的图像信号，G(x,y,σ)是尺度可变高斯函数，则函数L(x,y,σ)是一幅图像的尺度空间，如式(5)：

L(x,y,σ)=G(x,y,σ)*I(x,y)

(5)

其中，σ是尺度因子，σ越小，表征图像的信息越多；σ越大，表征图像的信息越少。关键点在(x,y)处梯度的模值和方向，其公式如式(6)和(7)：

(6)

θ(x,y)=atan2(L3-L4)/(L1-L2)

(7)

式中各变量L1=L(x+1,y)，L2=L(x-1,y)，L3=L(x,y+1)，L4=L(x,y-1)。

实验对样本图像进行SIFT特征提取，图像归一化为64×128，利用高斯函数对每一幅图像构造尺度空间，通过高斯差分卷积对尺度空间中的关键点进行检测。本文选用16×16大小的检测窗口，每个窗口检测到的关键点为4×4=16个，利用式(6)、(7)确定关键点的位置、尺度和方向后，用高斯窗口对其进行加权运算，得到具有8个方向的关键点，一个窗口有4×4×8=128维特征描述子，一幅64×128大小的图像有128×32=4 096维SIFT特征。图3是雨天视频图像中行人SIFT特征关键点的提取。

图3 SIFT特征关键点提取

图3(a)为原始图像，(b)为SIFT特征关键点提取。SIFT特征通过高斯函数构造图像中目标行人的多层尺度空间，利用检测窗口检测出人体轮廓的关键点，将关键点串联得到人体的SIFT轮廓特征。在光线昏暗的雨天环境，SIFT特征通过关键点描述出行人轮廓特征，减少雨天环境下行人的局部轮廓特征丢失。因此，通过构造HOG-SIFT融合特征将有效提高雨天环境中行人目标检测的准确率。

1.3 HOG-SIFT特征的稀疏表示

稀疏表示能够降低HOG-SIFT融合特征的维数、减少计算量，使HOG-SIFT融合特征有效表征行人轮廓信息，减少噪声特征的影响。实验首先对行人数据库中选出的训练样本提取融合特征构造字典，将训练样本分为k类，提取到的特征向量为Si,j，第i类训练样本用特征向量表示为Ai，将Ai扩展到整个训练样本集，则可以构成字典A，如式(8)所示：

A=[A1,A2...Ak]=[S1,1,S1,2...Sk,n]∈R

(8)

(9)

实验对待测的雨天视频图像提取HOG-SIFT融合特征，利用式(9)对该融合特征进行稀疏表示。通过已经构造出的字典A和需要稀疏的融合特征向量y，利用正则化参数求解出参数λmax，根据式(9)可以求解特征向量y的系数矩阵x，通过其表征图像中行人的轮廓特征。图4是对雨天视频图像提取的HOG-SIFT融合特征的稀疏表示。

稀疏表示是通过一组系数矩阵来表示图像特征，系数矩阵可以通过稀疏字典还原图像的特征信号，相较于传统PCA降维法不需要计算协方差矩阵，缩短了特征降维的时间，同时经过稀疏表示后的HOG-SIFT融合特征对雨天环境下视频图像中行人轮廓表征更清晰，减少了弱噪声特征影响。

1.4 AdaBoost分类器

AdaBoost是一种迭代算法，针对同一个训练集训练不同的弱分类器，并将弱分类器级联成一个强分类器。在雨天环境下，AdaBoost通过多次构造弱分类器检测出错误的样本，利用级联强分类性再次检测出错误的样本，提高了分类器检测的准确率，有效减少了雨天环境下图像灰度值削弱而出现的行人漏检误检情况。因此，本文选用AdaBoost作为实验的最终分类器。

2 算法步骤

本文算法步骤如下：

(1)选取一段雨天环境下的监控视频，提取视频帧图像，对图像进行直方图均衡化处理，降低雨水噪声的影响。

(2)将图像转为灰度图像，并做归一化处理。

(3)对图像分别提取HOG特征和SIFT特征，得到两个特征集合α、β，并且通过串行特征组合方法构造HOG-SIFT融合特征集C。

(4)利用融合特征C构造待检测图像的字典A，用稀疏算法对融合特征C进行稀疏表示，得到图像的稀疏融合特征向量C′。

(5)通过AdaBoost分类器对稀疏融合特征向量C′分类检测，得到雨天环境下视频帧图像中的目标行人。

3 实验结果及分析

为了验证算法有效性，在MATLAB 2014a环境下进行实验，计算机配置为2.1 GHz CPU和4 GB内存，数据库为INRIA数据库和Daimler数据库。实验验证雨天环境下视频监控中行人检测的漏检误检情况。首先从两个数据库中选择2 100个包含行人图片的正样本集和3 200个无行人图片的负样本集训练AdaBoost分类器。测试样本为雨天环境下的一段监控视频，提取500幅帧图像作为最终的测试样本集，且图像大小归一化为128×64。

实验将本文算法与传统HOG检测算法和HOG-纹理-颜色融合特征检测算法进行检测对比，检测结果如图5所示。

图5 雨天环境下三种算法的行人检测结果

图5(a)为传统HOG+SVM算法检测的结果,(b)为HOG-纹理-颜色+SVM算法检测的结果，(c)为本文算法HOG-SIFT+稀疏表示+AdaBoost算法检测的结果。在图(a)、(b)中已用箭头标注出漏检情况，在图(c)中本文算法正确检测出目标行人。

针对雨天环境下行人检测的漏检误检情况，将本文算法与传统HOG特征检测算法、HOG-纹理-颜色融合特征检测算法进行比较。图6是在晴天环境下3种算法的检测情况比较，图7是在雨天环境下3种算法的检测情况比较。其中漏检率(MissRate)和误检率(FPPW)如式(10)和式(11)所示：

图6 晴天环境

图7 雨天环境

(10)

(11)

式中，FN(False Negatives)是正样本被错误检测为负样本的数量；TP(True Positives)是正样本被正确检测为正样本的数量；FP(False Positives)是负样本被错误检测为正样本的数量；TN(True Negatives)是负样本被正确识别为负样本的数量。

实验结果表明，晴天环境在误检率相同的情况下，本文算法的漏检率比传统HOG算法和HOG-纹理-颜色融合特征算法稍低，其准确率为93.5%，传统HOG算法的准确率为89%，HOG-纹理-颜色融合特征算法的准确率为90.6%。雨天环境在误检率相同情况下，本文算法的漏检率明显比另两种算法低，其准确率为90.3%，传统HOG算法的准确率为80.1%，HOG-纹理-颜色融合特征算法的准确率为83.2%。

针对雨天环境下行人目标的检测时间，将本文算法与传统HOG特征检测算法和HOG-纹理-颜色融合特征检测算法对相同维数的雨天视频图像特征进行检测比较。结果如表1所示。

表1 3种检测算法检测时间比较

表1中是3种算法对一组2 800维的雨天视频图像特征进行行人检测的时间比较，包括不同算法下特征的训练时间、分类检测时间和行人目标检测的准确率。本文算法提取的HOG-SIFT融合特征经过稀疏表示将边缘弱特征忽略掉，保留行人轮廓的强特征，从而降低了特征的维数，简化了计算量。因此，本文算法大大减少了样本的训练时间和检测时间，提高了行人检测的准确率。

4 结论

针对雨天环境下监控视频中因雨水噪声、图像的灰度值削弱使行人轮廓特征丢失而出现行人漏检误检的情况，建立了一种基于HOG-SIFT特征稀疏表示的行人检测算法。利用HOG-SIFT融合特征表征雨天环境下图像的行人特征；减少轮廓信息丢失；通过稀疏表示对融合特征降维、简化计算，并保留有效的行人特征;利用AdaBoost分类器的级联强分类性降低行人的漏检误检情况。实验表明本文算法提高了雨天监控视频中行人目标检测的准确率，为雨天视频监控系统实施行人检测方法提供了理论依据。

[1] DALAL N,TRIGGS B.Histograms of oriented gradients for human detection [C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2005,1:886-893.

[2] LOWE D G.Distinctive image feature from scale-invariant key points[J].International Journal of Computer Vision, 2004, 60(2):91-110.

[3] OJALA T,PIETIKAINEN M,HARWOOD D.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition,1996,19(3):51-59.

[4] 顾志航，陈淑荣.一种基于HOG和LSS融合的行人检测算法[J].微型机与应用，2016，35(8)：37-39.

[5] 孙锐，陈军，高隽.基于显著性检测与HOG-NMF特征的快速行人检测方法[J].电子与信息学报，2013,35(8)：1921-1926.

[6] 曾波波，王贵锦，林行刚.基于颜色自相似度特征的实时行人检测[J].清华大学学报，2014，52(4)：571-574.

[7] 杜金辉，管业鹏，时勇杰.基于快速SIFT匹配的行人信息检测[J].电子器械，2012，35(5):601-606.

A pedestrian detection algorithm based on HOG-SIFT feature sparse representation in rainy environment

Tao Chun,Chen Shurong

(Information Engineering College,Shanghai Maritime University,Shanghai 201612,China)

In rainy environment, the rain noise and the weakened gray value of the image will make the pedestrian contour feature lost, which leads to the misdetection and error detection of surveillance video.Given this,the paper puts forward a kind of a pedestrian detection algorithm based on HOG-SIFT feature sparse representation.The histogram equalization is applied to reduce rain noise and the HOG-SIFT fusion feature is used to characterize pedestrians in video image to cut the loss of contour features.And it takes advantage of the sparse representation to reduce the dimension of the fusion feature and the amount of computation, retain valid pedestrian features and reduce misdetection and error detection combined with AdaBoost classifier.Experimental results show that the proposed method can effectively improve the accuracy of pedestrian detection in rainy environment.

HOG feature;SIFT feature;sparse representation;pedestrian detection

TP317.4

A

10.19358/j.issn.1674- 7720.2017.07.012

陶春，陈淑荣.雨天环境基于HOG-SIFT特征稀疏表示的行人检测[J].微型机与应用，2017,36(7)：39-42.

2016-12-15)

陶春(1992-)，男，硕士研究生，主要研究方向：模式识别与图像处理。

陈淑荣(1972-)，女，硕士，副教授，主要研究方向：视频分析与处理、现代通信网络及控制技术。