融合直方图高阶统计特征与GLCM特征的室内红外图像人群密度分类

李熙莹，黄秋筱



融合直方图高阶统计特征与GLCM特征的室内红外图像人群密度分类

李熙莹，黄秋筱

（中山大学 工学院 广东省智能交通系统重点实验室，视频图像智能分析与应用技术公安部重点实验室，广州 5100061）

公共场所的人群密度信息在公共安全、交通管理、应急减灾等方面具有重要作用，采用红外技术，可以在拍摄人群图像时避免环境光照影响。为了实现室内场景下的红外图像人群密度分类，提出一种融合灰度直方图高阶统计特征与灰度共生矩阵特征的人群密度分类方法。首先，根据红外图像的特点，分析并提取样本图像灰度直方图的高阶统计特征，随后与提取的灰度共生矩阵特征串行融合，最后作为多分类支持向量机的输入，对不同人群密度等级进行分类。实验结果表明，提出的方法对于不同密度人群图像的分类准确率可达92.13%，同时特征向量提取简洁、算法耗时短。

人群密度分类；红外图像；直方图高阶统计特征；灰度共生矩阵

0 引言

公共场所中通过监控摄像机实现人群密度估计具有重要的应用价值和研究意义。可靠的人群密度信息在诸多场所发挥着关键作用，例如，商场中实时的人群密度信息，可直观了解到各品牌的受关注度；公共场合中监控到某片区域的人群密度短时内发生极大变化，这也许意味着遇到紧急情况或突发事件造成的变化。现有的关于人群密度估计方法的研究大多基于可见光图像，然而，由于受光照、阴影、行人衣着等的影响，可见光图像中人群密度估计的研究存在着诸多难以攻克的问题。相比于可见光图像，红外图像在环境噪声不是很大的情况下，实现人群与背景之间的准确分割[1]和克服光线变化的影响有着较高的优势，并且涵盖了丰富的纹理特征和灰度信息。因此，利用红外图像实现人群密度估计有着良好的应用前景。

已有的人群密度估计方法主要包括像素统计的方法和纹理分析的方法，其中，纹理分析法得到了广泛的应用。最初，像素统计的方法由Davies和Chow等人[2-3]提出，该方法将像素统计特性作为人群密度特征，在低密度时取得不错的效果，但高密度时由于人群之间相互遮挡致使误差增大。此后，Marana[4]提出纹理分析的方法，其依据在于不同密度的人群图像对应的纹理模式不同，而利用灰度共生矩阵来描述纹理特征是目前该领域发展的趋势[5]。

有学者根据图像纹理在频率域具有明显的表现特性这一原理，将小波变换[6]、快速傅里叶变换引入人群密度估计中，如Marana[7]、Kim[8]、杨国庆等人[9]，在频率域进行灰度共生矩阵特征提取，作为人群密度图像分类的依据。但该类方法在获取纹理特征之前还需对图像进行频域变换，这在一定程度上增加了算法的复杂性，并且行人阴影以及图像背景纹理对分类正确率影响较大。

为了适应复杂的应用场景，有学者提出将多种特征融合的方法以提高人群检测的性能，如Jiang等人[10]利用像素统计特征对人群密度进行初步判定，然后采用灰度共生矩阵法来确定最终的分类结果；为了能充分利用局部二值描述算子（Local Binary Patterns，LBP）和灰度共生矩阵（Gray-level co-occurrence matrix，GLCM）纹理特征提取的有效性，薛翠红等人[11]提出融合局部二值模式与灰度共生矩阵特征提取的人群密度分类方法，首先用旋转不变的LBP算子进行滤波，随后对滤波后图像提取灰度共生矩阵特征，这些方法对于可见光图像人群密度分类均获得了较高的准确率。

由于红外图像所具有的纹理特征不同于可见光图像[12]，致使现有的人群密度估计方法所具有的优越性能难以有效地在红外图像中完全得以体现。本文结合红外图像的特点，提出一种基于灰度直方图高阶统计特征和灰度共生矩阵特征的红外图像人群密度估计方法，整体流程图如图1所示。由于目前尚未有公开的红外人群图像素材，因此首先采集素材并按照Polus[13]提出的服务等级（见表1）将训练素材分类和预处理，随后提取素材图像的灰度直方图高阶统计特征和灰度共生矩阵特征，送入分类器进行分类。实验结果表明，本文方法能够有效地解决室内公共场所下外图像中人群密度自动分类的问题。

1 红外人群图像特征提取

1.1 灰度直方图高阶统计特征

灰度直方图是用以表示数字图像中灰度级分布的直方图，标绘了图像中每种灰度级的像素的个数。图像灰度直方图具有一幅图像灰度分布的总体统计性质，为图像的分析提供强有力的工具。红外图像不但具有丰富的纹理特征，并且还蕴含了大量的灰度信息，基于此，本文将灰度直方图引入人群密度分类领域，研究其统计特性对于分类效果的影响。

表1 服务级别定义

如图2所示，图2(a)是人群密度低时的红外图像示意图和对应的灰度直方图，图2(b)是人群密度高的情况，灰度直方图的横坐标是灰度值，纵坐标是灰度值出现的次数。由图可见，不同密度等级图像的灰度直方图具有不同的形态。低密度图像的直方图集中于灰度值低的区域，而高密度图像的直方图灰度值分布相对分散，并且前者直方图峰值要高于后者直方图的峰值。与纹理分析法的基本思想类似，不同密度的人群图像对应的灰度直方图不同。因此，灰度直方图的统计特征可以作为不同密度等级的人群图像分类的依据之一。

图1 算法整体框架

Fig.1 The algorithm framework of proposed method.

图2 人群密度低（左）、高（右）的红外图像及对应的灰度直方图

灰度直方图统计特性一般包括：均值、方差、倾斜度、峰度。其中，倾斜度和峰度是对于直方图分布的标准三阶、四阶中心距。假设灰度直方图数学表达式为式(1)，则各统计特征的计算公式如式(2)至式(5)所示：

式中：N表示灰度值为的像素数；为图像总像素数；为灰度级数；表示均值；表示方差；表示倾斜度；表示峰度。

为了有效地对4类不同密度等级图像进行区分，接下来对上述4个统计特征的分类能力进行测试，找出具有区分不同密度人群图像能力的特征。从4类不同密度等级的图像中分别随机选取20张图像，计算它们的灰度直方图统计特征，结果如图3所示。整体来看，各密度人群图像对应的灰度直方图的倾斜度和峰度特征值差异显著且无重叠，而均值和方差特征值相反，说明倾斜度和峰度这2个特征具有较好的区分能力。

1.2 灰度共生矩阵特征

灰度直方图描述的是图像灰度出现的概率，而灰度共生矩阵其反映的是图像灰度对出现的概率。前者专注于图像灰度的全局特征，后者主要反映图像局部的灰度信息，包括灰度对偏移量和变化幅度等。用数学公式表示：对于一幅含有个不同灰度值的图像，其×大小的共生矩阵可表示为：

式中：和是灰度值；和是图像中某点的空间位置；(,)表示图像点(,)的灰度值，偏移量(D,D)表示该矩阵的空间关系，该偏移量也可用2个参数即距离、像素点方向来进行替代。一般情况下，距离取1、2、3、4、5，像素点方向取0°、45°、90°和135°。

为了更直观地用共生矩阵描述纹理状况，Haralick[14]定义了灰度共生矩阵的14个特征参数，最常用的有以下几种[15]：

1）角二阶矩（能量）：

它是各元素值的平方和，刻画了图像灰度分布均匀状况和纹理粗细程度。

2）惯性矩（对比度）：

对比度直接反映了像素灰度对的亮度对比情况，也间接反映了图像的清晰度，以及纹理沟纹情况。

3）熵：

熵反映了图像中纹理的复杂程度，其值大则表示元素呈分散分布。

4）逆差距：

逆差距是图像局部平稳性的度量，反映图像纹理的同质性。

1.3 特征融合

在将灰度直方图统计特征和灰度共生矩阵特征进行融合前，首先需要选取合适的灰度共生矩阵构造参数，包括像素间距、像素方向和灰度级。与1.1节中确定灰度直方图统计特征的实验一样，分别观察各构造参数的不同取值对各特征值的影响，从而确定具有区分不同密度人群图像能力的构造参数值。经实验分析研究，本文最终选取像素间距为5、像素方向为0°和90°、灰度级为16的共生矩阵其能量、对比度、熵和逆差距值，来综合表示图像的纹理信息。而对于灰度直方图特征，如1.1节所述，选取峰值和倾斜度2个高阶统计特征值，用于表述人群密度图像的灰度信息。

在确定特征构造参数后，采取串行融合的机制。设该图像的灰度直方图特征向量用下式表示：

1＝[11,12] (11)

灰度共生矩阵特征向量用下式表示：

2＝[21,22, …,28] (12)

则将它们串行融合后的10维特征向量为：

＝[11,12,21,22, …,28] (13)

2 多分类器设计

支持向量机（SVM）是一种分类算法，其目标是基于结构风险最小化原理，构造一个目标函数将两类模式尽可能地区分开来。由于本文所采用的人群图像样本有限，并且支持向量机非常适用于小样本的分类，因此本文使用支持向量机作为人群密度分类器。

支持向量机最早用于解决二分类问题，它主要通过核函数将输入变量映射到一个高维空间，旨在这个高维空间构造一个线性最优的分类面。用数学公式表示就是，设给定的训练集(x,y)，＝1, …,;∈R;∈{＋1, －1}，在式(14)的约束条件下：

对求解下列目标函数的最大值：

式中：为与每个样本对应的拉格朗日乘子。这是一个不等式约束下二次函数的寻优问题，解上述问题后得到的最优分类函数为：

式中：sgn()是函数符号；(,)是内积核函数。

当遇到多类别的时候，支持向量机一般采取“一对一法”的策略，即在任意2类样本之间设计一个SVM，以本文的人群密度分类器为例，结构图如图4所示，内积核函数采用RBF核函数，因此4个类别的样本就需要设计6个SVM。当对一个未知样本进行分类时，对这些SVM分类器采用Friedman提出的决策投票法，即最后得票最多的类别，则为该未知样本的类别，若获相同票数，样本类别则判断为类别标签小的那一类。

图4 人群密度分类器结构图

3 实验结果与分析

3.1 实验设置

实际测试中，红外图像的采集工具为FLUKE Ti25，采集地点为商场公共场所（样本采集区域面积约为15m2），采集时间涉及平峰期和高峰期。训练图片共360张，测试图片共559张，大小统一为490×455。本文结合Polus定义的服务级别，将人群密度分为低（L）、中低（ML）、中高（MH）和高（H）4类，实验样本分布情况如表2所示，示例图片如图5所示。

表2 实验样本分布情况表

图5 不同人群密度图像示例图

3.2 本文人群密度分类结果

为证明本文方法的有效性，实验还对仅使用灰度共生矩阵的人群密度分类以及仅使用灰度直方图统计特性的人群密度分类进行了实验，结果如表3和表4所示。从结果来看，灰度直方图统计特性在人群密度偏高时的分类效果优于灰度共生矩阵；而灰度共生矩阵特征在人群密度偏低时分类更加准确。表5是基于本文方法的人群密度分类结果。本文将2种特征进行融合，有效提高了灰度共生矩阵法对于处理低密度、中低密度人群图像分类的准确性。

表3 灰度共生矩阵分类结果

表4 灰度直方图统计特性分类结果

表5 本文方法分类结果

3.3 与其他方法的比较

本节实验选择了2种分类性能较优的人群密度分类算法和本文方法从分类效果和算法耗时上进行综合比较。其中，文献[6]采用的方法是：对图像进行三级小波分解，得到10个子带及相应的小波系数，以9个高频子带作为特征提取的基础，分别从这9个子带中提取纹理特征[6]。文献[11]采用的方法是：用旋转不变的LBP算子进行滤波，得到LBP图像，然后提取滤波后图像的GLCM特征，最后采用有向无环图支持向量机DAGSVM（Directed Acyclic Graph Support Vector Machine）进行密度分类。图6是本文方法和所选算法对于各人群密度等级图像的分类效果比较。

经比较可知，本文方法在处理低密度和中高密度人群图像时，分类准确率和其他2个方法相差不大，然而在处理中低密度和高密度人群图像时效果较其他方法略显优势。

为了进一步对比本文算法和其他方法之间的性能，接下来对各算法的耗时进行了实验，如表6所示。分析可知，本文方法在达到较高的准确率的基础上，所利用的特征向量和耗时均相对较少。因此，本文方法具有较好的实时性。

图6 不同方法分类准确率比较

4 结论

本文针对红外图像的特点，引入灰度直方图高阶统计特性，提出了一种融合灰度直方图高阶统计特征和灰度共生矩阵特征的人群密度分类方法，以SVM支持向量机构成分类器，实现人群密度分类。通过与其他方法对比，验证了该方法针对红外图像人群密度分类的有效性和准确性。即便如此，对于非常高密度的人群，分类精度还是会下降，这也是下一步研究的重点。

致谢

感谢华南师范大学附属中学的杨学霖在红外图像采集标定和人群密度分类器部分算法设计的工作。

表6 本文方法和其他方法的比较

[1] 叶华, 朱明旱, 王日兴. 红外和可见光图像互补融合的运动目标检测方法[J]. 红外技术, 2015, 37(8): 648-654.

YE Hua, ZHU Minghan, WANG Rixing. Fusion of Complementary Information from Infrared and Visual Image for Moving Object Detection[J]., 2015, 37(8): 648-654.

[2] Davies A C, Yin J H, Velastin S A. Crowd monitoring using image processing[J]., 1995, 7(1): 37-47.

[3] Cho S Y, Chow T W S, Leung C T. A neural-based crowd estimation by hybrid global learning algorithm[J].,(), 1999, 29(4): 535-541.

[4] Marana A N, Cavenaghi M A, Ulson R S, et al. Real-time crowd density estimation using images[C]//., 2005: 355-362.

[5] Saqib M, Khan S D, Blumenstein M. Texture-based feature mining for crowd density estimation: A study[C]//(), 2016., 2016: 1-6.

[6] 胡波, 李晓华, 沈兰荪. 场景监控中的人群密度估计[J]. 电路与系统学报, 2007, 12(6): 19-22.

HU Bo, LI Xiaohua, SHEN Lansun. Estimation crowd density for surveillance[J]., 2007, 12(6): 19-22.

[7] Marana A N, Verona V V. Wavelet packet analysis for crowd density estimation[C]//,,,, 2001(1): 535-540.

[8] Kim D, Lee Y, Ku B, et al. Crowd Density Estimation Using Multi-class Adaboost[J]., 2012, 191(15): 4951-8.

[9] 杨国庆, 崔荣一. 基于概率神经网络的人群密度估计[J]. 延边大学学报:自然科学版, 2010, 36(3): 250-253.

YANG Guoqing, CUI Rongyi. Crowd Density Estimation Based on Probabilistic Neural Network[J].,, 2010, 36(3): 250-253.

[10] Jiang M, Huang J, Wang X, et al. An Approach for Crowd Density and Crowd Size Estimation[J]., 2014, 9(3): 757-762.

[11] 薛翠红, 于洋, 张朝, 等. 融合LBP与GLCM的人群密度分类算法[J]. 电视技术, 2015, 39(24): 7-10.

XUE Cuihong, YU Yang, ZHANG Zhao, et al. Fusing LBP and GLCM for Crowd Density Classification Algorithm[J]., 2015, 39(24): 7-10.

[12] 王磊. 红外图像中的行人检测算法研究[D]. 合肥: 合肥工业大学, 2015.

WANG Lei. Research on Pedestrian Detection Algorithm in Infrared Images[D]. Hefei: Hefei University of Technology, 2015.

[13] Polus A, Schofer J L, Ushpiz A. Pedestrian Flow and Level of Service[J]., 1983, 109(1): 46-56.

[14] Haralick R M. Texture features for image classification[J]., 1990, smc-3(6): 610-621.

[15] 徐麦平. 安防监控中人群人数统计方法的研究[D]. 西安: 西安理工大学, 2015.

XU Maiping. Crowd Counting Research of Security Monitoring[D]. Xi'an: Xi'an University of Technology, 2015.

Indoor Crowd Density Classification in Infrared Images Based on Fusing High-order Statistics of Histogram with GrayLevel Co-occurrence MatrixFeatures

LI Xiying，HUANG Qiuxiao

(,,,510006,)

The crowd density information in public places plays an important role in public safety, traffic management, and disaster reduction in emergencies. The use of infrared technology can avoid the influence of ambient light whilecapturing crowd images. In order to realize indoor crowd density classification in infrared images, this paper proposes a method that fuses high-order statistics of a grayscale histogram with gray level co-occurrence matrix features (GLCM). First, considering the characteristics of infrared images, this paper analyzes and extracts the high-order statistics of the grayscale sample image histograms. Next, the histogram and GLCM features of sample images are fused serially. Finally, the fusion feature is input to the multi-class support vector machine and the classified crowd density level is output. The experimental results show that the proposed method can achieve 92.13% accuracy for different crowd density classifications in infrared images, with fewerfeatures in lesstime．

crowd density classification，infrared image，high-order statistics of histogram，gray level co-occurrence matrix

TP391

A

1001-8891(2017)07-0626-06

2017-03-27；

2017-06-27.

李熙莹（1972-），女，副教授，博士，主要研究方向为图像处理、目标检测与跟踪、图像识别技术以及各项技术在智能交通、治安监控中的应用。E-mail：stslxy@mail.sysu.edu.cn.

国家自然科学基金（U1611461）。