一种基于深度信息的人头检测方法

张姗姗，景文博，刘学，王晓曼，朱海忱

（1.长春理工大学　电子信息工程学院，长春　130022；2.长春理工大学　光电工程学院，长春　130022）



一种基于深度信息的人头检测方法

张姗姗1，景文博2，刘学1，王晓曼1，朱海忱1

（1.长春理工大学电子信息工程学院，长春130022；2.长春理工大学光电工程学院，长春130022）

摘要：针对目前人头检测方法对光线变化敏感和易受阴影干扰的问题，提出了一种基于深度图像的人头检测方法。首先通过运动目标检测，得到运动人员所在区域；然后对该区域使用改进的立体匹配算法，该匹配算法对传统的WTA匹配算法进行改进，只对强纹理点进行匹配，对弱纹理点只进行视差验证，并根据三角投影原理计算出深度图。由于深度图中人员与周围场景的深度分布不同，根据深度分布将人头区域提取出来，得到候选区域，最后将候选区域经过形态学运算并根据区域轮廓的特征来判断是否为人头。实验结果表明：该方法在不同光线环境条件下的检测正确率为94%以上，误检测率仅为5.77%，检测精度高，对光线和阴影的抗干扰性良好，能够很好地适应复杂环境。

关键词：人头检测；运动目标检测；立体匹配；深度图

随着计算机图像处理能力和技术的提高，基于计算机视觉和图像处理的行人流量监测系统成为研究人员关注的热点，由于人头顶部形状和特征相对固定，因此人头检测成为行人流量监测的有效方法。

常用的人头检测方法有基于人头和人脸轮廓特征的检测方法、基于颜色的检测方法两大类。其中赵军伟等人［1］提出的基于人头发色模型和区域分割，区域筛选相结合的人头检测方法，检测方法实时性较好，但是对光变换敏感，识别率不理想；徐超等人［2］提出的根据人头HOG特征，通过SVM训练样本得到行人分类器实现人头检测，该检测方法具有较好的稳健性，正确率也较高，但是分类器的训练比较耗时。刘辉等人［3］提出的基于人头轮廓检测和发色检测结合的检测方法，该方法实时性好，但是对于发色多样，有遮挡的情况稳健性差。上述方法主要的问题就是易受阴影影响，且对于遮挡和外形与人头部相似的物体时，容易出现误判，识别率不理想。

针对以上问题，提出了一种基于深度图像的检测方法，通过对双目相机采集的图像进行运动目标检测，获得目标区域；然后对左右视图进行立体匹配进而获得目标区域的深度图。根据人体特征对深度图分层，再通过进一步的轮廓检测就可以提取人头信息。由于双目视觉具有精度高，对光线不敏感等优点，而且利用深度信息能够一定程度上避免虚假人头的出现，降低了误判率，实现了复杂场景下的人头检测。

1　双目立体视觉成像原理

双目立体视觉系统由左右两部摄像机组成，按照光轴平行放置，如图1所示是一套无畸变、行对准的标准立体成像系统。图中双目相机视场交汇的三角区域为检测有效区，相机的视角为70°。成像系统图如图2所示，在双目视觉系统中，行人各个部分的高度是不同的，相机从上向下拍摄时目标三维信息不同。

图1　双目立体成像系统

图2　双目视觉成像原理

图中O1和O2分别为相机光轴与成像平面的交点，基线距b是两相机光心O1和O2的连线距离；相机焦距为f。空间中某点P投影在左图像和右图像上的相应坐标分别为P1（u1，v1），P2（u2，v2），由于校正后的图像满足极线定理，因此点P在左右视图上成像点的纵坐标是相同的，即v1=v2，横坐标u1和u2的差值d即为视差。由三角关系得到：

则视差为d=u1-u2，由此可得P点在相机坐标系下的深度信息z：

由上式可知，只要将左图像上像素点在右视图上找到对应的匹配点，就可以计算出该像素点的视差，从而计算出该点的深度信息。

2　基于深度信息的人头检测方法

2.1运动目标检测

运动目标的检测，就是把图像中的前景目标从背景中分离出来［4］。对于检测算法来说，所要提取的是运动目标，而背景不仅会对人头的检测造成干扰，而且会增加立体匹配的时间。因此运动目标的检测是整个检测方法中不可缺少的一步。

本文使用改进的帧差法对目标进行检测。首先采集前N帧图像，对N帧图像中每一个对应位置的像素点按照灰度值大小进行排序，去除最大值，最小值，剩下的值取平均得到B（x，y），并将其作为原始背景图像：

式中：Ik（x，y）表示输入的第k帧图像，max，min像素集合中排序后最大值，最小值。

为防止图像中光线变化较大时对检测结果造成影响，运用式（4）对背景图像进行更新。

式中，Bk（x，y）是当前求得的背景图像；Bk-1（x，y）是上次更新后背景图像；B（x，y）为更新的背景图像。α是更新系数；

对背景图像和当前帧图像做差分，以阈值T对差分图像二值化处理，就可以得到运动目标区域。

算法框图如图3所示。

2.2基于深度特征的目标区域提取

首先需要进行立体匹配求视差，使用传统的WTA立体匹配算法［5］时，需要对每一个像素点都进行匹配，耗时大，实时性不理想。且由于人头目标的纹理往往很弱，会造成误匹配。为了提高算法的准确性和实时性，使用一种改进的立体匹配算法。

图3　运动目标检测算法示意图

首先对提取的目标区域进行Canny边缘检测，提取强纹理点。基于视差的分段连续性，由于场景中大部分区域的视差都是连续的，因此只对强纹理点进行匹配求视差d。对非强纹理点只作简单的视差验证，减少了匹配的时间。采用SAD作为相似性测度函数。

对特征点进行匹配求视差：以该点为中心，取一个n×n的窗口，分别计算中心点和其在另一个视图中视差范围0～dmax内的匹配代价CSAD（x，y，d），取匹配代价最小的d为dnew。

SAD相似性测度函数表示为：

对非纹理点，先进行简单的视差验证，验证的方法就是将上一个点的视差dlast代入式（2），计算出左右图像在此视差值下的CSAD（x，y，d）值，然后与Tth进行对比，若小于阈值Tth说明视差是连续的，则不做处理。若大于阈值Tth说明视差存在跳变，需要再次对该点进行SAD匹配，计算视差。匹配结果可以表示为：

算法流程如图4所示。

通过上述方法得到视差图后，通过三角原理得到能够反映距离信息的深度图。深度图像是灰度图像，灰度值的大小反应了目标与相机的距离信息。如图5所示。

图4　改进的立体匹配算法示意图

图5　深度图分层

图5中Z1，Z2，Z3为图中对应点计算的深度；I1，I2，I3为深度图中对应的灰度值。深度图呈现了目标区域的整体深度信息，灰度值越小距离越远，灰度值越大距离越近。由图5可知，深度图分层效果十分明显。根据图中人体的特征，人的头部是距离相机最近的，像素值最大，因此可以通过深度分层能够将含有头部信息的区域提取出来。

2.3人头轮廓提取

经过深度分层后图像存在着许多连通区域，这些区域往往带孔洞和毛刺，有时两区域会出现粘连现象［6］。这将严重影响后续的头部轮廓筛选。根据人头的类圆形特征，可以对图像采用具有圆形特征的结构元进行膨胀、腐蚀操作，这样不仅可以去除孔洞和毛刺，还可以使处理后的区域类圆形特征更加明显，如图6所示。

图6　人头区域提取

下一步是对处理后的区域进行筛选。筛选的参数主要有三个［7，8］：区域圆度C，面积S，轮廓矩形占空比M。

由于人头区域具有类圆形特征，可以用圆度参数C来评价候选区域的类圆特征，并以此判断该区域是否为目标区域：

式中，dmax表示为区域中距离中心最远的距离。C的值在0～1之间。C的值越趋于1，表明该区域越趋于圆形。

人头区域的面积S是有一定范围的，该值的设定是根据实验情况来决定的，在本次实验中S阈值为100，如果该区域面积不在规定面积范围内，则该区域可以排除。

轮廓矩形占空比M指目标轮廓面积与其所在外接矩形区域面积的比值［7］。人头目标是一个凸多边形，因此这个值不应过小，否则认为该候选区域不是目标。当检测区域符合这3个指标就被判定为人头。候选区域如图6（a）所示，3号和4号的C值过小被排除，5号和6号面积S过小被排除，1号区域和2号区域判定为人头区域。由图6（c）可知，筛选区域准确，检测效果良好。

基于深度信息的人头检测方法整体框图如图7所示。

图7　基于深度信息的人头检测方法框图

3　实验结果与分析

采用两部Lumenera LM135M型相机为双目成像设备，像元尺寸为4.65um×4.65um，焦距为8mm，图像分辨率为1392×1040。

实验中将双目相机相距60mm分别安装在实验室房顶上，相机距离地面3m，并保持两相机光轴平行，使其自上而下拍摄图像。

为了验证本文检测方法在不同光照环境下的有效性，进行了大量实地实验，从多方面验证本文算法的有效性，以下为两组对比实验详情。

图8　在弱光照环境下的人头检测

如图8所示，在弱光照环境下，目标区域与周围环境的对比度较差，干扰了运动目标检测，结果如图（c），图中的目标区域出现了粘连、孔洞和不完整的问题。但是根据深度图提取的人头区域仍十分准确，如图（e）所示。对目标区域进行膨胀，腐蚀操作并按照文中的三项指标对图中的候选区域进行筛选得到图（g）。以每个区域的外接矩形的对角线为直径画圆，得到最终检测结果如图（h）。由检测结果可知，本文提出的人头检测方法在弱光照环境下，克服了图像对比度差的问题，准确地检测到了人头区域，检测效果良好。

图9　强光照环境下的人头检测

如图9所示，强光照环境下，图（a）、（b）中行人的影子比较明显。这对人头的准确检测造成干扰，如图（c）为运动目标检测得到的目标区域，影子和目标区域完全粘连在一起，难以分离。图（d）是进行立体匹配后得到的深度图，可以看到明显的分层效果。根据深度图提取的人头区域，得到图（e），图中人头区域已经比较明显，而且也完全滤除了影子对后续处理的干扰。由检测结果可知，本文检测方法克服了强光照和阴影的干扰，准确有效地检测出了人头区域，检测效果良好。

对比检测结果可知，本文提出的人头检测方法对光线变化和阴影有良好的抗干扰能力，对于复杂场景中的人头能够有效地检测。

为了测试本文方法的有效性，分别在强光照和弱光照模拟环境下，利用本文基于深度信息的人头检测算法，对实验室的人员进行检测，并与传统的基于Hough变换的人头检测方法进行对比，取其中30组实验数据，对比结果如图10和图11所示。

图10　强光照环境下的检测结果对比

图11　弱光照环境下的检测结果对比

由图10和图11可以看出，本文检测方法检测结果与传统Hough检测方法相比与实际结果更为接近。

为了直观对比两种方法的优劣，对本文检测方法在不同条件下检测的准确性和误检测率进行统计并与传统Hough检测进行对比。如表1和表2所示。

表1　不同条件人头检测的准确率

表2　不同干扰下的误检率

由表1可知，在强光照和弱光照情况下，人头检测准确率差别不大，且都达到94%以上，对比传统方法提高了检测准确率，表明本文检测方法能够在不同的光线环境下完成精准的人头检测。表2反映了本文的检测算法对于环境良好的抗干扰能力。误识别率仅为5.77%，是传统Hough变换检测方法误检率的一半，说明本文方法对光线和阴影的抗干扰性良好，能够很好适应复杂环境。

4　结论

本文采用改进的立体匹配算法将图像分为强纹理点和非强纹理点分别进行处理，克服了人头区域纹理较弱的缺点，提高深度计算的准确度。且利用深度图像中人体与环境的深度分布不同的特点，克服了光照和阴影等对于检测造成的干扰，实现了在不同光照环境下对于人头的精准检测。由实验结果可知：本文检测方法能够准确确定头部位置，误检测率低，抗干扰能力强，准确率可达95.69%。对于复杂场景中的人头能够有效地检测。在大型商场和客车站等公共场所的行人流量统计方面有重要的应用意义。

参考文献

［1］赵军伟，侯清涛，李金屏，等.基于数学形态学和HSI颜色空间的人头检测［J］.山东大学学报：工学版，2013，43 （1）：5-10.

［2］徐超，高梦珠，查宇锋，等.基于HOG和SVM的公交乘客人流量统计算法［J］.仪器仪表学报，2015，36（2）：446-452.

［3］刘辉，朱闯，张天永，等.一种基于头部特征的人头检测方法［J］.光电子技术：工学版，2014，34（1）：21-25.

［4］郑佳，李江勇.基于背景差分和信息熵的运动目标检测算法［J］.激光与红外，2014，44（5）：563-566.

［5］王逸林，马玫.基于区域匹配算法的双目立体匹配技术的研究［C］.大连海事大学，2012.

［6］于海滨，刘济林.应用于公交客流统计的机器视觉方法［J］.中国图像图形学报，2008（15）：716-722.

［7］徐培智，徐贵力，黄鑫.基于随机Hough变换的人头检测［J］.计算机工程，2012，38（1）：199-200.

［8］Munozib，Molina P J，Galilea J L L.Embedded vision modules for tracking and counting people［J］. IEEE Transactions on Instrumentation and Measurement，2009，58（9）：3004-3011.

A Head Detection Method Based on Depth Information

ZHANG Shanshan1，JING Wenbo2，LIU Xue1，WANG Xiaoman1，ZHU Haichen1
（1.School of Electronics and Information Engineering，Changchun University of Science and Technology，Changchun 130022；2.School of Optoelectronic Engineering，Changchun University of Science and Technology，Changchun 130022）

Abstract：For the problem head detecting method is sensitive to changing light and vulnerable of shadow interference，a head detection method based on the depth map is proposed. Firstly，get moving target region by the moving target detection. Then a improved stereo matching algorithm is used to the target area，a matching algorithm based on the traditional WTA matching algorithm，we just need to match strong texture point by stereo matching algorithm，verify disparity of weak texture point and we can calculate the depth map. Because the depth distribution between people and surrounding scene is different in the depth map，we can extract the head region depend on the depth distribution，and then get candidate region through expansion and corrosion operation. Determine whether the region is the head with the characteristic of the head. Experimental results show that the method tested under different environmental conditions is 95.69%，error detection rate is 5.77%，high precision，strong anti-interference performance to light and shadow and applicable to complex environment.

Key words：head detection；moving target detection；stereo matching；depth map

中图分类号：TP391.41

文献标识码：A

文章编号：1672-9870（2016）02-0107-05

收稿日期：2015-09-10

作者简介：张姗姗（1989-），女，硕士研究生，E-mail：ass0987@163.com

通讯作者：景文博（1980-），男，博士，副教授，E-mail：wenbojing@sina.com