基于机器视觉的人数识别研究综述

孙莹莹，宋寅卯，王 蓬

(1.郑州轻工业学院 建筑环境工程学院，河南 郑州 450002；2. 郑州轻工业学院 电气信息工程学院，河南 郑州 450002)

基于机器视觉的人数识别研究综述

孙莹莹1，宋寅卯1，王 蓬2

(1.郑州轻工业学院 建筑环境工程学院，河南 郑州 450002；2. 郑州轻工业学院 电气信息工程学院，河南 郑州 450002)

机器视觉技术由于其非破坏性、精度高、速度快等特点，在现在科技发展中已经被广泛地研究和应用，更多地被用到视频监控中。文章对机器视觉人数识别近几年的发展做了详细的论述，主要从个体识别法和群体识别法两大方面进行分析，具体可分为四方面：特征识别法、形状识别法、模型学习识别法和人群密度识别法。根据各种不同识别算法思想的研究，对当前研究方向上亟待解决的问题做出了分析，并对未来人数识别的研究做出展望。

机器视觉；人数识别；人群密度；人员跟踪；人员检测

0 引言

机器视觉是用计算机模拟人的视觉功能，从客观事物的图像中提取信息,进行处理并加以理解,最终用于实际检测、测量和控制[1]。目前，机器视觉技术向着智能化、目的化方向发展。

人数识别涉及数字视频处理、模式识别、计算机视觉以及人工智能多个领域，是一个跨学科、跨领域的前沿课题，也是当今智能视觉系统研究中一个十分活跃的新领域。国际上的高级视频和录像(Advanced Video and Signal-Based Surveillance)论坛每年都会举办PETS的会议专门针对于人群行为分析[2-3]。国内外有不少对于人数识别的解决方案，其中绝大部分是基于机器视觉的。基于机器视觉的人数识别不仅具有很强的科学研究价值，还具有很强的实用价值，其成本低，使用周期长，统计准确率高。

本文根据近几年人数识别研究成果，做出总结，将其分为4种识别方法，分别为特征识别、形状识别、模型学习识别和人群密度识别。前三种旨在检测和跟踪个体，多用于中低人群密度的场合；第4种主要是跳过单个行人的检测和跟踪过程，将人群整体作为研究对象。

1 特征识别法

特征识别法是指根据已选取的目标特征，在图像序列中匹配搜索目标，从而实现运动目标的跟踪识别。在识别算法中，选取有效的特征集，会提高检测效率，减少错误率。

颜色特征对平面旋转、非刚性变形具有很强的鲁棒性，同时能够容忍部分遮挡。在文献[4]中，Comaniciu提出了基于颜色直方图(Color Histogram)非刚性目标的跟踪识别方法。但是由于颜色特征对光照变化的敏感性，为了提高识别效果，可采用多特征结合[5]的方式。王强[6]等人提出了一种人头的颜色与形状特征相结合的人数识别方法，此方法对图像进行二值化，以降低阴影和光照变化造成的影响；然后根据形状特征对人头进行检测与跟踪，最后对目标的运动轨迹进行跟踪分析，估计出当前场景中的人数。在光照变化频繁的地方也可采用边缘特征，文献[7]提出了基于边缘方向直方图特征的跟踪方法，该方法对光照变化不敏感，并且比单一轮廓边缘特征具有更丰富的信息。单一的边缘特征[8-9]往往存在计算复杂度高、无法适应目标形变的问题。而颜色与边缘特征具有互补特性，将两种信息融合能够建立更可靠的目标特征模型。光流特征通过计算像素点光流的幅值和方向构建动态图像的几何变化和辐射度变化，Decarlo[10]利用光流特征实现了对人脸目标的跟踪。由于光流法运算量较大，很难满足实时性要求，并且光流法对遮挡、光照变化以及运动噪声比较敏感，因此光流法的实际应用并不常见。

2 形状识别法

形状识别法的思想是建立一个表示目标形状的模板，然后计算目标模板和候选目标形状的相似度，从而确定当前帧运动目标最可能的位置。常用人体的形状特征作为模板，如人体的躯干特征、人头轮廓[11]特征。

文献[12]中提到了一种根据双椭圆模型检测人头作为人数统计依据的方法，得到运动目标的轮廓特征后检测出头部椭圆，这种方法提高了检测精度，减了少误判，然而如果是画面比较模糊的情况下，就不能准确地确定目标。为了解决模糊场景下的人员识别，常庆龙、夏洪山[13]在视频检测过程中引入了一个自适应的人物检测窗口，对监控视频中的行人进行检测和计数。该算法对场景图像质量要求低，不需要繁琐的训练过程，只需要一定的参数配置步骤即可实现感兴趣区域的行人快速检测，但此算法仍然有不足之处，即对于复杂场合的人群误检率较高。而赵军伟[14]等人在这方面做得较好，用数学形态学与HSI颜色空间相结合的方法有效地去除图像中非人头区域的干扰和噪声，通过边缘检测得到人头候选区域，最后利用人头轮廓信息进行判定识别目标。为了提高视频监控中人数统计的实时性，文献[15]中也使用了数学形态学与颜色空间相结合的方法，用轮廓的几何特征检测人头，相比之下，此方法更具体、详细，可适用多种不同复杂的场合，也能保证检测的实时性，在动态场景下的行人检测取得了较好的效果。

3 学习识别法

模型学习识别法是对要跟踪的目标特征建立模型并学习，进而对学习得到的模型用于检测，最后统计出人数。模型学习的算法需要具备快速、连续的学习能力，通过增量学习更新目标的特征描述来处理表征的变化。

2009年，贾慧星[16]提出智能监控中基于机器学习的自动人数统计系统，通过机器学习对视频序列中的人肩部位进行准确地检测。该方法克服了连通域分析和简单模板匹配的不足，鲁棒性增强，但是只适用于场景中的初步测试，而且计算量较大，效率不高。在此基础上，刘子源、蒋承志[17]使用人肩部建立Harr特征分类器，过滤背景，排除干扰，提高了检测精度，减少了检测时间。除人肩外，较多算法用人脸作为学习模型，江伟坚[18]等人提出两组Harr-like特征扩展集(正脸和侧脸)，通过Adaboost算法训练出双通道级联分类器(用于侧脸和正脸的识别)，此方法使用较少的弱分类器，检测效率高，计算速度快，对多角度人脸检测有较好的鲁棒性。以上算法采样的视觉角度建立在行人平视图上，而垂直摄像头可以降低遮挡程度，文献[19]中，用俯视的方式采样，建立基于Adaboost的人头检测分类器，实现人数统计，但是仍然存在误检和漏检的情况。为了对此进行改善，唐春晖[20]提出了一种基于梯度方向直方图的俯视行人的检测方法。它将俯视人头的梯度方向直方图作为检测目标的特征，通过训练样本提取的特征向量在支持向量机(SVM)中训练。此方法对目标尺度变化相对不敏感且效率更高,处理速度也明显提升。

4 人群密度识别法

人群密度识别法是将人群作为一个整体的研究对象，分析人群的图像特征，然后建立人群特征与人数之间的映射关系从而实现人群计数。其图像特征又分为基于像素特征和基于纹理特征两大类。

王明吉、肖桂丹[21]等利用运动目标标记的方法实现计数，标记图像中的像素，形成标签图像，根据标签图像初步确定目标数量。此方法稳定性强、准确率较高，但由于基于像素特征的识别法计算简单，因此在高密度场合往往使用基于纹理的分析法。Chan[22]采用混合纹理模型来提取分割运动人群，利用训练回归函数的方法得出人数与特征量关系函数，进而对检测区域人数实现估计。由于训练集不够强大，很容易出现误差，准确率就不能保证，而且计算量较大。之后，李虎[23]等人提出一种基于 PCA 和多元统计回归的人数统计方法，使用 PCA 方法提取信息，得到特征量与行人密度间的函数关系后对高斯回归模型进行修正，以提高回归模型的精度，统计出行人密度，有较高的准确率。纹理分析法中，比较经典的方法是使用灰度共生矩阵纹理特征。文献[24]中采用一种基于线性内插透视矫正的SURF算法，对获得的前景图像提取多特征，将传统的灰度共生矩阵纹理特征与SURF算法特征相结合，克服遮挡和摄像机透视畸形的影响，有效地提高了统计精度，有较强的适应性，准确率也可以得到保证。

5 人数识别算法难点

人数识别算法包括人员检测算法、人员跟踪算法和人群密度算法。研究算法一直追求鲁棒性好、准确率高、快速性好的特点。虽然关于人数识别算法的研究已经持续了很多年，研究者们提出了各种各样的识别方法，但是还没有形成一个适用于所用应用场合的统一理论框架或体系，而且算法在实际应用中遇到的很多问题仍然没有得到很好的解决，这些问题即是难点，又是以后的研究重点，表1是对各算法中遇到的难点问题的总结。

表1 三种算法难点总结

6 展望和结束语

随着智能视频跟踪系统的发展，对目标跟踪技术的要求也成为一个研究热点。实现一个速度快、精度高、实时性好的识别系统是研究的重要方向之一。但是通常情况下，各特点之间相互矛盾。提高复杂环境下的多目标识别亟待解决。针对目标识别技术中出现的目标遮挡、背景干扰等问题，可引入超像素概念[25]，能够捕获图像冗余信息，降低后续处理任务复杂度。不同的机器学习方法对模型的自适应有严重的影响，针对在识别工程中出现的运动和变化不确定性，已有的子空间学习、度量空间学习、稀疏字典学习和深度学习都有很好的效果。如何结合学习机制更好地实现算法自适应性有待深入研究。

随着物联网的发展，智能视频监控系统已成为热点之一，使人数识别算法也成为热点。本文介绍了基于机器视觉的人数统计的研究；通过对近年来具有代表性的人数识别算法研究分析，总结出人数识别算法主要有基于个人的识别和基于群体的识别；相比传统的人数识别算法，增加了对高密度人群的详细分析。总结了近年来人数识别算法中亟待解决的问题，并对其提出展望。

[1] 章炜.机器视觉技术发展及其工业应用[J].红外,2005,27(2):11-17.

[2] KRAHNSTOEVER N, TU P, SEBASTIAN T, et al. Multi-view detection and tracking of travelers and luggage in mass transit environments[C]. In: IEEE International Workshop on Performance Evaluation of Trackling and Surveillance and CVPR, 2006.

[3] KRAHNSTOEVER N, YU T, PATWARDHAN K A, et al. Multi-camera person tracking in crowded environments[C].Twelfth IEEE International Workshop on PERFORMANCE Evaluation of Tracking and Surveillance， 2010:1-7.

[4] COMANICIU D, RAMESH V, MEER P. Kernel-based object rracking[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2003, 25(5):564-575.

[5] 林景亮,唐杰.一种融合肤色和Haar特征的人脸检测方法[J]. 微型机与应用,2013, 32(8):35-37.

[6] 王强，冯燕．基于颜色和形状信息的快速人数统计方法[J]．计算机测量与控制，2010(9)：101-105．

[7] SHEN C, HENGEL A V, DICK A. Probabilistic multiple cue integration for particle filter based tracking[C]. Proceedings of the International Conference on Digital Image Computing: Techniques and Applications, Sydney, 2003, 1: 399-408.

[8] BIRCHFIELD S T, RANGARAJAN S. Spatioframs versus histograms for region-based tracking[C].Proceedings of the IEEE Computer Society Conference on Computer Vision and Recognition, San Diego, CA, United States,2005,2:1158-1163.

[9] LI P H, ZHANG T W, PECE A E C. Visual contour tracking based on particle filters[J]. Image and Vision Computing, 2003, 21(1): 111-123.

[10] DE CARLO D, METAXAS D. Optical flow constraints on deformable models with applications to face tracking[J]. International Journal of Computer Vision, 2000, 38(2): 99-127.

[11] 周先春,唐娟, 汪美玲.曲率与小波轮廓增强的人脸识别算法[J].电子技术应用, 2015, 41(10):161-164.

[12] 张继法,梅雪,许松松.一种基于双椭圆模型的视频人数统计方法[J].计算机科学，2012,39(26)：499-502．

[13] 常庆龙,夏洪山.基于自适应滑动窗的模糊场景行人快速检测[J].电视技术，2012,36(19)：177-182．

[14] 赵军伟,侯清涛,李金屏，等.基于数学形态学和 HSI 颜色空间的人头检测[J].山东大学学报(工学版)，2013，43(2)：6-10．

[15] 高春霞,董宝田,王爱丽.基于人头颜色空间和轮廓信息的行人检测方法研究[J].交通运输系统工程与信息,2015,15(4):70-78.

[16] 贾慧星,章毓晋.智能视频监控中基于机器学习的自动人数统计[J].视频应用与工程,2009,34(4):78-81.

[17] 刘子源,蒋承志.基于OpenCV和Haar特征分类器的图像人数检测[J].辽宁科技大学学报,2011,34(4):384-388.

[18] 江伟坚,郭躬德,赖智铭.基于新Harr-like特征的Adaboost人脸检测算法[J].山东大学学报(工学版)，2014,44(2):43-48.

[19] 张志勋，张磊，杨凡.一种改进的Adaboost人脸检测方法[J].自动化与仪器仪表,2013(6):143-145.

[20] 唐春晖.一种基于梯度方向直方图的俯视行人的检测方法[J].模式识别与人工智能,2015,28(1):19-26.

[21] 王明吉，肖桂丹，胡晓曦.一种实用的多运动目标标记与计数新方法[J]．计算机仿真，2009,26(8):199-203.

[22] CHAN A B, LIANG Z S J, VASCONCELOS N. Privacy preserving crowd monitoring: counting people without people models or tracking[C]. Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recoynition (CVPR08). Washington, DC, USA: IEEE Computer Society,2008:1-7.

[23] 李虎,张二虎,段敬红．基于PCA 和多元统计回归的人群人数统计方法[J]．计算机工程与应用，2014,50(11)：206-209．[24] 吴冬梅,王静,李白萍,等.基于改进SURF算法的大规模群体人数统计[J].西安科技大学学报，2015,35(5):650-655.

[25] 王春瑶,陈俊周,李炜.超像素分割算法研究综述[J].计算机应用研究,2014,31(1):6-12.

Review of the research on the number recognition based on machine vision

Sun Yingying1,Song Yinmao1,Wang peng2

(1.College of Architecture and Environmental Engineering, Zhengzhou University of Light Industry, Zhengzhou 450002, China;2.College of Electric Information Engineering, Zhengzhou University of Light Industry,Zhengzhou 450002, China)

Machine vision technology has been extensively studied and applied in the development of science and technology because of its non-destructive, high precision and fast speed, and is being used more and more in video surveillance. In this paper, the development of machine vision recognition in recent years has been discussed in detail, the study mainly from two aspects of individual recognition and group recognition, and the recognition can be divided into four areas: feature recognition method, shape recognition method, model learning identification method and population density identification. Based on the research of different recognition algorithms, this paper analyzes the problems that need to be solved in the current research direction, and points out the prospect of the future research on the number recognition.

machine vision; number recognition; crowd density; personnel tracking; personnel detection

TP391

A

10.19358/j.issn.1674- 7720.2017.07.003

孙莹莹，宋寅卯，王蓬.基于机器视觉的人数识别研究综述[J].微型机与应用，2017,36(7)：9-11，18.

2016-12-09)

孙莹莹(1991-)，通信作者，女，硕士，主要研究方向：图像处理与模式识别。E-mail:1101094916@qq.com。

宋寅卯(1963-)，男，硕士，教授，主要研究方向：智能控制与模式识别。

王蓬(1989-)，男，硕士，主要研究方向：检测技术与自动化装置。