基于在线随机蕨分类器的实时视觉感知系统

罗大鹏，罗　琛，魏龙生，韩家宝，王　勇，马　丽

(1.中国地质大学(武汉) 机械与电子信息学院,湖北武汉 430074；2.北京师范大学惠州附属学校,广东惠州 516002)



基于在线随机蕨分类器的实时视觉感知系统

罗大鹏1，罗琛2，魏龙生1，韩家宝1，王勇1，马丽1

(1.中国地质大学(武汉) 机械与电子信息学院,湖北武汉 430074；2.北京师范大学惠州附属学校,广东惠州 516002)

本文针对不同成像条件下,目标姿态变化对系统检测性能的影响,提出一种具有自主学习能力的视觉感知系统.该系统能在执行检测任务的同时,通过快速的自主学习提高检测性能,并保持实时目标检测速度.系统包括了目标检测模块及在线学习样本自动获取、标注模块.针对目标检测模块为满足系统自主学习需求,提出随机蕨分类器的在线学习方法,使目标检测模块可持续自我更新,提高检测性能;针对样本自动获取、标注模块则提出最近邻分类器辅助的双层级联标注方法.此外,本文提出自主在线学习框架,整个学习过程不用准备初始训练样本集,通过人工选定一个待检测目标即可进行无需干预的自适应学习,逐渐提高检测性能.实验表明,该方法在多种监控场景中均有较强的自适应能力和较好的目标检测效果.

在线学习;视觉感知;随机蕨分类器;目标检测

1　引言

近年来,通过训练分类器实现图像或视频目标快速检测的方法[1]得到了广泛使用.但是,该方法要准备大量样本进行分类器训练,这是一项很繁琐的工作.此外,摄像头的安装角度和高度不同会导致监控视频、图像中的目标成像姿态变化很大.很难准备较完备样本集将所有目标表现形式都包括进去.因此,该方法在不同成像条件下的目标检测鲁棒性难以保证.

本文从新的角度解决这一问题.通常一个摄像头只监控一个固定场所,成像背景及成像角度变化不大.因此可针对固定场景训练分类器,并在其执行检测任务的同时持续自我学习,逐渐提高检测性能,成为该场景专用目标检测器.这种学习模拟了人类视觉感知系统的自学能力,可自主完成,易于扩展到其它监控场景.从而将多场景、多视角的目标检测问题转化为多种成像条件下的自适应学习问题,提高了可行性和实用性.

实现自主学习的目标检测系统有两个关键要素:

(1)设计合适的在线学习算法,使分类器快速、有效的自主学习.

早期在线学习算法是Polikar 提出的增量有监督人工神经网络[2],2001年Oza提出了在线Boosting[3]算法.此后,Grabner给在线Boosting算法增加了特征选择的能力,提出了在线AdaBoost算法[4],使在线学习可用于计算机视觉领域.该算法在线更新的弱分类器越多,分类性能越好.但在线学习速度也越慢.文献[5～7]提出了改进方法,但在线学习速度和分类器性能的矛盾一直没有解决.

Ozuysal提出随机蕨分类器算法[8],该分类器将多个特征融合为一个随机蕨,不需要训练弱分类器,提高了分类器训练速度.此外,该分类器的在线学习算法,可通过更新随机蕨后验概率分布实现,因此增加随机蕨个数及每个随机蕨包含的特征数对在线学习速度影响不大,较好的平衡了分类器性能和在线学习速度这对矛盾.

(2)设计合适的在线学习样本自主获取、标注方法

基于在线学习的目标检测系统通常要求自主获取在线学习的新样本,并对其类别进行自动标注,否则无法实现检测系统的智能化,并且在线学习样本标注的正确率对训练过程的有效性影响较大.

Roth[9]采用了增量主元分析(IPCA)[10]算法对新样本进行自动标注,但是,这种方法对目标检测速度以及在线学习的速度均有一定影响.Zeisl[5]等人将半监督学习引入到分类器的在线学习和更新中,虽然半监督学习可以使用未标注样本训练分类器,但是这种方法需要构造相似性函数,而设计相似性函数的困难程度不亚于对大量样本进行标注[11].

Kalal[12]提出通过跟踪目标在特征空间中的轨迹对在线学习的样本进行标注,但是这种标注必须在某个目标的整个跟踪过程完成后才能进行.Qi[7]提出对样本包进行标注以减小样本错误标注对在线学习分类器性能的影响.但是,由该方法只能减小错误标注的正样本对分类器的影响,而对于错误标注的负样本则无能为力.

本文提出了一种基于在线随机蕨分类器的目标检测系统,采用在线随机蕨分类器进行视频图像中的目标检测,对置信度较高的检测结果进行跟踪,通过跟踪自动获取在线学习新样本,并融合最近邻分类器[13]形成级联的样本类别的自动标注方法,实现系统的自主更新,逐渐提高检测性能.由参考文献[8,14]可知,随机蕨分类器对错误标注样本有较好的容错性,这将减轻本系统自动标注错误对检测性能的影响.

此外,文献[7,9]的方法均需采集少量样本训练初始分类器.其训练情况对分类器在线学习影响很大.本文的在线学习系统,只需在视频图像中人工选取一个待检测目标,即可进行初始随机蕨分类器训练.然后,该分类器在后续帧中进行同类目标检测并以全自主方式在线学习,从而易于扩展到其它监控场景或不同类别的目标检测系统中,因此有很好的应用前景.

2　随机蕨分类器及其在线学习算法

2.1随机蕨分类器

随机蕨分类器由朴素贝叶斯[15,16]分类器发展而来.通过贝叶斯理论,分类器的训练过程是样本特征到样本类别的映射.给出大量带有类别的样本Dm=(fm,Cm),m=1,2,…,M,其中M为样本个数,f为样本特征值,通常为N维向量,表示为:

f=(f1,f2,…,fN)

(1)

而C为样本类别,设类别数为K,则:C∈{c1,c2,…,ck},分类器H即为:H:f→C.

随机蕨分类器可称为半朴素贝叶斯(Semi-NaiveBayes)分类器,它是由贝叶斯分类器发展而来.即从特征集合中随机抽取l组相同大小的特征子集,每个子集称为一个随机蕨,设每组子集包含s个特征即:

Fl={fl,1,fl,2,…,fl,s}

(2)

假设每个随机蕨都是条件独立的,因此所有特征的联合似然分布可由下式计算:

(3)

相应的随机蕨分类器为:

(4)

可见,随机蕨分类器随机提取多个特征构成随机蕨,从而可联合多个随机蕨进行近似计算.

随机蕨分类器主要用于多类目标的分类识别,本文将其用于视频目标检测.即待检测目标作为一类,背景作为另一类,分别统计这两类样本在随机蕨上的后验概率分布,下面以车辆样本为例,说明随机蕨后验概率P(F|ck)的计算方法.如图1所示该车辆样本特征f由图像块中随机提取的a,b两点像素大小决定:

(5)

设一个随机蕨F包含5个特征,其5对像素点位置如图2所示,相应的可获得一个5位二进制码.

通过这种方式,每个样本的随机蕨F包含的特征可形成一个5位二进制码,其对应的十进制数有25种可能的数值,可方便的计算其后验概率.

对于大量的车辆样本,如图3所示,由相同位置的5对像素点可获得每个样本的随机蕨数值,统计该数值分布即可获得车辆样本在该随机蕨的后验概率P(F|ck).

对于其它类别,同样准备大量训练样本,计算其在随机蕨F的数值分布.为了进一步提高随机蕨分类器的分类精度,可将待检测车辆目标分为小型车和大型车,背景分为路面背景及干扰目标.分别统计四类目标在随机蕨F的分布如图4所示.即为每一类目标在随机蕨F上的后验概率.

相应的可计算样本分类置信度为:

(6)

显然一个随机蕨对样本的分类精度不高,可以通过式(4)联合多个随机蕨的分类结果.

2.2在线随机蕨分类器算法

由2.1节可知,随机蕨分类器的训练不需更新弱分类器权重及样本权重,只需统计每类训练样本在不同随机蕨的后验概率分布即可,因此该分类器的训练速度较快.并且,对于随机蕨分类器的在线学习也可通过更新后验概率分布实现.

本文主要探讨视频目标检测问题,与图3,4的多类目标分类问题不同,需准备正负样本训练初始随机蕨分类器,为了避免手工标注初始训练样本集,本文通过人工选取一个待检测目标,然后对其进行旋转角度及缩放尺度变化的仿射变换自动获取初始正样本集.

初始负样本通过在图像帧边缘随机取样获得.采用2.1节的方法统计正负样本在随机蕨不同数值上的分布,获得初始随机蕨分类器.

在线学习时,每个随机蕨的后验概率分布根据增加的正负样本数更新.设在线学习的样本为(fnew,ck),其中fnew为多维特征向量,ck为样本类别,设为正样本.下面以随机蕨F1为例说明随机蕨分类器的在线学习过程:

(1)计算该样本在随机蕨F1的数值,设为00101,即十进制数5.

(2)将随机蕨F1的数值也为5的正样本数N加1,负样本数M不变.

艾莉没有见到戴菲儿的合格证、发票、信誉卡、保修卡、使用说明……但她相信戴菲儿所说的每一句话。因为哀伤无法掩饰。因为她看到戴菲儿的哀伤，秦川的哀伤。她听到连接在他们之间的那根看不见的细细的线绳的崩断之音。一顿饭的时间，她成为主人，戴菲儿成为玩偶，世界就是这般离奇，充满变数。

(4)归一化随机蕨F1的后验概率分布.

可见,随机蕨分类器的在线学习过程即为统计各个随机蕨数值对应的样本数,由样本数变化更新后验概率分布.因此其在线学习速度远高于其它在线学习算法.

3　自主在线学习的目标检测系统

本文通过在线随机蕨分类器构建自主学习的目标检测系统,下面将首先介绍最近邻分类器辅助样本类别自动标注方法,然后详细介绍整个自主在线学习框架.

3.1最近邻分类器辅助样本类别自动标注方法

3.1.1最近邻分类器

最近邻分类器是一种模板匹配的方法,首先存储一定数量的正负样本模板集:

(7)

其中p+,p-分别为目标、背景图像块.对于待分类样本p,分别计算其与正负样本模板集的相似度S+(p,M+)及S-(p,M-):

(8)

(9)

相应的可得:

(10)

若Sr大于阈值θNN,则该样本为正样本,否则为负样本.

3.1.2最近邻分类器的使用

由上一节可知,如何构建合适的正负样本模板集是最近邻分类器的关键,其中尤以正样本模板集的构造最为重要.本系统中只有以下三种情况可添加正样本模板集:

(1)初始框选的目标可作为一个正样本模板添加到M+中.

(2)在每帧检测结果中,选择置信度较高的进行跟踪,若跟踪所得目标区域附近有检测结果与之重合,则认为是真实目标,可作为正样本模板添加到M+中.

(3)对跟踪所得目标区域附近没有检测结果与之重合的,则通过保守相似度Sc判断其是否能加入正样本模板集.

(11)

其中:

(12)

每加入一个正样本模板,取其周围四个相同大小的邻域判断是否为负样本模板,这里引入高斯背景建模,若邻域内前景像素较少,则可加入负样本模板集.

为避免模板集中,正负样本模板较多可能造成的系统运行速度下降的缺点,本文引入模板集消减机制.由式(8)可知,待分类样本与模板集的相似度只取决于模板集中与该样本相似度最大的模板.据此实时统计各个模板求得该最大值的次数,若某模板求得最大值的次数较少,则认为该模板对最终分类结果贡献不大,可以去除.此外,通过该机制,同样可减小错误的正负样本模板对在线学习的影响.

3.2自主在线学习框架

为了实现在线学习样本的自动获取及类别标注,本文提出了自主在线学习目标检测系统,如图6所示.首先,在视频帧中人工选取一个待检测目标,训练初始随机蕨分类器;然后,采用该随机蕨分类器在后续每帧视频图像中进行目标检测,对于每个检测结果采用最近邻分类器判断其是否为虚警,若是,则作为负样本在线训练随机蕨分类器;之后,对于置信度较高的检测结果,进行跟踪,对每个跟踪结果使用最近邻分类器判断其是否为真实目标,若是,则作为正样本在线训练随机蕨分类器,从而逐步提高分类器的目标检测性能,实现自主学习的目标检测系统.

可见,本文自主在线学习系统只需人工选定一个待检测目标即开始自主训练初始分类器,不需采集初始训练样本,避免了初始训练不同对分类器在线学习的影响.此外,自主学习系统采用最近邻分类器辅助样本获取及自动标注,相当于一个两层级联的样本类别自动标注方法,即对第一层检测、跟踪获取的潜在正、负样本,通过第二层最近邻分类器获取其真实的类别,从而提高了样本类别自动标注的正确性.这种级联的样本类别自动标注体系可灵活设计不同的级联数及每级采用的标注方法,有很大的自由度.

4　实验与比较

首先声明,为真实反映系统在线学习过程,本文并未对检测结果进行非最大抑制,因此检测结果有重复检测同一目标的情况.实验采用的数据来自Caviar数据集、PETS2006数据集及自己准备的车辆视频数据集.Caviar数据集和PETS2006数据集用于验证行人检测算法,部分视频帧如图7所示.

可见,拍摄这两种数据集的摄像头成像角度差别较大.由文献[17]可知这种成像角度的变化会引起目标成像姿态的较大变化,从而影响检测性能.本文力图在这两个视频集上验证算法对成像角度变化的自适应能力.此外,本文还准备了一组车辆视频数据集,如图8所示,这组视频的成像背景及光照变化较大,可用于验证本文算法对成像环境变化的自适应能力.

由文献[7,9]可知,Roth和Qi的方法均采集样本训练了初始分类器,而采集样本的多少对初始分类器及在线学习分类器的性能影响很大.为获得公平的比较结果,本文统一了训练初始分类器的方法,均为随机框选一个待检测目标,通过仿射变换获得200个正样本,再从监控视频四周非目标区域提取300个负样本训练初始分类器.其中,本文方法采用分类器的随机蕨个数为15,每个随机蕨包含的的特征数为5,而Roth和Qi方法的参数与文献[7,9]一致.

4.1基于在线学习的目标检测系统适应性实验

首先对车辆视频数据集进行实验,实验结果如图9所示,可见在线随机蕨分类器的目标检测性能越来越好,而且由图10、11可知,系统在不同的监控背景及光照下都可通过自主学习逐渐提高其检测精度,说明了在线学习检测系统的适应性很强.

本文记录了每次视频帧中虚警的数量和漏检的数量,如图12所示,目标检测系统在线学习初期性能较差,漏检和虚警较多,这是由于在线训练正样本较少造成的.随着系统在线学习的进行,检测率增加,虚警也逐步增多.当分类器进一步在线学习后,其每个随机蕨的后验概率趋于稳定,检测到的车辆目标也趋于准确.

图10给出了不同背景中系统在线学习过程,图11给出了夜晚环境下对车辆目标的检测效果.

下面我们对视频中的行人目标进行检测,用于验证算法在不同成像角度下的自适应能力.实验结果如下,其中图13、14来自Caviar数据集,图15、16来自PETS2006数据集,它们的成像角度有较大的差别,和上述所给出的实验一样,系统开始检测时总会出现比较多的漏检,一段时间后检测率上升,虚警也随之增多,之后检测结果趋于准确,检测性能逐步提高.

4.2比较实验

我们在车辆视频数据集中将本文方法与Roth和Qi的方法进行了比较,由于未收集初始样本集,Roth和Qi的方法均未达到文献[7,9]提到的检测性能.而本文方法采用的在线随机蕨分类器较好的平衡了分类性能和在线学习速度这对矛盾.此外,本文的级联样本自动标注算法,相对于Roth和Qi方法有较高的准确率,因此有更好的检测效果,如图17所示.

此外,我们在车辆视频数据集上比较了三种算法的运行速度,实验环境统一为2.66GHz双核CPU及2G内存,实验结果如表1所示,可见,本文方法相对于Roth和Qi方法,有较好的实时性.

表1　三种算法运行速度比较

方法分类器、特征是否每帧检测编程语言FPSRoth的方法在线AdaBoost、Harr是C语言5.6Qi的方法在线多实例学习、HOG是C语言11.4本文方法在线随机蕨分类器、随机蕨数值是C语言22.3

5　总结与展望

本文将随机蕨算法和在线学习理论结合起来构建自主学习目标检测系统.通过基于最近邻分类器的级联方法获取在线学习的样本并进行自动的类别标注,从而使检测模型通过在线学习逐步提高检测性能.多组实验表明本系统可通过在线学习适应成像角度以及成像背景的变化,获得不错的检测效果.

未来,我们将进一步提高全自主在线学习系统自适应能力,并通过随机蕨分类器的多目标分类能力,将系统扩展为多目标自主在线学习系统,扩展其应用范围.

[1]Viola P,Jones M.Fast and robust classification using asymmetric AdaBoost and a detector cascade[A].Advances in Neural Information Processing System 14[C].Cambridge,MA:MIT Press,2002.1311-1318.

[2]Polikar R.Learn++:an incremental learning algorithm for supervised neural networks[J].IEEE Transactions on Systems,Man,and Cybernetics,Part C:Applications and Reviews,Nov,2001,31(4):497-508.

[3]Oza N,Russell S.Online bagging and boosting[A].Proceedings of the 8th International Conference on Artificial Intelligence and Statistics[C].Florida,USA:Morgan Kaufmann Publishers,2001.105-112.

[4]Grabner H,Bischof H.On-line boosting and vision[A].Proceedings of the 19th IEEE Conference on Computer Vision and Pattern Recognition[C]. New York City,USA:IEEE Press,2006. 260-267.

[5]Zeisl B, Leistner C,Saffari A, Bischof H.On-line semi-supervised multiple-instance boostin[A].Proceedings of the 23th IEEE Conference on Computer Vision and Pattern Recognition[C].San Francisco,USA:IEEE Press,2010.1879-1887.

[6]Chen S T,Lin H T,Lu C J.Boosting with online binary learners for the multiclass bandit problem[A].Proceedings of The 31st International Conference on Machine Learning[C].Beijing,China:IEEE Press,2014.342-350.

[7]QI Z Q,XU Y T,WANG L S.Online multiple instance boosting for object detection[J].Neurocomputing,2011,74(10):1769-1775.

[8]Mustafa Ö,Michael C,Vincent L,Pascal F.Fast keypoint recognition using random ferns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(3):448-461.

[9]Roth P,Grabner H,Skocaj D,Bischof,H,Leonardis A.On-line conservative learning for persondetection[A].Proceedings of 2nd Joint IEEE International Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance[C].Beijing,China:IEEE Press,2005.223-230.

[10]Skocaj D,Leonardis A.Weighted and robust incremental method for subspace learning[A].Proceedings of the 16th IEEE International Conference on Computer Vision[C].Nice,France:IEEE Press,2003.1494-1501.

[11]Chen K,Wang S.Semi-supervised learning via regularized boosting working on multiple semi-supervised assumptions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(1):129-143.

[12]Kalal Z,Mikolajczyk K,Matas J.Tracking-learning-detection[J].Pattern Analysis and Machine Intelligence,2011,34(7):1409-1422.

[13]Muhammad A T,Jim E S.Improving nearest neighbor classifier using tabu search and ensemble distance metrics[A].Proceedings of the 6th IEEE International Conference on Data Mining[C].Hong Kong,China:IEEE Press,2006.18-22.

[14]Leistner C,Godec M,Schulter S,Saffari A,Werlberger M,Bischof H.Improving classifiers with unlabeled weakly-related videos[A].Proceedings of the 24th IEEE Conference on Computer Vision and Pattern Recognition[C].Colorado Springs,USA:IEEE Press, 2011.2753-2760.

[15]Domingos P,Michael P.On the optimality of the simple Bayesian classifier under zero-one loss[J].Machine Learning,1997,29(2-3):103-137.

[16]Rennie J,Shih L,Teevan J,Karger D.Tackling the poor assumptions of naive bayes classifiers[A].Proceedings of the 20th International Conference on Machine Learning[C].Washington DC,USA:IEEE Press,2003.616-623.

[17]罗大鹏,罗林波,桑农.可在线学习的视频目标检测系统[J].信号处理,2013,29(5):615-624.

Luo D P,Luo L B,Sang N.Video object detection system with the capacity of onlinelearning[J].Signal Processing,2013,29 (5):615-624.(in Chinese)

罗大鹏(通信作者)男,1978年出生,四川泸定县人,于华中科技大学图像所获博士学位,现为中国地质大学(武汉)副教授,主要研究方向为计算机视觉、图像处理与分析,机器学习等.

E-mail:luodapeng@cug.edu.cn

罗琛女,1976年7月出生,广东惠州人,毕业于武汉大学,现为北京师范大学惠州附属学校教师,主要研究方向为计算机视觉、图像处理与分析,机器学习等.

E-mail:1430319794@qq.com

Real Time Visual Perception System Based on Online Fern Classifier

LUO Da-peng1,LUO Chen2,WEI Long-sheng1,HAN Jia-bao1,WANG Yong1,MA Li1

(1.SchoolofElectronicInformationandMechanics,ChinaUniversityofGeosciences,Wuhan,Hubei430074,China2.HuizhouSchoolAffiliatedtoBeijingNormalUniversity,Huizhou,Guangdong516002,China)

A novel online learning object detection system is proposed,which can self learning and improve its detection performance wihout human-annotated training data.The system is composed of a object detection module and a sample labeling module.Online fern classifier is used in the object detection module because of its fast online learning speed.Consequentely,our system can learn automatically and detect objects in the real time.Samples,which are used to train the classifier online,are acquired and labeled automatically from a two stages cascade method in the sample labeling module.Instead of training initial classifier from some manual labeled training samples like other online learning detection frameworks,our system can learn automatically after specifying the object to be detected.This can greatly reduce the efforts of labelers.Experimental results on several video datasets are provided to show the adaptive capability and high detection rate of our system.

online learning;visual perception;fern classifier;object detection

2014-10-10;

2015-01-11;责任编辑:马兰英

国家自然科学基金(No.61302137,No.61271328,No.41202232);湖北省自然科学基金(No.2013CFB403);武汉市晨光计划项目(No.2014070404010209)

TP391

A

0372-2112 (2016)05-1139-10

电子学报URL:http://www.ejournal.org.cn10.3969/j.issn.0372-2112.2016.05.018