散货作业区人形识别的二级分类方法

张志伟， 宓为建， 宓超， 何鑫

(1. 上海海事大学 a. 物流工程学院， b. 集装箱供应链技术教育部工程研究中心， 上海 201306；2. 中国电子科技集团公司第五十研究所， 上海 200333)



散货作业区人形识别的二级分类方法

张志伟1a， 宓为建1b， 宓超1b， 何鑫2

(1. 上海海事大学 a. 物流工程学院， b. 集装箱供应链技术教育部工程研究中心， 上海 201306；2. 中国电子科技集团公司第五十研究所， 上海 200333)

鉴于目前散货码头运用智能视频监控系统时，由于不同方向人形的方向梯度直方图(Histogram of Oriented Gradient, HOG)特征存在较大的变化，使得用传统方法训练获得的少量特异性特征不足以支撑人形的有效分类，因此提出一种基于AdaBoost的针对不同姿势HOG特征的二级分类方法.首先将样本快速分为正(背)面人形和侧面人形，组成第一级分类；然后通过分别为两类样本训练子分类器组成第二级分类；第二级分类对人形进行识别，并对结果进行融合.以天津港干散货码头无人作业区为背景，完成一组人形识别实验.实验结果表明，相较于传统方法，该方法对正(背)面人形具有更高的识别率.二级分类方法整体上提高了人形识别的识别率.

散货码头； 人形识别； 方向梯度直方图(HOG)； AdaBoost

0 引 言

目前，针对散货码头露天装卸作业的安全要求，国内现有多数港口的视频监控系统多采用专人看守，这种方式极易使人疲劳且工作效率低、出错率高.[1]另外，港口设备作业时危险系数高，意外事故极大地威胁着入侵者的生命和港口生产安全.因此，绝大多数企业管理者希望视频监控系统能智能地识别人形并对意外事故自主作出响应.[2-3]

然而，除有效地找到人形的问题，在散货码头实际作业中，粉尘排放严重，干扰了人形图像.虽然传统方法在提取方向梯度直方图(Histogram of Oriented Gradient,HOG)特征过程中会对图像进行去噪处理，但由于其混合训练不同方向人形特征使得人形特征特异性稀少而难以应用.因此，港口散货码头智能视频监控系统需要丰富人形的特异性特征以提高检测精度.

总结前人研究成果，检测过程主要包括两部分：特征提取和分类器设计.2005年，DALAL等[4]开拓性地采用HOG描述人形特征.该特征对几何和光学形变能够保持较好的不变性并且可以忽略人形一些细微的肢体动作.然而，因其过分顾及图像所有特征致使检测效率低、分类器柔性差.为此，研究者们对特征进行改进，但均未提高检测效率.[5-6]HOG特征作为一种人形分类的标准特征，其本质是基于边缘和形状对边缘方向的一种模糊化，因而最终获得的人形特异性HOG特征数量很少.

人形识别的第二步是分类器设计.目前广泛使用的分类方法有AdaBoost(Adaptive Boosting)级联分类器和支持向量机(Support Vector Machine,SVM)分类器.[7]SVM是基于VC维原理和结构风险最小化的统计学习理论的机器学习方法.[8-10]它通过训练样本库能够自适应地发现所有支持向量中具有明显划分效果的部分，并最大化不同类特征到分类超平面的距离.虽然SVM分类准确率高，但分类时间过长.AdaBoost级联分类器能够根据识别率要求提取不同数量的弱分类器形成强分类器，最后将复杂程序不同的强分类器组合在一起.[11-12]若样本数量趋于无穷，该方法理论上能将人形识别的分类性能指数趋近于最大化.AdaBoost仅挑选重要特征训练弱分类器，因此检测速度大大提高，但识别率不及SVM.[13]

本文的主要工作是，选择AdaBoost级联分类器取代原有的SVM分类器，并提出一种二级分类方法以提高人形识别的检测精度.由于HOG特征本质上是对目标的边缘方向特征的描述，对于不同姿势的人形，HOG特征会产生很大的扭曲变异：正(背)面的人形样本有效面积较大，并有丰富的轮廓特征，易于分类；侧面人形姿势复杂多变，特异性少.传统方法训练分类器时，混合姿势样本的直接使用会使分类特征之间产生冲突，只能获取少量的特异性特征支持分类，致使效果不理想.因此，在用本方法训练分类器之前，首先将待检图片样本分为两类：正(背)面和侧面的人形样本.在分别对两类样本训练AdaBoost子分类器后，根据预处理图片的对应姿势，进行第二次分类：人或非人.最后，将检测结果融合.

1 人形识别的HOG特征

本文使用优化的HOG特征表征人形特征，与其他特征描述子相比，HOG描述子有很多优势：(1)对边缘的结构特征的表达在很大程度上能够描绘出人形的局部形状信息和轮廓特征；(2)位置和方向在空间上的量化在一定程度上可以减少平移和旋转的影响；(3)在局部方格单元上进行操作，对图像的几何和光学形变都能保持很好的不变性.[6,14]

HOG特征的主要思想是通过计算图像局部梯度方向的统计数据获得样本特征.提取HOG特征的具体步骤如下.

步骤1 颜色空间标准化.由于露天装卸作业的环境复杂、光照强烈，需要对样本图像进行颜色空间的归一化以抑制图像噪声.这里采用平方根压缩 Gamma 校正.

(1)

θ(x,y)=arctan(Gx/Gy)

(2)

步骤3 空间和方向上的梯度统计.以16×16像素点大小的块(block)对整幅图像进行扫描，每个block分为4个cell.将[0°,180°]的梯度方向分为9个bin.利用三线性插值法[15]将每个cell中的像素点梯度方向加权投票到9个bin中，从而提取出block的36维HOG特征向量.

步骤4 对比度归一化.为降低背景光照、边缘突变等的影响，使用 L2-norm函数对block的 HOG 特征向量进行归一化.

步骤5 检测窗口HOG特征提取.将全部105个block得到的36维特征向量组成检测窗口3 780(=36×105)维的特征向量.至此计算完毕，得到如图1所示的HOG特征向量图.

图1 人形的HOG特征向量图

2 人形识别的二级分类器

在人形检测上一般使用单分类器进行人形特征分类.目前使用最为广泛的两个分类器是SVM分类器和AdaBoost级联分类器.用传统的SVM分类器分类HOG特征向量，检测速度相对较低.JIA等[15]提出一种自适应AdaBoost级联分类器分类HOG特征向量以提高检测效率，然而其检出率低于传统SVM分类器.因此，需要提出一种新型分类方法在保证分类效率的基础上提升分类精度.

图2 二级分类器分类流程

在视频监控中，复杂的人形姿态和港口露天装卸背景导致检测效果不理想.此时，单分类器很难对所有姿态给出明确的界定标准，算法收敛困难.本文利用AdaBoost分类算法思想，改进传统分类模式，变单一分类器为二级分类器.二级分类器分类流程见图2.首先通过第一级分类器将样本预分类为正(背)面和侧面样本.由于实验样本存在非人的可能，此处仅可分类为疑似正(背)面和侧面人形.预处理之后，第二级分类通过将第一级分类后的样本分别放入两个子分类器中进行人形识别，判断是否为人.最后，因为同一目标在不同尺度检测中会出现多个矩形框重叠的情况，所以将正(背)面与侧面人形的检测结果进行融合得到最终结果.正(背)面和侧面人形样本见图3.具体训练流程如下.

图3 正(背)面和侧面人形样本

2.1 基于决策树的弱分类器训练

图4 决策树

如图4所示，决策树由3部分构成：根节点、分支和叶节点.每个内部节点表示一个查询，节点的每个分支代表一个测试结果.树中每个父节点表示用于样本划分的特征阈值，而子节点分类训练所需的样本就是通过这个阈值划分出来的.具体训练步骤如下：

步骤1 阈值的计算需要考虑每个样本特征，尽量保证当前样本的分类误差最低.首先，将所有样本的维度特征值由小到大排序，然后遍历所有样本，找到可以将分类误差最小化的最优阈值θ.也就是说，由该阈值进行样本分类，最终得到的误检率小于其他任何邻近样本的阈值.计算所有3 780维特征的阈值，找到其中最小值所在的特征维度，记为第k维，其对应的分类误差被称为最小分类误差.由最小误差建立树节点1，根据对应的特征阈值将样本分为类2和类3，然后计算类2和类3中正负样本的权重，取较小值记为节点1的实际分类误差.

步骤2 重复步骤1，分别计算叶节点2和3继续分类所对应的最小分类误差e2和e3.

步骤3 在节点2和3中选择一个作为叶节点继续分类，选择的依据是使后继节点的数据尽可能降低分类错误率，计算公式为

Δθ=max{θ1-e2,θ1-e3}

(3)

步骤4 重复步骤1～3，如果要使所有叶节点最终都达到分类错误率为0，可能会出现决策树的“过拟合”现象.本文将迭代步长设为4.

2.2 强分类器级联

强分类器是通过将同一样本集训练出的弱分类器以某种规则进行组合得到的.在图片检测时，它通过对检测窗口内的弱分类器加权投票得到加权和，作为最终分类结果的判断依据.

训练决策树后得到4个弱分类器ht.由式(4)可以求出每个节点对应的权重αt，其与样本分类正确率成正比.

αt=(Tt-Ft)/(Tt+Ft)

(4)

式中：Tt和Ft分别表示正、负样本的分类正确率.所有样本分类正确则相应权重为1.

(5)

样本权重更新规则见表1. 从表1可知，若样本分类正确则权重变小，反之权重变大.

表1 样本权重更新规则描述

经过最大次数的迭代后，通过学习可以得到所有的弱分类器及相应的权重系数αt.若经过加权得到的最终值大于0，则检测结果为人.

虽然AdaBoost训练的强分类器误检率小，但其检测率也同样不高.训练级联分类器需要考虑两个方面：一是每个强分类器中弱分类器数与分类效率的平衡；二是强分类器的识别率与误检率的平衡.[16]

2.3 最终分类器训练

步骤1 表2为训练样本库，全部样本都采样自实际作业区域且在数量上足以支撑训练过程.因为样本的选取对最终分类器的分类效果有很大影响，所以通过采集不同角度和姿势的样本提高样本库的普遍性.

步骤2 计算所有样本的特征向量.

步骤3 限定每级分类器的最大误检率和最小识别率.按照流程(1)和(2)训练弱分类器.

步骤4 重复步骤1和3直到所有3个分类器训练完成.

表2 训练样本库

2.4 检测结果融合

针对检测中多个矩形框重叠的情况，摒弃从多重叠结果中选择最优解的非极大值抑制法[17]，而使用不相交集聚类同类元素从而对结果进行融合.

3 实验结果和分析

在调研期间，该系统已经在天津港散货码头的装卸作业区完成数个现场测试.由图5所示，现场测试的视频表明系统检测结果满足人形识别要求.

图5 散货码头现场试验结果

经过为期三个月的散货码头实验，获得大量现场视频数据并挑选富有代表性的图像，构建3个不同类型的样本库.这3个样本库主要特征见表3.样本库1和2分别为正(背)面和侧面的人形样本，而样本库3中包含不同姿势的多个人形，包括正(背)面、侧面、倾斜以及旋转人形等.由于采样基于装卸作业现场，所有测试图像的环境背景都非常复杂.

表3 实验样本库

实验结果见表4.从表4可知，二级分类器方法误检率更低.如表4所示，在误检率上，二级分类器对正(背)面人形的误检率仅为1.99%，较之传统SVM分类器的3.35%和AdaBoost分类器的3.09%降低很多.二级分类器对侧面或多种姿势人形的误检率也略低于传统的SVM算法，远低于AdaBoost分类器.在识别率方面，二级分类器对侧面人形的识别率与传统算法基本持平，但对正(背)面人形的识别率高达98.01%，均高于传统SVM和AdaBoost分类器的识别率.在对多种姿势的人形识别上，二级分类器能够达到近96%的识别率.

表4 实验结果

由于正面人形具有更加明显的易识别特征，传统的单分类器只能采取混合人形姿势特征训练，导致正面特征的识别率大大降低.本文提出的二级分类器对正(背)面人形的低误检率和高识别率正是由于二级分类器能够将正(背)面人形与侧面人形分开训练，显著强化了正面人形特征的特异性.虽然由于侧面人形特征的复杂性，其在识别率上的提升较为微弱，但正(背)面人形误检率的大大降低以及识别率的提高使其在总体性能上优于传统SVM和AdaBoost分类器.

综上，本文提出的二级分类器能弥补单分类器的缺点.新方法能够在检测正(背)面、侧面以及多种姿势等多个样本时分别达到98.01%，92.88%和95.96%的识别率.检测效果比单一AdaBoost分类器有很大的改善，在整体上也优于传统的SVM分类器.

5 结 论

针对传统HOG特征的分类问题，提出一种新的二级分类方法.选择AdaBoost级联分类器替代传统的SVM分类器，摒弃对许多负样本的复杂检测来提高分类效率.在第一级分类中，训练AdaBoost级联分类器用于检测疑似正(背)面或侧面人形的图像.然后在第二级分类中，训练两个子分类器分别确定是否存在正(背)面和侧面的人形图像.检测结果使用不相交集进行融合.

天津港散货码头装卸作业区现场实验结果表明，传统的单一AdaBoost算法在正(背)面、侧面以及多种姿势的人形样本检测上存在很大的限制，缺乏对人形姿势的适应能力.虽然传统SVM检测算法的识别率达到95%，但检测时间过长，不能满足港口对实时性的要求.新方法相对于单一AdaBoost分类器有很大的改进，并且该方法在误检率仅3%的情况下对混合样本达到95%的高识别率.总之，提出的二级分类方法能提高对正(背)面人形的识别率，从而在整体上提高人形识别率.

[1]MI Chao, HUANG Youfang, LIU Haiwei,etal. Study on an intelligent human detection system for unmanned area security in ports[J]. J Appl Sci, 2013, 13(16): 3221-3226.

[2]ZHANG S, CHAN S C, QIU R D,etal. On the design and implementation of a high definition multi-view intelligent video surveillance system[C]//2012 IEEE Int Conf Signal Processing, Communication and Computing (ICSPCC), 12-15 Aug, 2012: 353-357.

[3]宓为建, 何鑫, 沈阳, 等. 基于智能人形识别的港口无人区监控系统关键技术[J]. 上海海事大学学报, 2015, 36(1): 65-69.

[4]DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C]//IEEE Computer Society. Proc 2005 Conf Computer Vision and Pattern Recognition, SanDiego, CA, USA, 25 June, 2005: 886-893.

[5]MI C, HE X, LIU H W,etal. Research on a fast human-detection algorithm for unmanned surveillance area in bulk ports[J]. Math Problems Eng, 2014. DOI:10.1155/2014/386764.

[6]PANG Y W, YUAN Y A, LI X L,etal. Efficient HOG human detection[J]. Signal Processing, 2010, 91(4): 773-781.

[7]ISHII N, MORIOKA Y, SUYAMA S,etal. Classification by rough set reducts, AdaBoost and SVM[C]//IEEE ACIS Int Conf Proc Software Eng Artificial Intelligence Networking and Parallel/Distributed Computing(SNPD), London, 2010: 63-68.

[8]TAN Y, WANG J. A support vector machine with a hybrid kernel and minimal Vapnik-Chervonenkis dimension[C]//IEEE Computer Society Knowledge and Data Eng, 2004: 385-395.

[9]QIU X T, FU D M, YANG T. A novel approach to optimize the objective function based on VC dimension and structural risk minimization[C]//IEEE Proc 30th Chinese Control Conf (CCC), Yantai, China, 2011: 3226-3230.

[10]CORTES C, VAPNIK V. Support-vector networks[J]. Machine Learning, 1995, 20(3): 273-297.

[11]邵枭虎. 基于AdaBoost与显著信息的行人检测算法[D]. 成都: 电子科技大学, 2012.

[12]MARCO P, JORDI G, BHASKAR C,etal. Boosting histograms of oriented gradients for human detection[C]//2nd Conf Comput Vision: Adv Res & Dev, 2007: 1-6.

[13]YU J. The application of BP-AdaBoost strong classifier to acquire knowledge of student creativity[C]//IEEE Int Conf Comput Sci & Service Syst (CSSS), 2011: 2669-2672.

[14]ZHANG M, SUN Z, TAN T. Deformed iris recognition using bandpass geometric features and lowpass ordinal features[C]//Int Conf Biometrics, 2013: 1-6.

[15]JIA H X, ZHANG Y J. Fast human detection by boosting histograms of oriented gradients[C]//IEEE 4th Int Conf Image & Graphics, 2007: 683-688.

[16]CHENG W C, JHAN D M. A cascade classifier using AdaBoost algorithm and support vector machine for pedestrian detection[J]. IEEE Int Conf Systems Man & Cybernetics, 2011, 42(1): 1430-1435.

[17]ZAYTSEVA E, VITRIA J. A search based approach to non-maximum suppression in face detection[C]//IEEE 19th Int Conf Image Processing (ICIP), 2012: 1469-1472.

(编辑 赵勉)

Two-stage classification approach for human body recognition in bulk handling area

ZHANG Zhiwei1a, MI Weijian1b, MI Chao1b, HE Xin2

(1. a. Logistics Engineering College, b. Engineering Research Center of Container Supply Chain Technology,Ministry of Education, Shanghai Maritime Univ., Shanghai 201306, China; 2. The 50th Research Institute of China Electronics Technology Group Corporation, Shanghai 200333, China)

At present, the intelligent video monitoring system is used in bulk terminals. However, Histogram of Oriented Gradient (HOG) features of human body in different directions show great difference, so that a small number of specific features obtained by the traditional method is insufficient to support effective classification of human body. Therefore, a kind of two-stage classification method based on AdaBoost is proposed for different HOG features of different human postures. Firstly, the samples are rapidly divided into the Front & Back (F&B) human body and the side (not F&B) human body to form the first-stage classification. Then, the sub-classifiers are respectively trained for the two types of samples to form the second-stage classification, where the human body and the non-human body are recognized respectively and the results are merged. Taking the unmanned area in the bulk terminal of Tianjin Port as the background, a group of human body recognition experiments is carried out. The experimental results show that, compared with the traditional method, this method is of higher recognition rate for F&B human body. The two-stage classification method improves the recognition rate of human body overall.

bulk terminal; human body recognition; Histogram of Oriented Gradient (HOG); AdaBoost

10.13340/j.jsmu.2015.03.014

1672-9498(2015)03-0082-05

2015-02-05

2015-06-03

上海市科学技术委员会部分地方院校能力建设专项计划(13510501800)；上海青年科技英才扬帆计划(15YF1404900)；上海市教育委员会科研创新项目(14ZZ140)；上海海事大学研究生创新基金(2014ycx040)

张志伟(1992—)，男，安徽合肥人，硕士研究生，研究方向为港口机械电子，(E-mail)hitomi_black@163.com； 宓为建(1956—)，男，浙江海宁人，教授，博导，博士，研究方向为港口机械电子，(E-mail)miweij@126.com

U698.5; TP391.41

A