基于一种改进的HOG-SVM的红外视频图像人形检测方法

丁 飞， 刘桂华， 高军强

(西南科技大学信息工程学院，四川 绵阳 621010)

基于一种改进的HOG-SVM的红外视频图像人形检测方法

丁 飞， 刘桂华， 高军强

(西南科技大学信息工程学院，四川 绵阳 621010)

为了实时、高效地检测红外视频图像中不同姿态的人形目标，提出了基于改进的方向梯度直方图-支持向量机(HOG-SVM)红外视频热图像人形识别算法。首先，采用链码跟踪方法提取视频中的轮廓区域，并计算轮廓的最小长宽比，实现人形轮廓的预判断，从而剔除了图像中小型和大型干扰物；其次，为了缩短特征提取的时间，将筛选出的轮廓图片统一缩放到64×128像素，再提取该轮廓区域的HOG特征；最后，建立1 300张包含各种红外人形姿态的训练样本数据库，基于SVM原理训练得到关于红外人形的线性目标分类模型，最终实现了实时、高效检测红外视频人形目标的目的。搭建仿真平台进行试验并分析所得数据；分析结果表明，该算法具备各种人形姿态识别的鲁棒性，3 m之内对人形姿态的识别率可达到95%，且运行时间短，可满足系统的实时性要求。

机器人； 红外热成像仪； 图像； 检测； 支持向量机； 数据

0 引言

在视频监控中，对移动目标进行检测、识别并自动报警一直都是热门的研究问题，其在车辆安全、安全监控以及机器人技术等领域都有着重要的应用。过去十几年，行人检测技术已经有了很多成熟的算法，但至今依然存在许多问题和难点。红外热成像具有全天候24 h监视、背景简单、雨雾天气不受光线影响等优势，这使得红外视频监控的应用更为广泛[1]。

倪福川等[2]提出了一种基于矩不变量的分级识别人的“头肩像”技术。方亚军等[3]提出了一种基于独立模板匹配的方法。Harsh Nanda[4]提出了一种概率模板的红外视频人形检测方法，检测低分辨率以及残缺不全的红外视频中的人形目标，但概率模板匹配耗时且识别率较低。胡景荣等[5]提出对静态图像作小波变换，提取目标局部突出特征，结合动态帧的步态特征，最后利用支持向量机(support vector machine, SVM)进行学习与识别分类。Jakir Hossen等[6]使用光流法来分离运动目标，用PCA方法识别人形的可疑行为。D.Tome等[7]提出更加复杂的行人检测算法，使用了改进的卷积神经网络，该方法准确性较高，但系统运行时间长。

针对以上问题，本文提出了改进的方向梯度直方图-支持向量机(histogram of oriented gradient-support vector machine, HOG-SVM)红外视频图像的人形检测方法。首先使用链码跟踪法提取红外图像的目标轮廓，使用最小长宽比对轮廓目标进行预判断。其次，对每一个目标轮廓进行SVM分类，快速识别出人形目标。为了训练出有效、稳定的SVM模型，制作1 300张红外人形图像作为人形训练数据库，以达到更高的识别率。

1 红外视频图像的人形检测原理

红外视频图像和其他视频图像相比，其背景简单、干扰物较少，有利于检测目标轮廓[8]。但是红外视频中的人形形态容易受外界因素干扰，比如光照强度、衣服的材质、戴帽子围脖、距离的远近等，这使得镜头中的人形会出现拉伸、断裂，导致不易分辨出人形特征。

Danal的HOG-SVM方法需对每一幅图像进行不同尺度的搜索，降低了算法的运算效率。为了解决这个问题，在保证识别率的基础上，首先提取目标物体的轮廓，将每个提取出来的轮廓缩放为固定大小，采用最小外接矩形结合头肩分离处理的方法优化人形头肩断裂的情况；然后，提取该轮廓的HOG特征；最后，使用SVM对该轮廓进行分类识别。这样能有效避免对图像的盲目搜索，达到快速识别的效果。系统框图如图1所示。

图1 系统框图

2 轮廓提取

红外图像的成像原理是普朗克定律。由于目标物体本身放出热量形成的红外热图像，相对于其他视频图像，具有背景简单、干扰物较少的优势，所以可对视频图像中的目标进行轮廓提取，再剔除小型目标以及大型目标。

链码跟踪方法(即Freeman链码)[9]示意图如图2所示。其定义为：任选一个像素点P作为参考点，与其相邻的像素分别在8个不同的位置上，给他们赋予方向值0～7,如图2(a)所示。0～7位链码方向值所指方向是以中心点(即参考点P)水平方向以东的点(即数值0)为起始，依次按逆时针方向旋转45°，如图2(b)所示。

图2 链码跟踪方法示意图

轮廓的跟踪可以按照链码的方向进行，下一跟踪点的获取依赖上一轮廓点，从而避免了对所有像素点的扫描，提升了轮廓跟踪的效率。Freeman编码实例如图3所示，其为一个8×8的点阵图，其中一条线段以S为起始点、E为终点，此线段就可表示为L=43 322 100 000 066。

图3 Freeman编码实例

轮廓提取的目标可能是行人、灯光、动物，所以要根据最小外接矩形的长宽比排除一些干扰物。本文算法中将长/宽(高/宽)的比值记为R，则最小外接矩形算法判断人形的过程如下。

(1)如果人形目标区域的宽度大于或等于像素宽度的1/4，那么判定物体距离摄像头较近，目标的上半区域出现在镜头中，最小外接矩形的长宽比R≤1，则判定出现的目标物体可能是人；

(2)如果人形目标区域的宽度小于像素宽度的1/4，则表示目标物体距离摄像头较远；此时，最小外接矩形的长宽比R≥1.2，则判定目标物体可能是人。

在人形轮廓提取的过程中，人的颈部容易被围脖或其他衣物遮挡，造成颈部亮度不明显，使颈部的轮廓提取失败，出现了头肩部分离的情况,不利于后续的特征分析及检测识别。为了优化这一现象，需要对头肩分离的情况作出判断并进行相应的优化处理。本文算法作出以下4点判断(以下试验数据基于的图像分辨率大小为600×400像素，且所有阈值的设定是经重复多次的试验经验值)。头肩分离与拼接对比如图4所示。

图4 头肩分离与拼接对比图

①假设在目标轮廓提取之后，有2个外接矩形出现，分别记为矩形A(头部)和矩形B(肩部以下)，头肩分离及人体放大效果如图4(a)所示。

②矩形A和矩形B的上下间隔的像素距离很小，且小于阈值50个像素点。

③矩形A的垂直中心线与矩形B的垂直中心距离位置相差很小，且小于阈值20个像素点。

④矩形B的像素面积比矩形A的像素面积大6倍。

同时满足以上4个条件的，可以判断人形的头肩部是分离状态，且矩形A和矩形B属于同一个人形目标，则将A、B拓展为一个整体，计入一个最小外接矩形。图4(b)是进行闭运算更改后的效果。

3 特征描述和制作红外人形数据库

HOG特征[10]是一种特征描述算子,可以对人体目标信息和运动信息形成丰富的特征集。HOG算法的基本思想是：局部目标的表象和形状能够被梯度强度在梯度方向上的分布很好地描述。其基本步骤如下：

①进行灰度化处理；

②采用Gramma校正法对输入图像进行颜色空间的标准化，即归一化处理；

③计算图像中每个像素的梯度(包括大小和方向)，这主要是为了捕获轮廓信息，同时进一步弱化光照的干扰；

④将图像划分为细胞单元(cell)；

⑤统计每个cell的直方图(不同梯度的个数)，即可形成每个cell的描述符；

⑥将几个cell组成一个block，一个block内所有的cell的描述符串起来便得到该block的HOG描述符；

⑦将图像内的所有block的HOG特征描述符串起来，即可得到该图像的HOG特征描述符。

3.1 改进的HOG特征描述

一般情况下，基于HOG算法的行人检测是利用一个64×128像素块的窗口(window)在一帧图像上进行光栅扫描，水平方向和垂直方向上的扫描步长均为8像素。

HOG算法原理如图5所示。由图5可知，细胞单元、块单元、窗口之间的像素关系。每个细胞单元有9维的直方图，把上、下、左、右4个相邻的cell视为1个像素块(block),即1个block的直方图维数是 4×9=36维，每个window包含15×7 = 105个block，计算出1个窗口就是105×36 = 3 780维。本试验的图像分辨率是600×400,设定的window的大小是64×128像素，滑块在水平方向和垂直方向都间隔8个像素进行搜索，那么每张图片window的运算周期是[(600-64)/8+1]×[(400-128)/8+1]=2 380，使检测的效率较低。

图5 HOG算法原理图

由于红外视频图像对于热源物体显示区域色彩高亮，一般与背景无温度差的物体就会呈现和背景相似的颜色。人形的显示为高亮色彩，提取轮廓相对简单。为了降低运算周期，首先对提取出的轮廓通过最小外接矩形进行筛选，然后将筛选出的轮廓统一缩放为64×128像素大小的图片，即将一幅600×400像素图像替换为一个64×128像素的window窗口大小的目标图像，然后运用HOG算法进行特征提取，运算周期从2 380下降到个位数级别，大大提升了运算效率。

3.2 红外图像的样本库制作

SVM分类器计算流程[11]如图6所示,它包括训练模块、乘法累加器模块和比较器模块。

图6 SVM分类器计算流程图

由图6可知，训练模块采用SVM对红外行人检测数据库进行训练，本试验测试了两种数据库。第一种是INRIA[10]行人检测库，包含了2 000张正样本和1 000张负样本。INRIA数据库中的行人主要是可见光下的行人库，包含了各种人的形态、衣着打扮、姿势以及背景。第二种是为了更加详细地描述红外人形的特征,所制作的新红外人形数据库，命名为INFIMG，其包含1 300张正样本、1 000张负样本。样本像素大小统一为64×128，人的形态有直立、弯腰、戴帽子、侧身、半身，以及单人和多人、近景和远景下的人形。

4 试验数据分析

本试验采用改进的HOG- SVM方法来识别红外视频图像下的人形。试验中，仿真平台硬件环境为：CPU采用Intel酷睿i5-2430，CPU主频为2.4 GHz，2 GB内存的PC机；采用非接触式LCIR-1501在线式红外热成像仪，通过RJ45网络输入，视频的帧率是27 fps，视频分辨率为600×400像素。

①本试验SVM的训练数据库图像使用的是INFIMG库。测试样本是在不同距离情况下拍摄的红外人形视频，随机抽取200张图片。本文对这两种训练数据在不同距离下的识别率进行了对比，结果如图7所示。

图7 不同数据库的样本识别率对比曲线

通过对比可知，INRIA数据库的识别效果不如INFIMG数据库。

为说明本文提出的基于轮廓改进的HOG算法对运算效率有显著的提升效果，从视频图像中随机使用300张图片，对这两种方法进行对比。一种是使用Danal的HOG-SVM特征提取方法，另一种是使用本文算法。两种方法的运行时间对比结果如图8所示。

图8 传统方法与本文算法运行时间对比图

本文算法对红外视频中人形各种姿势以及多人状态的识别效果较好，且运行比较稳定。软件集成和结果显示使用的是MFC开发环境，能有效识别各种人形姿态。

5 结束语

本文提出了基于轮廓的HOG-SVM对红外视频的人形检测方法。该方法首先提取每帧图片有轮廓的目标区域；再用最小外接矩形长宽比判别出符合要求的人形轮廓区域，对提取出的轮廓进行HOG特征描述；最后使用线性SVM进行分类，达到人形识别的目的。该方法提高了算法的运行效率，以及红外视频下的人形识别率。试验结果表明，相对于传统的HOG-SVM的方法，该方法节约了运行时间，平均每帧图像(600×400像素)减少的时间约为45 ms，极大地满足了27 fps的处理时间要求，而且对各种人形姿势具有较高的识别率。

[1] NAVARRO E,FERNANDEZ C A，MARTINEZ T A.Intelligent multisensory system in support of information society in support of information society[J].International Journal of System Science,2014,45(4):711-713.

[2] 倪福川，贺贵明，龙磊.基于不变矩的人形“头肩像”识别技术[J].计算机工程，2005,31(10):174-176.

[3] FANG Y J,YAMADA K,NINOMIYA Y,et al.A shape-independent-method for pedestrian detection with far-infrared-images[J].IEEE Transactions on Vehicular Technology,2004,53(6):1679-1697.

[4] NANDA H,DAVIS L.Probabilistic template based pedestrian detection in infrared videos[J].Intelligent Vehicle Symposium,2002(1):15-20.

[5] 胡景荣，洪昆，茹华所.一种基于SVM的人形识别算法[J].昆明理工大学学报(理工版)，2010,35(5):70-73.

[6] HOSSEN J,JACOBS E,JACOBS K.Human suspicious activity recognition in thermal infrared video[R].Infrared Sensors,Devices,and Applications IV,2014:9220.

[7] TOME D,MONTI F,BAROFFIO L,et al.Deep convolutional neural networks for pedestrian detection[J].Computer Vision and Pattern Recognition,2016(47),482-489.

[8] 汪金礼，王皓，袁宝红.红外视频监控中的人体目标检测[J].测试技术学报，2014,28(1):39-43.

[9] 陈士金，汤漾平，邓勇.基于链码的轮廓跟踪技术在二值图像中的应用[J].华中理工大学学报，1998,26(12):26-28.

[10]DANAL N,TRIGGS B.Histograms of oriented gradients for human detection[J].Computer Vision and Pattern Recognition,2005(1):886-893.

[11]徐渊，许晓亮，李才年，等.结合SVM分类器与HOG特征提取的行人检测[J].计算机工程，2016,42(1)：56-65.

Humanoid Detection Method Based on Improved HOG-SVM for Infrared Video Images

DING Fei,LIU Guihua,GAO Junqiang

(School of Information Engineering,Southwest University of Science and Technology，Mianyang 621010，China)

In order to detect humanoid target with different postures in infrared video images in real time and with high efficient,based on improved HOG-SVM,the humanoid recognition algorithm for infrared thermal video images is proposed.Firstly,the chain code tracing method is applied to extract the contour area in video,and the minimum length width ratio is calculated to realize the pre-judgment of the humanoid contour;thus the small,medium and large sized distractors are removed.Then,in order to shorten the searching period of feature extraction,the contour images extracted are unified scaling into 64×128 pixels,and the HOG characteristics of the contour area are extracted.Finally,the database of training samples containing 1,300 infrared humanoid postures is established,the classification model of linear targets of infrared humanoid is obtained based on training method using SVM principle,thus the purpose of real time and high efficient detection of infrared video of humanoid target is reached.The simulation platform is set up for testing and analyzing the data obtained;the results of analysis show that the algorithm possesses robustness to recognize various humanoid postures,the recognition rate of the humanoid postures is up to 95% within 3 meters,and the running time is short.It can satisfy the real time requirement of the system.

Robot； Infrared thermal imaging instrument； Image； Measurement; Support vector machine； Data

资金项目:四川省科技厅资金资助项目(13zxtk05)、西南科技大学创新团队基金(14tdtk01)

丁飞(1991—)，女，在读硕士研究生，主要从事机器视觉及模式识别的研究。E-mail：1134174002@qq.com。 刘桂华(通信作者)，女，博士，教授，主要从事机器人场景智能感知、图像处理、机器视觉方向的研究。E-mail：liughua_swit@163.com。

TH6;TP391.41

A

10.16086/j.cnki.issn 1000-0380.201702012

修改稿收到日期:2016-07-22