罗 亮,吕俊杰,李 涛,张 劲,刘俊勇+,刘友波
(1.国家电网四川省电力公司 阿坝供电公司 建设部,四川 阿坝 623200;2.国家电网四川省电力公司 天府新区供电公司,四川 成都 610041;3.四川大学 电气工程学院,四川 成都 610065)
车型识别技术在交通管控、停车场管理等方面发挥了重要的作用,但受实际条件与识别算法的限制,没有哪一种方法能适用于任何场景[1,2]。针对施工工地,工程车辆的有效管理是保证施工效率的首要前提,但现有的监管方式大多依赖人力,无法保证监管的效率,因此车型识别技术为工地管理提供了新的解决办法。
车型的识别方法主要针对于特定环境,适应性较差。目前,应用场景主要分为两大类:①基于交通环境,Honghui Dong等[3]提出了一种基于原始磁信号的短时方差序列的车辆检测算法,从每个车辆信号中提取42维特征,用梯度树Boosting算法对车型进行识别;张鹏等[4-6]提取交通视频中车辆的SIFT(scale-invariant feature transform)作为特征,在SVM(support vector machine)分类器中完成车型分类;陈立潮等[7]将循环神经网络与卷积神经网络融合并嵌入二级框架,改进了传统卷积模型使得对全局特征更为敏感;Azam S等[8,9]利用Faster-RCNN算法对车辆的不同方向进行检测,与传统的RCNN相比,检测速度加快,检测区域更为精确;张志永[10]使用胶囊网络算法与Faster RCNN结构实现车型识别,实验结果表明,在BIT-vehicle数据集中5种车型的平均识别率达到了91.27%。②基于停车场等静态环境,Tschentscher 等[11]通过提取车位高斯差分DOG(difference of Gaussian)特征与颜色直方图作为特征向量,采用SVM分类器对其进行分类训练,实现空闲车位的检测;Amit Kumar等[12,13]根据车辆的高度和长度等轮廓信息进行车型分类;此外邵宇[2]采用传统的HOG(histogram of oriented gridients)特征,利用背景差分法对矿场监控视频中挖掘机进行检测识别,但由于样本过小且识别对象单一,适用性较差;黄俊洁[14]使用深度学习方法,在Fast R-CNN部分引入在线难例挖掘算法,利用工地电杆摄像头拍摄的图像作为训练集,实验结果表明对工程车有较好的识别率,缺点是需要使用大量的数据样本进行训练,实用性仍有局限。
尽管目前已有针对于车型识别的方法,但多是基于交通与停车场等监控覆盖较为全面的场景,由于施工工地地形复杂、监控难以覆盖等原因,相关研究仍比较罕见且局限性较大。
基于以上背景,本文提出一种用于施工工地的基于改进的HOG特征的工程车车型识别算法。首先利用RPN(region proposal network)深度学习网络[15]对工程车辆目标区域进行自动分割;其次提出自然度保留的图像增强方法对工程车的暗部细节进行增强,并结合颜色不变性处理去除地面阴影,使得在该处理图像上提取的HOG特征能更加完整描述工程车的真实轮廓;然后将自然度保留增强图像的NPE-HOG特征和阴影去除图像的CIV-HOG特征融合得到的NC-HOG特征,结合一对一支持向量机实现对压路机、挖掘机、装载机3类工程车辆的自动识别,有助于后续对各类工程车在工地填压情况的监测。
本文采用无人机采集航拍视频序列,使用RPN深度学习网络对工程车辆在图像中进行了检测与标记,自动分割车辆的目标候选区域;然后对车辆目标区域进行自然度保留图像增强处理并提取NPE-HOG特征,同时进行颜色不变性处理并提取CIV-HOG特征,将两者融合为NC-HOG特征,结合SVM对特征分类提取的先验模型进行分类,区分压路机、挖掘机、装载机3类工程车辆,实现了对3类工程车辆的自动识别。图1是本文提出的车型自动识别算法的流程。
图1 车型自动识别系统的流程
由于利用传统的基于公路环境的车辆检测方法不能对工地环境中的工程车进行识别,而且传统车辆检测方法多是基于车载摄像头或道路监控录像设备录制的视频进行识别的。本文基于RPN深度学习网络[15]来实现对工程车辆的分割,得到了较好的识别标注效果,为后续对车型的分类识别奠定了基础。图2是RPN。
图2 RPN
RPN以任意大小的图像作为输入,输出一组矩形的目标提议,每个提议都有一个目标得分。为了生成区域提议,在VGG-16最后的共享卷积层输出的卷积特征图后面设立了一个小型卷积神经网络。这个小型卷积神经网络将VGG-16 最后的共享卷积层输出的卷积特征图作为输入,使用3*3的卷积核,卷积核个数为512,进行卷积操作,后面再加一个ReLU激活函数。最后特征被输入到两个子全连接层:一个边界框回归层和一个边界框分类层,其中子全连接层是用1×1卷积来实现的,边界框回归层的卷积核个数为4k,边界框分类层的卷积核个数为2k,k的值为每个位置可能提议的最大数目,然后使用3个尺度和3个长宽比,在每个滑动位置产生k=9个锚点。最终输出的建议是边界框回归层与边界框分类层通过非极大值抑制来消除冗余的边界框,从而找到最佳的工程车辆的目标边界框。图3是利用RPN算法对一个视频帧的处理结果,自动分割出3类工程车辆ROI区域。
图3 工程车辆ROI区域自动分割
对于挖掘机、压路机和装载机3种工程车车型,三者最大的区别在于其形状特征不同,而在提取特征过程中,工程车地面阴影边缘可能会被当作工程车形状特征的一部分,从而影响自动识别效果。本文提出了一种结合自然度保留图像增强处理和颜色不变性处理的工程车车型特征提取算法,该算法步骤如图4所示。
图4 工程车车型特征NC_HOC提取算法流程
在提取工程车形状特征前,对工程车图像进行基于自然度保留的图像增强处理,提取NPE_HOG特征;同时对工程车图像进行基于颜色不变性的阴影去除处理,提取CIV_HOG特征。然后根据两种图像处理的优缺点进行特征拼接融合,最后提取NC_HOG特征,如式(1)所示
(1)
其中
N=length(NPE_HOG)=length(CIV_HOG)
(2)
由于自然度保留图像增强处理过程中改变了原始图像的光照,若直接对自然度保留图像增强后的图像EOc(x,y) 进行阴影去除处理是不准确的,所以基于自然度保留的图像增强处理和基于颜色不变性的阴影去除处理需要对原始图像O(x,y) 同时进行,分别得到暗部细节增强图像EOc(x,y) 和无阴影图像COc(x,y)。 对两幅图像同时提取HOG特征,分别得到NPE_HOG特征和CIV_HOG特征,其计算过程如下:
分别将EOc(x,y) 和COc(x,y) 进行尺寸变换和灰度转换,得到256×256灰度图像GEOc(x,y) 和GCOc(x,y)。 计算灰度图像每个像素点 (x,y) 的梯度
Gx(x,y)=V(x+1,y)-V(x-1,y)
(3)
Gy(x,y)=V(x,y+1)-V(x,y-1)
(4)
其中,Gx(x,y) 和Gy(x,y) 表示像素点 (x,y) 的水平方向梯度和垂直方向梯度,V(x,y) 是像素点 (x,y) 的像素值。根据式(5)、式(6),计算像素点 (x,y) 的梯度幅值G(x,y) 和梯度方向α(x,y)
(5)
(6)
自然度保留图像增强图像EOc(x,y) 的梯度幅值和梯度方向分别为GE(x,y) 和αE(x,y), 无阴影图像COc(x,y) 的梯度幅值和梯度方向分别为Gc(x,y) 和αc(x,y)。将自然度保留图像增强图像和无阴影图像的梯度幅值按照8×8像素/细胞,2×2细胞/块组合HOG特征向量,得到NPE_HOG特征和CIV_HOG特征。图5(a)是原图像经过自然度保留图像增强后提取的HOG图像,图5(b)是原图像去除阴影后提取的HOG图像,图5(c)是经过特征融合算法处理后的HOG图像,该图像既保留了图像细节,又去除了阴影。
图5 基于不同处理方法的车辆HOG图像
1.2.1 基于自然细节保留的图像增强
HOG最早由Navneet提出,通过计算和统计图像局部区域的梯度方向直方图得到。为了减少光照因素的影响,有效降低图像局部的阴影和光照变化,HOG算法首先将图像转换到标准化Gamma空间,即使用Gamma压缩式(7)对原始图像进行压缩
G(x,y)=O(x,y)γ
(7)
其中,O(x,y) 为原始图像,γ为校正因子,范围为(0,1),G(x,y) 为原始图像经Gamma压缩后得到的图像。
而在实际应用中,不同图像需设置不同的γ值,该种方法不具备自适应性。本文针对光照处理,提出一种可保留原图像自然度和细节的图像增强方法,可改善图像局部变化和保留强度的整体趋势,增强图像细节的同时也能保留自然色彩。NPE自然度保留图像增强方法的流程如图6 所示。
图6 NPE自然度保留图像增强方法流程
(1)基于光照均值滤波的图像分解
图像可被分解到不同的特征空间,全局自然度空间包含低频信息和光照分量I(x,y), 局部细节空间包含高频信息和反射分量R(x,y)。 根据Retinex模型[16],原始图像O(x,y) 是反射分量和光照分量的乘积
O(x,y)=R(x,y)·I(x,y)
(8)
大部分基于Retinex理论[16]将原图的3个颜色分量中的最大亮度分量L(x,y) 作为光照初步估计,其操作可表示为
(9)
其中,Oc(x,y) 表征原始图像O(x,y) 在 (x,y) 点处像素R、G、B三颜色分量的向量值。
然而,对于光照非归一化图像而言,图像光照强度与全局最大响应无关,而与局部最大响应有关。因此本文将改进的局部Max-RGB算法作为初步光照估计,该算法假设图像局部区域的光照强度为常数,则根据式(10)计算图像的初步光照分量
(10)
研究表明,为了更加精准地估计光照分量初值,Ω选择15×15的局部区域[17],在此区域内光照强度为常量。
大部分光照估计是通过对最大分量进行低通滤波、Guassian滤波或Bilateral滤波[18-20],从而得到光照分量的,但这类滤波会导致光照分量比反射光线更暗。本文基于每个像素的光照是局部最大值的假设[21],提出了一种光照滤波方法来进行光照分量的估计,考虑了反射率的变化范围,避免过度增强。光照均值滤波(lightness mean filter,LMF)能更好地估计比真实光照更亮的图像边缘周围的暗光照区域,可将反射率限制在[0,1]范围内。
将像素P(x,y) 的邻居设置为八连通性的九像素单元NP(x,y)
NP(x,y)={P(x-1,y-1),P(x-1,y),
P(x-1,y+1),P(x,y-1),P(x,y),
P(x,y+1),P(x+1,y-1),P(x+1,y),
P(x+1,y+1)}
(11)
定义一个像素值k为像素点Pk(x,y), 将该像素的九像素单元内像素值为l的像素个数记为NPk,l(x,y), 统计整张图像上的像素分布,中心点像素值为k, 其8邻域中像素值为l的频率用Q′(k,l), 可用式(12)计算得到
(12)
由于Q′(k,l) 受图像噪声影响且变化粗糙,本文采用局部平均频率Q(k,l)
(13)
其中,w是滑动窗尺寸,需要设置在灰度级范围内
w=(max(P(x,y))-min(P(x,y)))/32
(14)
将光照均值滤波 (LMF[·]) 定义为对相邻像素根据局部平均频率Q(k,l) 进行正相关加权平均的操作
(15)
其中,Ω是15×15的局部区域,单元操作函数U(x,y) 只计算比中心像素更亮的相邻像素,归一化函数H(x,y) 保证所有像素权重和为1
H(x,y)=∑(i,j)∈Ω(Q(P(x,y),P(i,j))·
U(G(i,j),P(x,y)))
(16)
用LMF[·] 将式(10)的光照初步估计进行优化得到精确的光照分量Lb(x,y)
(17)
由于原始图像未做归一化处理,其R、G、B这3个颜色通道应该具有相同的光照分量。根据Retinex理论的式(8),每一颜色通道的反射分量Rc(x,y) 可由式(18)求得
(18)
(2)光照分量增强
光照变化范围太大不利于细节显示,所以将原图分解为光照分量和反射分量后,需将光照分量的亮度调节到足够大并且要遵从原始的亮度顺序,这样操作能增强细节同时保留了图像原始的自然度。由于直方图规定化操作可保留原始的亮度顺序,本文采用log形状的直方图进行光照映射
Llog(x,y)=log(Lb(x,y)+μ)(μ=1)
(19)
(3)反射分量与光照增强分量的合成
将反射分量Rc(x,y) 和增强后的光照分量Llog(x,y) 合成可得到最后的自然度保留图像增强图像
EOc(x,y)=Rc(x,y)×Llog(x,y)
(20)
由于增强光照分量图中不同局部区域的亮度顺序与原始图像的亮度顺序一致,反射率为1的像素的相对顺序也并没有发生改变。并且自然度保留图像增强图像的3个颜色通道比值与原始图像的比值保持一致,所以原始图像的色调得以保留。
1.2.2 基于颜色不变性的工程车阴影去除
经过上一步自然度保留图像增强后的图像的暗部细节得到了亮度调整,但其阴影边缘依然存在,工程车阴影的梯度边缘明显,将会影响工程车的形状特征,所以这一步基于图像的颜色不变性对阴影进行消除。成像设备在获取图像时,只能记录物体在不同光源下所呈现的颜色,而不是物体本身的固有色。颜色不变性计算可消除不同光照对图像颜色的影响,从而得到与光照无关的物体表面的颜色特性。场景中的阴影具有表面强度改变大而色度几乎不变的特性,所以可利用颜色不变性对阴影进行去除。
首先需要获取颜色不变分量,如下式
(21)
(22)
(23)
其中,r,g,b是原始图像的RGB这3个颜色通量分量,r′,g′,b′是3个通道的颜色不变图。将处理过的r′,g′,b′重新合成为新的彩色图像,即
(24)
图7展示了颜色不变性处理的效果,图7(a)是带有阴影的压路机原始图像,图7(b)是使用式(21)~式(23)处理后的去除影子的颜色不变图,图7(c)~图7(e) 分别是红色、绿色和蓝色通道的颜色不变分量。
图7 颜色不变性处理效果
SVM[22]是建立在统计学习理论上的方法,最早由Cortes和Vapnik提出,通过选择一组特征子集,使目标函数对特征子集的划分等同于对整体数据集的划分。训练结果取决于样本的选取,本文选取3种车型图像作为样本,提取图像的NC_HOG特征向量作为SVM的输入数据,进行分类器的训练,将其转化为能直接用于检测的检测算子。SVM是一个二值分类器,在处理多类问题时需要构造合适的多类分类器,本文采用一对一支持向量机,即任意两类样本之间构建一个SVM,因此k个样本就需要k(k-1)/2个SVM。
本文采用大疆无人机在国家电网四川某施工工地进行数据采集,现场环境稳定,除必要的施工车辆作业,没有其它较大的人为干扰,保持相机光学参数一致。采用人工标定工程车区域作为标准,建立总共5200张带有标准标签的包含不同角度不同位置的3种工程车标准数据库。其中压路机2100张,挖掘机1700张,装载机1400张。
本文使用大疆无人机设备对工地施工环境录制了视频,针对不同场景的视频做了分类。对视频分帧后进行目标车辆的自动检测,并保存检测标记出的工程车辆位置坐标。为了对工程车辆自动检测效果进行评估,采取多人标记取平均的方法对同批数据进行手动标记,将图像中工程车的边界范围以坐标点形式进行存储。通过基于RPN深度学习算法自动标记的工程车辆的中心点坐标与手动标记的该车辆的中心点坐标的对比,对该算法自动检测结果进行判定,最终得到每一工程车车型的标记正确率。
假设原始图像上手动标记的车辆边界范围坐标是 (xi,yi), 其中i=1,2,3,4。 则有中心点坐标
(25)
基于RPN深度学习算法在原始图像上自动检测出目标工程车辆的标记框,用类似方式计算出O′(u′,v′), 若基于RPN深度学习算法标记产生的O′(u′,v′) 与手动标记产生的O(u,v) 满足关系式(26),则基于RPN深度学习算法的自动标记结果正确,不满足则为标记有误
(26)
本实验基于RPN深度学习算法,对实验数据库中的所有视频图像帧进行工程车辆的自动标记。针对3个不同场景选取了部分代表图像,其标记结果如图8所示。
图8 针对部分图像的工程车标记结果
分析图8可知,部分图像不能够得到与真实情况完全相同的自动标记结果,会存在标记过多或过少的情况。本文正是根据自动标记的定位结果,提出基于保留自然度的图像增强与颜色不变性处理的车型识别特征提取算法,并结合SVM分类器实现工程车车型的自动识别。
本文基于RPN深度学习算法对3种类型的工程车辆(压路机、挖掘机、装载机)进行自动检测与区域提取,对比同批数据库的手动标记结果,分别计算每类工程车辆的自动检测效果,得到如表1所示正确率。标记图像3类工程车一共5200张,其中压路机2100张,挖掘机1700张,装载机1400张。
表1 工程车辆ROI检测符合要求的正确率
由表1可知,基于RPN深度学习算法自动标记3类工程车辆的正确率均在85%以上,基本能够实现工程车的自动识别。
综合实际的施工环境和天气,大部分施工时间集中在天气较好时期,无论是传统的监控摄像还是无人机,采集到的施工现场数据都不可避免地存在地面阴影。严重的背光会影响工程车的真实轮廓,导致暗部的车型轮廓边缘与地面阴影边缘发生粘连。所以本文针对HOG特征提取的第一步光照处理进行了改进,获取更多的背光暗部细节,图9展示了不同光照处理方法对于不同车型的处理结果。图9(a)是原图,图9(b)是Gamma校正效果图,图9(c) 是多尺度图像增强效果图,与原图相比Gamma校正和多尺度图像增强后,阴影部分的细节展现得到提升,但非阴影区域尤其是直接光照区域被过度增强了,且对比图9(c)发现该图像增强效果并不稳定,容易造成图像全局过度增强,而导致其本身车身的轮廓细节区分不明显。图9(d)是本文提出的自然度保留图像增强处理效果图。与原图相比其更多展现了阴影区域的细节,能明显区分出轮胎与阴影的交界线。与多尺度增强图9(c)相比,其自然度保留图像增强效果更自然,是因为本文的方法仅仅增加了阴影部分的光照强度,对于其反射分量并没有改变,其3个颜色通道比值也与原图比值保持一致,所以地面和车身区域的原有色彩得以保留。
图9 不同车型的不同光照处理方法效果
对于挖掘机、压路机和装载机3种工程车车型,其三者最显著的区别在于形状特征,本文使用梯度的方向分布进行边缘特征描述,在梯度计算前分别进行了自然度保留图像增强、阴影去除等处理。
图10(a)是压路机工程车的侧面图,在无光照处理下直接使用原图的灰度图进行梯度幅值计算结果如图10(b)所示,图10(c)是进行Gamma校正后再计算梯度幅值的结果,两者对比可明显发现,Gamma校正后的梯度幅值能大致描述工程车的轮廓,所以梯度计算前进行一定的光照处理是必要的。图10(d)是使用本文提出的自然度保留图像增强方法处理后再计算梯度幅值的结果图,与Gamma校正的图10(c)对比可发现图10(d)对背光阴影中轮胎部分的轮廓细节描述比图10(c)更细致,然而两种方法都没有去除地面的阴影轮廓。为避免阴影轮廓对工程车形状轮廓的影响,本文利用颜色不变性对原图进行了阴影去除处理,图10(e)是阴影去除后的梯度幅值图,阴影轮廓已明显被去除。但由于车顶和滚筒反射了阳光,使得车顶和滚筒轮廓与阴影一起被消除了,导致工程车上半部分的轮廓并不完整。考虑到无人机的数据采集角度和施工时的自然环境,工程车的阴影总是出现在图像的下半部分,所以结合了自然度保留图像增强和颜色不变性处理,将图10(d)的上半部分梯度幅值和图10(e)的下半部分梯度幅值进行了拼接得到图10(f)最后的工程车梯度轮廓图。由本文方法得到的工程车梯度轮廓图10(e)与传统HOG方法得到的梯度轮廓图10(c)相比,可明显看出本文方法可去除地面上的工程车阴影轮廓,同时也保留了车顶与滚筒轮廓,可获得更符合工程车真实形状的准确轮廓。
图10 梯度幅值对比
本文在特征提取前进行了自然度保留图像增强和颜色不变性处理,再分别对自然度保留图像增强处理图像提取NPE_HOG特征、对颜色不变性处理图像提取CIV_HOG特征、将两个特征融合为NC_HOG特征,对原图提取ORI_HOG 特征、对Gamma校正处理图像提取GAM_HOG特征,同时将其与图像领域常用的特征描述子SIFT特征和LBP特征[23]等对车型识别率的影响进行对比分析,识别正确率见表2。
表2 各特征的车型自动识别正确率
从表2可知,在原图上提取的HOG、LBP、SIFT特征中,SIFT有更高的识别正确率达88.30%。而对Gamma校正、自然度保留图像增强和颜色不变性处理后的图像提取的HOG特征均要比LBP特征和SIFT特征具有更高的识别正确率,HOG特征的识别正确率均在80%以上,经过Gamma校正和本文方法处理后提取的HOG特征识别正确率均在90%以上。对于三者特征,将自然度保留图像增强和颜色不变性相结合提取的HOG特征相较于其它处理具有更高的识别正确率达93.00%,与原图直接提取的HOG特征正确率相比提升了8.8%;在本文自然度保留图像增强方法处理图像上提取的LBP和SIFT特征相较于其它处理具有更高的识别正确率,与原图上提取的特征相比,LBP特征识别正确率提升了15.5%,SIFT特征识别正确率提升了2.7%。
图11展示了各特征的车型识别正确率趋势对比,对于HOG特征,进行Gamma校正和本文自然度保留图像增强方法处理后再提取的HOG特征识别正确率较原图有明显提升,且本文自然度保留图像增强方法略微优于传统Gamma校正。对于SIFT特征,由于其本身不受光照影响,所以在原图、Gamma处理图像和自然度保留图像增强处理图像上提取的SIFT特征的识别正确率差距不大。三者特征中,LBP特征整体识别效果最差,因为LBP是一种描述图像局部纹理的特征算子,而3种工程车区别主要在于其形状轮廓,使得LBP特征在车型识别上效果不理想。从3种特征的正确率趋势上能明显看出,从颜色不变性处理图像上提取的三者特征较其它处理有着显著更低的正确率,是因为颜色不变性处理后的图像去除了阴影但同时缺失阳光直射区域使得车顶部分被抹去,在不完整车辆图像上提取的车辆特征具有较差的识别效果。将自然度保留图像增强和颜色不变性处理相结合仅提高了HOG特征的识别正确率,是因为自然度保留图像增强的图像补全了颜色不变性处理图像上缺失的车辆特征,而HOG特征计算图像梯度可表达图像的轮廓特征,能较准确提取不含地面阴影的车辆整体轮廓特征。由三者的整体趋势可看出,对于HOG和LBP特征,本文的自然度保留图像增强方法相较于传统的Gamma校正在一定程度上能提升识别正确率;颜色不变性处理并不能提高3种特征的识别正确率,但将自然度保留图像增强和颜色不变性处理相结合后提取的HOG特征能大幅提升识别正确率。
图11 基于不同特征的车型识别正确率趋势对比
本文针对施工工地上的车辆车型检测领域的研究缺乏现状,提出了一种基于改进的HOG特征的自动检测算法。在国家电网施工工地使用无人机进行数据采集,自行建立了包含压路机、挖掘机和装载机3种车型的工程车数据库。首先针对施工现场环境,本文利用RPN算法对工地施工环境下的工程车辆目标区域进行自动划分;结合自然度保留图像增强处理和颜色不变性处理,可去除车辆的地面阴影并增强车轮与地面阴影区域的分界,进行该处理后提取的HOG特征能更准确展现工程车的车辆轮廓。再结合SVM分类器进行3种车型的自动判别,最高识别正确率达93.00%。实验结果表明,本文提出的方法较传统的HOG特征的识别正确率有明显提升,但自然度保留图像增强处理和颜色不变性处理相结合的方法并没有提高LBP和SIFT特征的识别正确率。目前该处理还只适用于HOG特征的优化,该处理在其它特征上的优化适应是本文下一步的研究重点。