马成前 王 利 刘 畅
(武汉理工大学计算机科学与技术系 湖北 武汉 430070)
目前,城市视频监控已经基本覆盖整个马路,视频监控能够在紧急情况下提供现场的图像信息,为相应的处理提供证据。视频监控实际情况复杂多变,视频监控场景很多,光线变化、摄像机故障等原因都会导致偏色。为了能够及时处理偏色异常,需要一直对视频检测,为了减轻人力负担,本文提出一种基于机器学习的图像偏色检测方法,来判断监控是否正常。
鉴于研究背景,目前的模型都不能很好地处理,而且普遍存在一个问题,不能对部分偏色的图片进行鉴定。本文针对马路视频监控的背景,和现有方法目前出现的问题,提出一种基于YUV颜色空间下的智能偏色检测方法。本文创新点:提出基于机器学习对图片分而治之的偏色检测模型。模型创新点包含:对图片采用分而治之的思想,提出一种图片分割方法,判断图片部分偏色;将灰色理论应用于YUV色彩空间。实验结果表明,该模型能够有效检测马路视频偏色异常。
要解决图片偏色问题,需要分析图片颜色特征、空间特征、纹理特征等信息。马路视频图片环境较为复杂,场景又比较单一。为此,本文提出基于机器学习对图片分而治之的偏色检测模型,模型总体包含五步,采用YUV色彩空间,在此基础上依次对图片去灰、分割、特征值提取、机器学习、检测图片偏色。图1为偏色检测流程图,图中描述了根据人工确认的偏色状态,采用监督性机器学习算法,得到分类器。计算未知图片的特征值,分类器根据特征值即可得到偏色状态。
图1 偏色检测流程图
为了能够更加准确、快速地衡量图片的偏色,需要选择合适的色彩空间。YUV色彩空间是欧洲电视使用的色彩空间,而且也是摄影机专用色彩空间。其中Y表示明亮度,U和V表示色度。YUV与RGB转换公式:
(1)
这种色度空间刚好符合本文论题。因为马路视频监控是灰色环境,人眼对R=G=B的图像,认为是灰色的[7]。也就是Y的值会决定灰度,这会方便对图像进行去灰处理和有效特征值提取。
对得到的图片进行去灰处理,判断像素点的UV值即可判断出是不是灰度像素点。因为实际总不是那么理想,为了消除误差,设置阈值:
(2)
式中:PσU、PσV是像素点U和V的阈值。这个值的合理程度会影响能否分割图片。经过实验在普通的道路上阈值为10较为合理。那么得到灰度点集:
(3)
式中:P表示所有像素点,pY、pU、pV分别表示p点的YUV像素值,检测出P0之后将P0的所有点的YUV固定表示为特定值。
对得到的图片取四个集合:
(4)
建立一个二维坐标,图片在坐标轴的第一象限,图片左下角在坐标原点,px表示p点横向坐标,py表示p点纵向坐标,Pt、Pb、Pl、Pr分别表示图片上下左右边界上的像素点,PxMax、PyMax表示图片横、纵坐标最大值。本文采用经典算法Floyd算法[8],寻找Pl到Pr集合的最短路径,Pl到Pr为起点和终点集合,走的路的集合为P0,得到矩阵:
(5)
机器学习的选择:人工神经网络是一种模拟人类大脑的数学模型,有大量的神经元链接构成,是能够处理复杂逻辑关系和非线性数据的模型,强大学习能力、较强鲁棒性、有联想能力。BP神经网络使用较为频繁,是一种通过对大量样本的分析纠正,达到对所有实例数据的预测。但是神经网络结构复杂,需要大量的参数,难以对结果解释清楚,甚至会出现很不理想的学习结果[10-11,15]。支持向量机是一个监督式的机分类器,基于统计学习理论、寻求结构化风险最小,间隔最大化。主要应用于统计分类和回归分析,适合处理高维问题,能够解决非线性的相互作用问题,有很好的泛化能力。但是有效率较低、核函数难以选择、缺失数据影响较大等问题[9,15]。朴素贝叶斯分类器是统计分类算法,以古典数学理论为基础,有稳定的分类效率,对缺失数据不敏感,里面的各个类条件是独立的,只需要少量训练数据即可。但是不能确定特征值之间的相互作用,对输入数据的表达形式有要求[12,15]。K-Means聚类就是在多维空间中,计算测试样本与种子点(一种类别的重心)的距离来进行分类,簇的密集程度和形状会较大程度影响结果,噪声的影响巨大[13,15]。决策树分类算法主要应用于数据挖掘算法,能够对离散数值型数据提取蕴含的规律,有复杂度低、便于使用、高效等优点。但是数据缺失处理困难,经常出现过度拟合,忽略了特征值之间的关系。经典算法有ID3、C4.5等[14-15]。
判断图片是否偏色,是一个二分类问题:偏色、正常。图片有很多像素点,每一个像素点,单独来看没有实际意义,只有所有像素点组合才能近似表现实际物体。所以本文根据数学统计知识,提取图片全局特征值。
在马路场景下灰度是个重要因素,提取灰度特征值:
(6)
式中:η为灰度比例。
pU、pV是图片的色彩分布值,然而色彩的集中趋势、色彩的偏离程度会直接体现图片色度分布情况,下面分别提取U和V的数据集中位置和离散程度:
(7)
(8)
(9)
两种色彩的相关程度对图片的色彩偏向起决定性作用,实验中发现,U和V的相关性系数,在偏色图片与正常图片中有明显区别。
(10)
式中:EUV表示所有像素点pV、pU的平均值,DUV表示pV、pU的相关性,会体现多种偏色特征。上面提取的特征值是图片必须的特征,而非所有的。下面假设,每张图片得到的特征值为:
(11)
每张图片有n个特征值,需根据每张图片的特征数据,对图片进行监督性的分类。本文拟采用BP神经网络和SVM支持向量机算法。
为了验证模型的正确性,本文使用武汉平安城市马路视频图像,摄像机参数不详。为了具有针对性,在偏色种类方面,测试采用数据已经尽可能包含所有可见光偏色情况;偏色区域方面,包含局部偏色、全局偏色、不偏色等情况;图片光强部分,默认图片全是白天的。
首先选定YUV与RGB转换公式:
(12)
然后选取PσV=10阈值和P0点的固定值:Y=0,U=128,U=128。经过去灰和分割处理,得到如图2、图3、图4的去灰图和分割图,图中的颜色均以灰度表示。在正常图2和偏色图片3(图片偏淡紫色)中显示,去灰程序会把满足条件的灰度部分置为黑色,其他部分的色彩保持原状,因为寻路算法不能找到满足条件的路径,所以图片没有被分割。图4是局部偏色图片,左侧偏青绿色,右边偏浅红色,去灰后会出现黑色分界线,在寻路算法部分就会找到路径,然后对图片进行分割,然后得到图4(c)、(d)两张图片,(c)偏青绿色,(d)偏浅红色。
图2 正常图片预处理前后对比
(a) 部分偏色图
(b) 去灰图
(c) 分割图a
(d) 分割图b图4 部分偏色图片预处理前后对比
如果图片没有被分开,就提取去灰后的图片的特征值;如果图片被分割,就分别提取每部分的特征值分开处理,这样被分开后的图片只要有一张是偏色就认定原始图像偏色。表1是样本数据。
表1 特征值提取样本数据
根据得到的特征值数据进行机器学习,分别随机选择偏色、正常的一部分数据进行训练,剩下的进行检测。本文分别采用了BP神经网络和SVM两种方法,采用MATLAB仿真,根据多次实验选择最好的参数,BP方法采用500次训练次数、目标最小误差0.01、学习速率0.01、附加动量因子0.95最大确认失败数5等。SVM采用高斯指定尺度因子2、多项式核3阶、核参数[-1,1]、分离方法SMO,得到结果如图5所示。在BP方法中效果良好,50次的平均正确率为95.846 2%。在SVM中正确率为96.795%。根据实验结果显示,用这两个机器学习算法都能很好地完成图片偏色检测,正确率均在95%左右,效果良好。表2为SVM和BP的详细结果。
图5 BP和SVM结果对比
方法偏色图片序号偏色正确率正常图片序号正常正确率总体正确率SVM124,170,178,22296.491%6997.619%96.795%BP17899.123%62,65,7192.857%97.436%100.000%63,65,69,74,82,8685.714%96.154%116,12098.246%69,8695.238%97.436%126,17898.246%63,64,65,69,74,86,8883.333%94.231%120,19498.246%65,69,8692.857%96.795%170,17898.246%62,65,69,8690.476%96.154%14499.123%69,74,80,84,8688.095%96.154%19499.123%56,57,63,68,70,71,74,86,9178.571%93.590%12099.123%63,65,69,71,80,84,86,8980.952%94.231%120,124,17897.368%69,71,75,86,89,9185.714%94.231%
分析得到的结果,可发现以下问题:得到的分割图片有可能无法分开偏色部分,是因为灰色过滤并没有将偏色完全分开,这会影响到对图片的偏色检测;对于过度灰色图片会得到全黑的图片,这是因为Floyd寻路算法找到了图片边界作为分割路径,后来在程序中控制边界情况后效果良好。
经过计算,得到结果衡量指标[15],如表3所示。
表3 SVM 和BP结果指标
针对本题背景,漏警概率为偏色的图片被识别为正常,这个值应该越小越好,虚警概率表示正常图片被误判,在判定为偏色图片中所占的比例,这个值也应该越小越好。总体来说漏警概率重要程度大于虚警概率,需要保证尽可能不漏掉所有的偏色图片。根据以上指标显示,该模型能够达到良好的效果。
本文从图片提取、图片预处理、特征向量提取、机器学习几个方面阐述了基于机器学习对图片分而治之的偏色检测模型。该模型用于马路视频图像偏色检测,保证监控偏色异常能及时发现,以便下一步处理。重点介绍本模型的图片预处理、特征值提取方法,并介绍了采用方法的优缺点。虽然实验结果良好,可是马路情况难以预测,本文的局部偏色方法有良好的结果,但是不能检测出所有的局部偏色,比如图片内部局部偏色。另外机器学习是处理大数据的方法,需要包含足够的数据量,涵盖所有的情况。图片特征值提取直接影响到机器识别的准确度,未来工作旨在寻找更能体现偏色的特征值和足够的机器训练样本。
[1] 方紫娟,谢正祥,吕霞付,等. 一种改进的基于暗通道先验知识的去雾算法[J]. 微电子学与计算机,2014(5):74-78.
[2] 巢琳, 杨鸣. 基于图像偏色检测的自动白平衡算法研究[J]. 移动通信, 2015(8):80-83.
[3] 徐晓昭,蔡轶珩,刘长江,等. 基于图像分析的偏色检测及颜色校正方法[J]. 测控技术,2008,27(5):10-12,21.
[4] 夏东. 基于Lab色度空间的视频图像偏色检测方法: 201310336726.8[P]. 2013-11-20.
[5] Cooper T J. Color cast detection and removal in digital images: US6377702[P/OL]. 2002-4-23. http://www.google.com/patents/US6377702.
[6] 姚洪涛, 田青青, 苏伟,等. 基于彩色直方图均衡化的自动白平衡算法研究[J]. 长春理工大学学报(自然科学版), 2014(4):104-107.
[7] 郑秀娥. 浅谈图像偏色的校正[J]. 山东工业技术,2015(12):216.
[8] Gao Y, Yang L, Li S, et al. On distribution function of the diameter in uncertain graph[J]. Information Sciences, 2015, 296(1):61-74.
[9] Zhang C, Wang T, Atkinson P M, et al. A novel multi-parameter support vector machine for image classification[J]. International Journal of Remote Sensing, 2015, 36(7):1890-1906.
[10] Zhang J, Yang Y P, Zhang J M. A MEC-BP-Adaboost neural network-based color correction algorithm for color image acquisition equipments[J]. Optik-International Journal for Light and Electron Optics, 2016, 127(2):776-780.
[11] 薛俊韬, 纵蕴瑞, 杨正瓴. 基于改进的YCbCr空间及多特征融合的手势识别[J]. 计算机应用与软件,2016,33(1):151-155.
[12] Friedman N, Geiger D, Goldszmidt M. Bayesian Network Classifiers[J]. Machine Learning, 1997,29(2):131-163.
[13] Kanungo T, Mount D M, Netanyahu N S, et al. An efficient k-means clustering algorithm: analysis and implementation[J].IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002,24(7):881-892.
[14] Arvind V, Bler J, Kuhnert S, et al. On the isomorphism problem for decision trees and decision lists[J].Theoretical Computer Science, 2015,590(C):38-54.
[15] 周志华. 机器学习[M].北京:清华大学出版社,2016:23-169.