监控视频图像过曝光区域检测

林庆帆， 李钊杰， 刘 颖， 李 娜

(1.新加坡矽景有限公司， 新加坡 179098， 新加坡； 2.西安邮电大学 通信与信息工程学院， 陕西 西安 710121)

监控视频图像过曝光区域检测

林庆帆1,2， 李钊杰2， 刘 颖2， 李 娜2

(1.新加坡矽景有限公司， 新加坡 179098， 新加坡； 2.西安邮电大学 通信与信息工程学院， 陕西 西安 710121)

提出一种融合多种特征的图像过曝光区域检测算法。利用像素的亮度特征和颜色特征，并新引入亮颜特征和边界邻域特征来构成特征向量，用L2正则化逻辑非线性回归方法对训练样本的特征向量进行训练，得到最优分类器模型。对实验图像进行过曝光区域检测，结果显示，相较于亮度阈值法和基于亮度和颜色特征的常规检测方法，引入新特征后的改进算法检测出的过曝光范围区域连通性更好。

过曝光检测;L2正则化逻辑非线性回归; 连通性; 特征提取

监控摄像机在黑暗环境下拍摄的车辆图像往往存在过曝光现象[1]，导致车牌等信息丢失。为了对过曝光问题进行处理，通常的做法是先用HDR(High Dynamic Range)算法[2-4]获取同一场景多幅不同曝光值的图像，再利用图像配准技术[5]，使多幅图像中的不同曝光值的同一像素得到配准融合，最后再通过色调映射技术[6]将图像映射到LDR(Low Dynamic Range)图像。该做法需要多幅同一场景图像[2,7]，摄取的HDR图像中过曝光区域的信息还可能会丢失。

针对交通监控中的过曝光问题，摄像机可根据车辆由远及近时所检测到的过曝光程度适时调整光圈大小，从而在源头上防止过曝光的产生，为此，实现摄像机所拍摄图像中过曝光区域的检测尤为关键。

对图像过曝光区域的检测方法有亮度阈值法和LC算法[1]。亮度阈值法的缺陷在于将非过曝光区域也检测为过曝光区域，出现过度检测的问题。LC算法检测的过曝光点不够集中，没有形成整块连通的过曝光区域，不利于监控摄像机对过曝光的检测。

为克服上述方法中存在的问题，本文拟给出一种融合多种特征的L2正则化逻辑非线性回归(FLA)算法，即引入图像过曝光区域的亮颜特征和边界邻域特征，借助L2正则化逻辑非线性回归算法，对过曝光图像训练样本进行特征提取，并通过训练得到分类器模型，用以实现对图像过曝光的检测。

1 图像过曝光检测算法设计

对图像中的过曝光区域进行检测，首先要对过曝光区域进行特征提取，再对提取的特征训练并得到分类器模型，最后利用所给模型实现图像过曝光检测。具体算法设计分为两部分。

第一部分是分类器训练算法，要求训练图像中的每个像素点都已标记，训练样本由LC算法生成，并且训练样本中过曝光点标记为1，非过曝光点标记为0。将输入训练图像转换到CIE-Lab彩色空间[8]，分别生成输入训练图像的灰度信息L图和颜色信息a图和b图，如图1所示。提取特征并进行归一化处理，之后用L2正则化逻辑非线性回归方法训练，得出分类器模型。算法流程如图2所示。

图1 RGB空间转换为CIE-Lab空间

图2 分类器训练算法流程

第二部分是利用第一部分求得的分类器模型对待检测图像中过曝光点和非过曝光点进行分类，最终实现对图像中过曝光区域的检测。输出的实验图像结果图中过曝光区域用黑色标注，算法流程如图3所示。

图3 图像过曝光检测算法流程

1.1 特征提取

FLA算法涉及图像像素点的4个特征：亮度特征、颜色特征[9]、亮颜特征和边界邻域特征。以L(i,j)表示像素点(i,j)的亮度特征值。颜色特征值表示为

C(i,j)=‖c(i,j)‖2。

其中‖·‖2表示2范数的平方，而

c(i,j)=[a(i,j),b(i,j)]T，

a(i,j)为该像素点的a颜色信息，b(i,j)为b颜色信息。

图像的亮颜特征是基于像素点的颜色特征与亮度特征的乘积。图像过曝光区域的特征不是亮度特征和颜色特征之间“或”的关系，而是两个特征共同作用即“与”的关系，颜色特征与亮度特征的乘积正是“与”关系的体现，因此亮颜特征能更好地描述图像过曝光区域特征。图像中像素点(i,j)的亮颜特征为

F(i,j) =L(i,j)×C(i,j)。

图像的边界邻域特征是基于某中心像素点邻域内各像素点(包括中心像素点)亮度特征的平均值。根据韦伯定理[10]及人眼视觉习惯，过曝光区域呈区域性，单个过曝光像素点和非过曝光像素点不易被察觉，是无用信息。边界邻域特征可利用边界的颜色特征消除单个过曝光点和非过曝光点，从而保证整个过曝光区域在人视觉感知上的整体性和紧凑性。

在邻域窗口为3×3的情况下，设中心像素点P0的邻域如图4所示，则图像边界邻域特征的提取可描述如下。

步骤1边界颜色阈值设为T=60，计数器C初始值为0，P0的邻域特征值(灰度值)V初始值设为0。邻域像素点以Pi(i=1,2,…,8)表示。

步骤2若i<9，计算Pi的颜色信息a值和b值与中心像素点P0的a值和b值之差的绝对值之和，并记为D，执行步骤3；否则，转到步骤4。

步骤3若Pi的D值小于T，则令

V=V+L(Pi)，C=C+1，i=i+1。

其中L(Pi)是Pi的亮度特征值；若Pi的D值不小于T，仅令i=i+1。转至步骤2。

步骤4取P0的边界邻域特征值为

P1P2P3P4P0P5P6P7P8

图4 中心点及其邻域

1.2 特征归一化处理

FLA算法中4个特征指标的量纲和数量级不同，直接利用原始特征数据进行计算，就会过分突出量值特别大的特征，对分类造成影响[11]，为了充分利用各特征对分类的整体作用，有必要先对原始特征数据进行归一化处理。

假设基于像素点的特征向量

F=(f1,f2,f3,f4),

训练集中的像素点Qi(i=1,2,…,m)对应的特征向量为

Fi=(fi,1,fi,2,fi,3,fi,4)。

对训练集中所有像素点的第j个特征分量

fj=(f1,j,f2,j, …,fm,j),

计算其均值

并按

对fi,j进行归一化。其中

1.3 分类器模型

用L2正则化逻辑回归算法对归一化后的特征值进行训练。相比于逻辑回归方法[12-13]，通过增加L2正则项,可更精确地拟合归一化后的特征，从而解决过拟合问题，保证图像过曝光区域4个特征的有效性[14]。通过训练求得L2正则化逻辑回归算法对图像过曝光区域检测的分类器模型。

L2正则化逻辑回归模型可以直接预测图像中某像素点是否是过曝光点的发生概率。回归模型可表述为

回归模型参数θ和输入特征向量Xi分别为

θ=(θ0,θ1,θ2,θ3,θ4)T,
Xi=(1,xi1,xi2,xi3,xi4)T,

xij表示第i个像素点的第j个特征。

考虑图像过曝光点的二值分类。设容量为m的训练样本集

其中yi∈{0,1}为标签变量，当yi=1时，相应像素点为过曝光点，否则为非过曝光点。样本隶属于过曝光点的后验概率为

P{yi=1|Xi;θ}=hθ(Xi)。

为保证逻辑回归模型代价函数是没有局部最优解的全局收敛凸函数，在代价函数中应用对数似然函数，再根据Q去估计θ。

逻辑回归模型代价函数为

为解决逻辑回归模型对训练数据过拟合的问题，提高逻辑回归模型的稳定性，在上式中加入对逻辑回归模型系数的惩罚项，得到L2正则化的逻辑回归模型代价函数

其中λ为正则项因子，通过它控制对模型参数θ的惩罚力度，避免训练数据过拟合。

利用基于内点映射牛顿理论[15]的优化算法，使代价函数J(θ)全局收敛，求出最优模型参数向量θ，得到分类回归模型hθ(Xi)。当hθ(Xi)>0.5时[16]，可以判别图像中相应像素点为过曝光点，否则为非过曝光点。

2 实验结果及分析

实验用图包括9幅白天图片和7幅夜晚图片，其中9幅白天图片皆与文献[1]所用相同。实验在Intel Core i3-2310M 2.1 GHz, 2GB, Windows 7, Matlab R2009a环境下进行。

2.1 窗口实验

分别选取大小为3×3、5×5、7×7、9×9的窗口，观察窗口大小对FLA算法的影响，并通过对比分析以获得有利于检测效果的量佳窗口。

取FLA算法的模型参数

θ= (0.3, 0.1, 0.2, 0.4, 0.5)T,

取正则项因子λ=1，训练样本点全部选自白天图片，总共样本数为143 351个。随机选出一幅图片为例，其实验结果如图5所示，图中过曝光区域用黑色标注。

图5 窗口大小不同时的实验结果

实验结果显示，当窗口大小为5×5时，检测出的过曝光检测区域更加紧凑，形成整块连通区域，并且单个无用的过曝光点被有效减少，检测效果符合人眼的视觉习惯。在其他窗口下，图像右下边线圈中标注的过曝光区域中有非过曝光区域没有被标注出来。当窗口大小为5×5时，图像右下边线圈中的过曝光区域没有包含非过曝光区域，其他过曝光区域中独立的过曝光点或非过曝光点也被有效减少并形成整体，因此，FLA算法可考虑选择5×5的窗口大小。

2.2 算法对比

对比分析FLA算法与亮度阈值法和LC算法的实验结果。FLA算法回归模型参数θ及训练样本与前述窗口实验相同，窗口大小选取5×5。

针对图5(a)的实验结果如图6所示。

图6 针对竹图的3种算法对比

另一组实验结果如图7所示。

图7 针对花图的3种算法对比

实验显示，FLA算法在正则项因子λ=14时的效果最佳，检测到的过曝光区域既保持空间均匀性和整体性，也没有出现过度标注问题，而亮度阈值法则存在过度标注的问题。另外，FLA算法能适应不同场景和背景亮度的图像，而亮度阈值法则需对每幅不同场景和背景亮度的图像调整亮度阈值，操作繁琐。

FLA算法在正则项因子λ=1时与与LC算法所检测到的过曝光区域是一致的，不过在对多幅不同场景和背景亮度图像进行统一训练时，LC算法需要调整3个参数来判断调整过曝光检测效果，操作繁琐不易掌握，而FLA算法只需调整正则项因子，操作相对简单。此外，当正则项因子选取其他值时，FLA算法要优于LC算法。

2.3 实际应用

将FLA算法应用于车辆过曝光检测。取正则项因子λ=14，夜晚训练样本点数共为3 353 856个。针对夜晚交通车辆过曝光检测的实验结果如图8所示，其中过曝光区域标注为深灰色。

(a) 远距与近距原图

(b) 过曝光区域标注

实验结果显示，FLA算法对夜晚车辆较远和较近时的过曝光现象检测已基本实现，且对过曝光区域的整体性和紧凑性保持较好，独立的过曝光或非过曝光点较少。

3 结语

融合亮度特征、颜色特征、亮颜特征以及边界邻域特征，基于L2正则化逻辑回归，得出一种图像过曝光检测算法。该算法相比于亮度阈值法和LC算法，对图像中同一块过曝光区域的检测能做到更加紧实，并形成连通整体性的过曝光检测区域，单个无用的过曝光点更少，符合人眼对图像过曝光区域的视觉感知，也有利于监控摄像机对过曝光现象的检测。由于训练算法内部实现复杂度较高，每次训练运行时间较长，因此分类器训练算法还需进一步优化。

[1] Guo Dong, Cheng Yuan, Zhuo Shaojie, et al. Correcting over-exposure in photographs[C]//Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recognition. San Francisco:IEEE,2010:515-521.

[2] Debevec P E, Malik J. Recovering high dynamic range radiance maps from photographs[C]//Proceedings of Computer Graphics Annual Conference: SIGGRAPH 97 Conference. Los Angeles: ACM Press, 1997:369-378.

[3] Kang S B, Uyttendaele M, Winder S, et al. High dynamic range video[J]. ACM Transactions on Graphics,2003,22(3):319-325.

[4] Heo Y S, Lee K M, Lee S U, et al. Ghost-free high dynamic range imaging[C]//Proceedings of 10th Asian Conference on Computer Vision. Queenstown: Springer Verlag, 2010: 486-500.

[5] Yao S.Robust subpixel image registration of different-exposed images[J].Electronics Letters,2010,46(18):1270-1271.

[6] Reinhard E, Stark M, Shirley P, et al. Photographic tone reproduction for digital images[J].ACM Transactions on Graphics,2002,21(3):267-276.

[7] Mertens T, Kautz J, Van R F. Exposure fusion[C]//Proceedings of 15th Pacific Conference on Computer Graphics and Applications. Maui HI:IEEE,2007:382-390.

[8] Gonzalez R C, Woods R E, Eddins S L. 数字图像处理的MATLAB实现[M].2版.阮秋琦,译.北京：清华大学出版社,2011：224-225.

[9] 刘颖,范九伦,李宗,等.现勘图像数据库检索技术实例探讨[J].西安邮电大学学报,2015,20(3)：1-20.

[10] 胡安洲.主客观一致的图像感知质量评价方法研究[D].合肥：中国科学技术大学,2014:30-32.

[11] 王丽亚.图像的特征提取和分类[D].西安：西安电子科技大学,2006:5-8.

[12] 许金凤.L1正则化logistic回归在财务预警模型中的应用[D].南昌：华东交通大学,2010:16-21.

[13] 刘遵雄,郑淑娟,秦宾,等.L1正则化Logistic回归在财务预警中的应用[J].经济学,2012,29(2)：107-110.

[14] 赵谦,孟德宇,徐宗本.L_(1/2)正则化Logistic回归[J].模式识别与人工智能,2012,25(5):722-728.

[15] Coleman T F, Li Y. On the convergence of reflective Newton methods for large-scale nonlinear minimization subject to bounds[J]. Mathematical Programming,1994,67(2):189-224.

[16] Andrew Y N. L1vs. L2regularization, and rotateonal invariance[C]//Proceedings of the 21th International Conference on Machine Learning. Banff: ACM Press, 2004:934-941.

[责任编辑:瑞金]

Over-exposed region detection in surveillance video

LIN Qingfan1,2, LI Zhaojie2, LIU Ying2, LI Na2

(1.Siliconvision Private Limited, Singapore 179098, Singapore;2.School of Communication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China)

An over-exposed region detection learning algorithm which uses multiple image features is proposed in this paper. In this algorithm pixel’s brightness and color features, as well as novel features of light-chrominance and boundary neighborhood are used to construct the feature vector. TheL2regularized logistic regression method is used to obtain the optimal classifier model. Experimental results show that compared to the direct intensity threshold method and other method based on brightness and color features, the detected over-exposed regions by the proposed algorithm are better in terms of regions connectivity.

over-exposed region detection,L2regularized logistic regression, connectivity, feature extraction

2015-01-08

国家自然科学基金资助项目(61202183);陕西省国际科技合作计划资助项目(2013KW04-05);陕西省国际科技合作与交流计划资助项目(2015KW-014)

林庆帆(1969-)，男，博士，教授，从事视频编解码研究。E-mail:linqingfan@yahoo.com.sg李钊杰(1991-)，男，硕士研究生，研究方向为电子与通信工程。E-mail: 1220356492@qq.com

10.13682/j.issn.2095-6533.2015.06.002

TP391

A

2095-6533(2015)06-0005-05