自然光图像反射分量分离

张潇云

摘要：针对传统方法不能直接去除自然光图像高光的问题，提出了一种基于多通道梯度一致性的反射分量分离方法.首先依据多通道梯度一致性检测同质高光像素、并构建反射分量分离张量.然后用反射分量分离张量对图像梯度进行变换，将其分解为镜面反射分量梯度和漫反射分量梯度.最后从漫反射分量梯度重构出估计的漫反射分量.实验结果表明该算法可直接去除自然光图像高光而不需预先估计光源色度，简化了自然光图像反射分量分离过程，并能更准确地去除归一化图像的高光.

关键词：算法； 计算机视觉；彩色图像处理；图像增强；梯度方法

中图分类号：TP391 文献标识码：A

高光是一种常见的自然现象.非均质物体表面的高光是镜面反射分量和漫反射分量的线性组合[1].一方面，镜面反射分量与物体表面的几何形状、光源位置和观察角度有关，可以为估计图像光源色度、物体识别等[2-3]提供有用的信息.另一方面，许多计算机视觉算法（如目标检测、识别、跟踪等[4-5]）都假设物体表面只包含漫反射分量，把高光当成噪声，高光的出现会使这些算法产生错误的结果.此外，计算机图形学中的纹理合成假设纹理的光照是均匀、不包含高光的.因此，镜面反射分量和漫反射分量的分离是计算机视觉、计算机图形学等领域的重要研究内容.

Artusi等[6]对众多的反射分量分离研究进行了分析和总结，并将这些研究工作分为基于多张图像的方法和基于单张图像的方法.

基于多张图像的方法是对同一场景、不同光源或不同观察视角下采集的多张图像进行反射分量分离.Nayar等[7]用偏振镜和高光像素周围的漫反射像素的颜色信息去除图像中的高光.这种方法能准确地分离复杂纹理图像的反射分量.Yang等[8]假设同一场景、相同光源、不同位置采集的多张（至少两张）图像是光源色度一致的，并基于此估计光源色度、去除图像中的高光.Agrawal等[9-10]用一张环境光下采集的图像和一张闪光灯下采集的图像作为输入图像，根据环境光图像梯度对闪光灯图像梯度进行仿射变换以去除闪光灯图像中的高光.基于多张图像的方法能分离反射分量，但这类方法存在的一些问题限制了它的应用范围.这些问题包括：获取同一场景的多张图像、多张图像的匹配、需要增加偏振镜等额外的硬件设备、很难调出最大和最小偏振角等.

因此，研究者们对单张图像反射分量分离方法展开研究.Klinker等[11]发现单色图像的漫反射像素和高光像素在RGB色彩空间中形成“T”型，用凸多边形拟合可分离这两种分量.但物体的几何形状、表面粗糙度等因素会使高光像素簇的形状变得扭曲，因此不能准确地估计出光源色和去除图像高光.

文献[12-14]通过变换原图像得到无高光图像（Specularfree image），然后参照无高光图像用迭代的方式逐步地去除图像高光.这些方法生成无高光图像和迭代的具体方法不同.其中出现最早、影响最大的是文献[12]，文中提出了反射分量分离算法框架、speculartodiffuse机制和无高光图像等思想.许多研究工作[13-17]都在此基础上展开.文献[13]提出了一种无高光两通道图像（a specularfree twoband image，以下简称SFTB图像），并用SFTB图像分离两种反射分量.Yang等[14]用SFTB图像的最大色度作为参照图像，用双边滤波器估计出最大漫反射色度，然后基于speculartodiffuse机制实时地去除图像高光.这种方法在计算速度和图像质量方面都有很大的进步.Zou等[15]和Hyeongwoo等[16]将暗通道先验（dark channel prior[18]）用于图像反射分量分离，但基于暗通道先验的方法只适用于深色物体表面.Shen等[17]用亮度比例和色度空间的聚类方法去除图像高光.这些方法能相对有效地分离归一化图像中的反射分量，但它们都假设输入图像是已标准化的归一化图像（光源色为纯白的图像）.

日常生活中常见的是在自然光下采集的、没有经过归一化处理的自然光图像.文献[6，12]指出，现实世界中几乎不存在光源色为纯白的自然光图像.通常，反射分量分离方法都假设颜色恒常化算法能准确地估计出图像的光源色，用估计的光源色将图像转化为归一化图像.颜色恒常化算法是一个复杂、正在研究的问题[19]：基于底层信息的颜色恒常化算法依赖于算法参数的选择，基于学习的颜色恒常化算法依赖于训练数据的选择，不同的颜色恒常化算法估计出光源色往往各不相同[20].如果光源色估计不准确将无法得到正确的归一化图像和反射分量分离结果[12].

本文根据同质高光像素（占图像高光区的绝大部分）的梯度特征——多通道梯度一致性（CCGC，Cross Channel Gradient Coherence）直接分离自然光图像的反射分量而不需用颜色恒常化算法预先估计光源色度.首先用双色反射模型和大量高光像素的统计数据分析、验证CCGC.然后根据CCGC构造反射分量分离张量，并用这个张量对图像梯度进行变换，将图像梯度分解为镜面反射分量梯度和漫反射分量梯度.最后从漫反射分量梯度重构出估计的漫反射分量，实现归一化图像和自然光图像的反射分量分离.

此外，本文算法只对高光像素梯度进行变换，能保持漫反射像素不变；由于本文算法是在梯度域进行处理，可有效避免在高光区域和漫反射区域之间产生伪边界.

和其他同类方法一样[12-17]，本文算法假设图像中物体表面是彩色的而且不包含饱和像素.

1双色反射模型

根据双色反射模型[1]，非均质物体（塑料、木质物品、织物等绝缘体）表面的高光是漫反射分量和镜面反射分量的线性组合：

2基于多通道梯度一致性的反射分量分离

根据图像像素是否在高光区域内，可将像素分为高光像素和漫反射像素两类.其中高光像素同时包含了漫反射分量和镜面反射分量；而漫反射像素只包含漫反射分量.在此分类的基础上，按像素梯度的长度大小可将图像像素分为：同质漫反射像素（属于颜色相同的漫反射区域、梯度小）、同质高光像素（属于高光覆盖的、漫反射色度相同的区域、梯度

大）、边界高光像素（位于高光覆盖的边界区域、梯度大）、边界漫反射像素（位于无高光覆盖的边界区域、梯度大）.

本文算法的输入图像I既可以是归一化图像也可以是自然光图像，算法的目标是：将图像I分解为漫反射分量ID和镜面反射分量IS.

本文算法包括3个步骤（如图1所示）：根据同质高光像素的梯度特征——多通道梯度一致性（第2.1节）检测出同质高光像素；基于此建立反射分量分离张量D，用D对输入图像梯度

2.1多通道梯度一致性

根据双色反射模型的分析和实验观察，发现自然光图像和归一化图像的同质高光像素RGB 3个通道的梯度长度和方向是相似的.本文将这一特征命名为多通道梯度一致性（CCGC）.

图像中梯度较大的像素可能是同质高光像素或边界像素（包括边界高光像素和边界漫反射像素）.同质高光像素和边界像素的区别是同质高光像素RGB 3个通道的梯度长度和方向是相似的，而边界像素RGB通道的3种梯度差异较大.同质区漫反射色度几乎是相等的，同质高光像素的梯度主要是镜面反射分量引起的.镜面反射色度与光源色度相同[12]，自然光图像中的高光从视觉上看是白色的，自然光图像光源色的RGB分量很接近.自然光图像和归一化图像的同质高光像素RGB 3个通道的梯度长度和方向是相似的.图2（a）是一张高光图像，图2（b）是图2 （a）中一个同质高光区域和一个边界区域的梯度放大图，梯度图中每个方格表示一个像素，每个像素的RGB 3个通道各有一个梯度.RGB 3个梯度分别用3种不同宽度的线表示.为了使图更清晰，只显示部分像素的梯度.从图2（b）上方的同质高光区域梯度放大图可以看出，同质高光像素RGB通道中梯度长度和方向是相似的；而图2（b）下方的边界区域梯度图中，边界像素RGB通道的梯度长度和方向呈现较大的差异.

（a） 文献[17]中的高光图像“wood”

（b）局部同质高光区域RGB梯度长度、方向基本一致（上）；

局部边界区域RGB通道梯度长度、方向差异较大（下）

（宽度从小到大的箭头分别表示RGB通道的梯度）

2.1.1归一化图像的多通道梯度一致性

假设p，q是归一化图像中的两个漫反射色度相等且相邻的像素，其中像素p为漫反射像素（Ic（p）=IDc（p），ISc（p）=0，c∈{r，g，b}），像素q是高光像素（IDc（q）=IDc（p），ISc（q）≠0）.像素q的RGB 3个通道的梯度为：

由式（6）可知，同质高光像素q的RGB 3个通道的梯度都是13ms（q），3个通道中的梯度的大小和方向相等.

2.1.2自然光图像的多通道梯度一致性

自然光图像高光从视觉上看是白色的，同质高光像素RGB 3个通道的梯度长度和方向是相似的.为了验证自然光图像同质高光像素具有多通道梯度一致性，从网络上随机选取300张自然光图像，其中同质高光像素个数约为134 200个，非同质高光像素（不包括RGB梯度长度都小于0.005的像素，因为这些是同质漫反射像素、梯度方向不稳定[10]）约为136 000个 .分别计算这两类像素最大梯度长度比max和最大梯度方向差δmax，并比较这两类像素的统计特征.

图3（a）和（b）分别是这两类像素RGB通道的最大梯度长度比max的概率分布图和累积分布图；图3（c）和（d）分别是这两类像素RGB通道的最大梯度方向差δmax的概率分布图和累积分布图.其中虚线表示同质高光像素，实线表示非同质高光像素.如图3（a）所示，同质高光像素RGB 3个通道梯度长度差异很小，概率分布的最高峰在1.17，而非同质高光像素的梯度长度差异比较大，概率分布的最高峰在2.7.在图3（b）中，80%的同质高光像素的max都小于2，而max小于2的非同质高光像素像素为15%.如图3（c），（d）所示，同质高光像素RGB梯度角度差异很小，概率分布的高峰在20°之前，80%的同质高光像素的δmax小于22°；非同质高光像素的RGB梯度角度差异都较大，δmax小于22°的非同质高光像素小于20%.以上数据表明，自然光图像同质高光像素RGB梯度大小和方向是相似的，而非同质高光像素RGB梯度的差异较大.因此，自然光图像的同质高光像素具有多通道梯度一致性， CCGC能检测出自然光图像的同质高光像素.

2.2反射分量分离张量

.

3实验与分析

为验证本文算法，分别对归一化图像和自然光图像进行实验.归一化图像主要来自于文献[12， 14， 17， 21]，自然光图像来自于网络.目前最快和最有效的反射分量分离方法是文献[14， 17]方法，因此对这两种方法和本文算法的实验结果进行了比较.

3.1归一化图像

反射分量分离算法估计出的漫反射分量相对于输入图像，颜色发生了改变.图像质量评价研究表明对于颜色发生改变的图像可以从颜色一致和结构一致两个方面来衡量图像的质量[22].因此本文用颜色相似度CS（ID，IDEst）和结构相似度SS（ID，IDEst）来评价估计的漫反射分量的图像质量.CS（ID，IDEst）和SS（ID，IDEst）的值越高说明标准的漫反射图像ID与估计的漫反射图像IDEst的颜色与结构越相似.

图4是纹理简单的图像，文献[14， 17]和本文算法都能去除图像中的高光.文献[14]的方法提高了图像的整体亮度，图4（c）右上方的局部放大图显示图像的青绿色的漫反射像素已被改变；图4（d）的局部放大图显示文献[17]的实验结果高光像素和漫反射像素之间有明显界限；图4（e）中本文算法估计的漫反射分量和标准漫反射分量（图4（b））最接近，既保留了漫反射像素的原貌又去掉了高光，漫反射像素区域和高光区之间没有产生伪边界.

图5是纹理复杂而且高光覆盖的边界较多的图像.图5（c）中，文献[14]的方法在左上侧的黑色区域产生了明显的噪声；右上角的局部放大图显示文献[14， 17]的方法有一部分高光没有被去掉（图5（c）（d））；本文算法（图5（e））较好地去掉了这部分高光，颜色和标准的漫反射分量基本一致，如表1所示颜色相似度和结构相似度都高于文献[14， 17]的方法.

（a）输入图像“fruit”[17]；（b）标准的镜面反射分量[17]； （c）文献[14]的漫反射分量；（d）文献[17]的漫反射分量； （e）本文算法的漫反射分量

表1比较了文献[14， 17]和本文算法实验结果的颜色相似度和结构相似度.表1表明，本文算法实验结果的颜色相似度和结构相似度都是最高的.文献[14， 17]的方法都不需检测高光像素，优点是速度快，可能带来的问题是这些方法会对图像进行全局处理，漫反射像素也会不可避免地被改变，从而降低了结构相似度.本文算法根据CCGC特征，检测出同质高光像素，只对高光像素进行处理，从而较好地保留漫反射像素的原貌.此外，本文算法主要修改镜面高光像素的梯度，所以不会在漫反射像素区域和高光区域之间产生明显的伪边界，从而实现漫反射像素区域和高光区域之间自然过渡.

3.2自然光图像

实验中的自然光图像主要来自于网络.自然光图像没有标准的漫反射图像，主要从视觉外观上比较文献[17]和本文算法的实验结果.图6是多张自然光图像的反射分量分离结果.文献[17]的方法擅长于分离归一化图像中的反射分量，但在处理自然

光图像时会在高光区域产生很多黑色噪声（如图6（b）所示）.这主要是因为自然光图像的光源色不是纯白色.自然光图像高光从视觉上看是白色的，实际上光源色RGB分量不相等，同质高光像素3个通道的梯度大小和方向会发生小范围的偏移，但仍然是相似的.自然光图像的同质高光像素具有CCGC特征.本文算法用CCGC能正确地检测出这些像素，对高光像素的梯度进行变换，从而准确估计出漫反射分量（如图6（c）所示）.

本文算法用Matlab实现，在 2.8 GHz双核CPU和8GBRAM的PC上运行，每张图像（小于640*500）计算时间在0.7 s到4.5 s之间.运行时间比文献[14， 17]的方法稍长，这是因为本文算法主要基于梯度，从梯度重构图像需要更多的时间.在梯度域分析和分离反射分量，能够有效地去除自然光图像中的高光，而不需要进行颜色恒常化预处理；同时能避免产生漫反射像素区域和高光区域之间的伪边界，实现漫反射像素区域和高光区域的自然过渡，提高了估计的漫反射分量的图像质量.在今后的工作中将进一步研究如何提高算法的运行效率.

4结论

本文提出一种可直接分离单张归一化图像和自然光图像反射分量的方法.本文分析、验证了归一化图像和自然光图像同质高光像素具有多通道梯度一致性（CCGC），并基于此构造反射分量分离张量，用于对图像梯度进行变换，分离两种反射分量.本文算法基于同质高光像素的物理特征，从梯度的角度实现归一化图像和自然光图像的反射分量分离.实验表明本文算法不仅能直接去除自然光图像高光而不需预先用颜色恒常化算法估计光源色度，简化自然光图像反射分量分离过程，而且可以更准确地估计出归一化图像中漫反射分量.本文算法的局限是不能很好地处理图像中的饱和像素和等色像素，进一步工作包括改进本文算法以更好地处理饱和像素、等色像素和提高算法速度.

参考文献

[1]SHAFER S. Using color to separate reflection components[J].Color Research & Application，1985，10（4）：210-218.

[2]TAN R， NISHINO K， IKEUCHI K.Illumination chromatici ty estimation using inverse intensity chromaticity space[C]//CHUCK Dyer.Proceedings of IEEE Conference on Computer Vision and Pattern Recognition（CVPR2003）. Piscataway， NJ： IEEE， 2003：673-680.

[3]NETZ A，OSADCHY M， Recognition using specular highlights[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（3）： 639-652.

[4]肖进胜，单姗姗，易本顺，等.基于分区灰度投影稳像的运动目标检测算法[J].湖南大学学报：自然科学版，2013，40（6）：96-102.

XIAO Jinsheng， SHAN Shanshan，YI Benshun， et al. Moving targets detection based on subzone gray projection video stabilization[J]. Journal of Hunan University：Natural Sciences，2013，40（6）：96-102.（In Chinese）

[5]宋晓琳，王文涛，张伟伟.基于LBP纹理和改进Camshift算子的车辆检测与跟踪[J].湖南大学学报：自然科学版， 2013，40（8）：52-57.

SONG Xiaolin， WANG Wentao， ZHANG Weiwei. Vehicle detection and tracking based on the local binary pattern texture and improved Camshift operator[J]. Journal of Hunan University：Natural Sciences，2013，40（8）：52-57. （In Chinese）

[6]ARTUSI A，BANTERLE F， CHETVERIKOV D. A survey of specularity removal methods[J]. Computer Graphics Forum，2011， 30（8）： 2208-2230.

[7]NAYAR S， FANG X，BOULT T. Separation of reflection components using color and polarization[J]. International Journal of Computer Vision， 1996， 21（3）：163-186.

[8]YANG Q，WANG S， AHUJA N， et al. A uniform frame work for estimating illumination chromaticity， correspond dence， and specular reflection[J]. IEEE Transactions on Image Processing， 2011， 20（1）： 53-63.

[9]AGRAWAL A， RASKAR R， CHELLAPPA R. Edge supperssion by gradient field transformation using crossprojection tensors[C]//FITZGIBBON A. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition（CVPR2006）. Piscataway， NJ： IEEE， 2006： 2301-2308.

[10]AGRAWAL A， RASKAR R， NAYAR S， et al. Removing photography artifacts using gradient projection and flashexposure sampling[J]. ACM Transactions on Graphics （TOG），2005， 24（3）： 828-835.

[11]KLINKER G， SHAFER S， KANADE T. The measurement of highlights in color images[J].International Journal of Computer Vision，1988， 2（1）： 7-32.

[12]TAN R， IKEUCHI K. Separating reflection components of textured surfaces using a single image[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2005， 27（2）： 178-193.

[13]YOON K， CHOI Y， KWEON I， Fast separation of reflection components using a specularityinvariant image representa tion[C]//HAYES M. 2006 IEEE International Conference on Image Processing（ICIP）.Piscataway，NJ：IEEE，2006：973-976.

[14]YANG Q，WANG S， AHUJA N. Realtime specular highlight removal using bilateral filtering[C]// DANIILIDISK.Computer VisionECCV2010.Berlin，German： Springer，2010：87-100.

[15]ZOU B， ZHANG X， LIAO S， et al. Specularity removal using dark channel prior[J]. Journal of Information Science and Technology，2013， 29（5）： 835-849.

[16]HYEONGWOO K，JIN H， HADAP S， et al. Specular reflec tion separation using dark channel prior[C]// KELLENBERGER P. IEEE Conference on Computer Vision and Pattern Recognition （CVPR2013）. Piscataway， NJ： IEEE， 2013：1460-1467.

[17]SHEN H， ZHENG Z. Realtime highlight removal using intensity ratio[J]. Applied Optics， 2013， 52（19）： 4483-4493.

[18]HE K， SUN J， TANG X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（12）：2341-2353.

[19]FOSTER D. Color constancy[J]. Vision Research， 2011， 51（7）： 674-700.

[20]GIJSENIJ A， GEVERS T， WEIJER J. Computational color constancy： survey and experiments[J]. IEEE Transactions on Image Processing， 2011， 20（9）： 2475-2489.

[21]GROSSE R， JOHNSON M， ADELSON E， et al. Ground truth dataset and baseline evaluations for intrinsic image algorithms[C]//MATSUYAMA T. Proceedings of the International Conference on Computer Vision （ICCV2009） . Piscataway， NJ： IEEE， 2009：2335-2342.

[22]XU W， MULLIGAN J. Performance evaluation of color correction approaches for automatic multiview image and video stitching[C]//DAVIS L .2010 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. Piscataway， NJ： IEEE， 2010：263-270.