基于灰轴调整的彩色图像自动白平衡

王 建，庞彦伟，俞 浩

(1. 天津大学电子信息工程学院，天津 300072；2. 天津大学理学院，天津 300072)

当照明光源的色温发生改变时，人眼视觉系统能够自动调整光敏感度，使人眼对物体颜色的感知近似保持不变，这种现象称为色彩恒常性(color constancy)[1]．消费级数码相机镜头本身不具备色彩恒常性功能，为使拍摄的图片与人眼现场所见效果接近，需要借助相关技术，使相机具有类似人眼的色适应能力．白平衡是完成上述功能的技术之一，它的目标是调节不同色温光照条件下图像的颜色，使图像中的白色看上去与标准色温光源下拍摄的白色一致．白平衡分为手动和自动两种方式．手动白平衡需要手工确定照片中白色区域位置，或人工设定拍摄现场光源色温类型；虽然采用手动白平衡方式可以取得理想的处理效果，但它仅适用于专业人士．相比之下，自动白平衡(automatic white balance，AWB)技术实现更简单，处理效果也越来越完善．

已有的 AWB技术主要分为两类[1]：广泛假设法和先验知识法．前者基于对图像内容的某种假设，如灰色世界假设[2]和白斑假设[3]等．后者需要提前获得光源信息，主要包括色彩透视法[4]、色彩相关法[5]和色域对应法[6]等．两类方法相比，广泛假设法实现简单，但当图像内容不满足假设条件时，处理效果不佳；先验知识法的性能优于前者，但需要复杂的训练过程，计算量大，不适于硬件实现．

笔者提出了一种基于灰轴调整技术的 AWB算法．该方法基于白斑假设，通过选取偏色图像中的部分像素点估测估计灰轴，进而计算估计灰轴到理想灰轴的空间变换，并借助该变换实现偏色图像的自动白平衡处理．与传统方法相比，所提方法能更好地校正均匀光照条件下彩色图像的非严重偏色情况．

1 背景知识

首先介绍几个重要术语[7]．

(1)适应白色(adapted white)：人类视觉系统在不同色温光源条件下所感知的恒常性白色信息．

(2)纯白色(pure white)：对人类视觉系统适应白色的描述．如对于RGB三原色系统，取纯白色为(R，G，B)=(255，255，255)．

(3)采用白色(adopted white)：摄像设备在不同色温光源条件下所得到的白色信息．

(4)估计白色(estimated white)：AWB 算法对摄像设备采用白色的估计．

(5)Von Kries色适应模型：Von Kries假设认为，人眼的3种锥状视觉细胞具有各自的运作适应模式，互不影响．

(6)尺度系数(scale coefficient)：进行白平衡处理时各颜色通道所乘的比例值．

一般的基于广泛假设AWB方法实现过程包括3步：①估计实际拍摄条件下光源色温的信息；②计算各颜色通道的尺度系数；③颜色校正．估计光源色温是最关键的步骤．已有方法都是通过求解“采用白色”到“适应白色”的转换过程来估计光源色温，但由于无法直接得到“采用白色”，需要借助相关技术估测“采用白色”，即使用“估计白色”代替“采用白色”．

如何得到“估计白色”是各种基于广泛假设AWB方法的主要区别．以白斑(white patch)假设为例，它假定“彩色图像中一定存在白色，而且它对应于图像中最亮的区域”[8]．

基于白斑假设 AWB方法(简记为 WP-AWB)的基本实现思路是：首先根据原始图像计算“估计白色”；然后使用 Von Kries色适应模型，将“估计白色”转换为“适应白色”，得到尺度系数；再调整各颜色通道的数值，校正颜色．

以 RGB 颜色空间为例，用{r，g，b}和{r′，g′，b′}分别表示原图像和处理后图像中像素点的颜色值，经典WP-AWB方法的处理过程可表示为

式中：re、ge、be分别为“估计白色”的取值；λR、λG、λB分别为各颜色通道的尺度系数，它定义为纯白色和估计白色对应颜色通道的比值．早期的 WP-AWB方法[2]只使用灰度信息，选取图像中最亮的一点作为估计白色，但该方法易受噪声干扰．后来的方法[9-10]综合考虑灰度和颜色信息，选择满足特定条件的像素点集合计算估计白色．这类方法能有效抑制噪声影响，但当拍摄场景中不存在白色区域或者出现镜面全反射现象时，处理效果不佳．

2 算法描述

2.1 理想灰轴和实际灰轴

首先引入灰轴的概念．图1所示为RGB色彩空间示意．图中，R、G、B 三分量的取值都在[0，255]之间；P 点表示纯白色，有(rP，gP，bP)=(255，255，255)；O 点对应黑色，有(rO，gO，bO)=(0，0，0)．OP 称为RGB色彩空间的灰度轴，简称灰轴．它上面各点的R、G、B分量取值相等，对应颜色为灰色．所提方法将OP称为“理想灰轴”，以区分后面引入的“估计灰轴”．

图1 理想灰轴和估计灰轴示意Fig.1 Illustration of ideal gray axis and estimated gray axis

以某种标准照明体(如 D65光源)条件下拍摄的图像作为标准图像．当光源色温改变时，图像中各点的颜色值发生偏离，整幅图像发生偏色．考虑到黑色区域不反射任何入射光，纯白区域反射全部入射光，因此标准图像中的黑色区域在偏色图像中保持不变，而白色区域在偏色图像对应区域的颜色反映了偏色光源色温信息．如果用“估计白色”估测偏色图像中的白色，用E点表示，即E=(re，ge，be)．则OE上各点反映的是标准图像各灰度级在偏色光照条件下的取值．所提方法将 OE称为偏色图像的“估计灰轴”，如图1所示．

根据上述分析不难发现，估计灰轴可以看作是理想灰轴在偏色光照条件下发生偏移的结果．所提算法的基本思路是：借助特定空间变换，将估计灰轴调整至与理想灰轴重合的位置，以此实现自动白平衡．已有WP-AWB方法可看作是根据P点和E点模值的比值进行尺度放缩的过程，没有考虑两者方向上的差异．所提方法将 P点和 E点看作是颜色空间中的不同点，借助旋转变换和尺度变换调整估计灰轴与理想灰轴重合，达到白平衡校正的目的．

2.2 计算估计灰轴

选取图像中多个点估测 E点．考虑到偏色情况下白色区域像素点三颜色通道的取值都有可能降低，选用三通道中的最小值表示像素点的强度值．在所提方法中，对于图像中(i，j)位置的像素点的强度值L(i，j)定义为

与 HSI(hue，saturation，intensity)色彩空间中强度分量I相比，使用式(2)得到的强度分量L偏小，但是对于偏色图像情况，采用式(2)得到的强度分量更宜于估计 E点．选取占像素点总数(用 N表示)一定比例(用α表示)的像素点估计E点．具体方法是将各像素点按照 L值从大到小的顺序排列，选取最前面(100α)%的像素点构造集合，用Ω表示．计算Ω中各点三通道的平均值表示E点，即有

为降低场景中全反射情况的影响，α的取值不能太小；但α的取值越大，越影响估计白色的精度．通过实验发现，可取α∈[0.01～0.001]，所提算法取α=0.005．

2.3 计算旋转变换矩阵

将OE旋转至OP的过程是三维空间中绕任意轴旋转的问题[11]．具体过程包括4个步骤．

第1步：计算旋转轴．

用OZ表示旋转轴，它应垂直于OE和OP所在平面，且经过 O点．如图 2所示，使用向量积运算计算OZ，得到

第2步：将OZ旋转至B轴方向．

将OZ旋转至B轴方向的方式不唯一．本文选用一种典型方法：首先将OZ绕 R轴旋转至 R-B平面，再绕 G轴旋转至 B轴方向，并规定沿坐标轴向原点看去逆时针的方向为旋转的正方向．

首先将OZ绕R轴旋转φ角，如图2所示．对应的变换矩阵为

图2 旋转变换示意Fig.2 Illustration of rotation transformation

然后再绕G轴旋转ϕ角，对应的变换矩阵为

经上述两次旋转，将OZ旋转至B轴方向．

第3步：绕B轴旋转θ角．

用θ表示OE和OP夹角，对应的变换矩阵为

根据余弦定理和正弦定理计算cos θ 和sin θ，可以得到

第4步：逆旋转．

根据变换矩阵的复合法则，将上述4步合并，得到最终的旋转变换矩阵

2.4 颜色校正

颜色校正包括两步：首先借助旋转变换和尺度变换将估计灰轴和理想灰轴重合；然后对变换后的图像进行截断处理．

用{r(i，j)，g(i，j)，b(i，j)}表示偏色图像中(i，j)位置上像素点的颜色值，进行灰轴调整变换，即

式中：{rt(i，j)，gt(i，j)，bt(i，j)}表示变换后的颜色值．放缩系数β定义为OP和OE模的比值，即

经式(9)处理后的某些像素点的颜色值可能超出[0，255]范围．为显示方便，需进行截断处理．以 R 通道为例，其截断处理过程如式(11)所示，其中 rc(i，j)表示截断结果．G通道和B通道的处理过程与之类似．

使用式(2)定义的L值可以有效估计偏色情况下的白色区域，而β能起到拉伸灰度级的作用．实验表明，由式(11)引起的截断效应对图像灰度级别影响并不明显．

3 实验结果

为验证所提算法的有效性，将自己拍摄以及网上收集共 136幅偏色照片作为实验素材，组织多名评测人员对白平衡结果进行主观评测．评测结果分为 3种情况：处理效果明显且与自然光照条件接近；处理效果明显但与自然光照条件有较大差别；处理效果不明显．只将第1种情况判为处理成功．统计评测结果发现，共有 112幅图像被判为处理成功，成功率在82%以上．导致处理失败的原因主要有 2个．第 1个原因是严重偏色情况，此时原图像中白色区域三颜色通道取值变化明显，仅使用 L值不能很好地估计 E点，导致估计灰轴存在偏差．第 2个原因是多光源不均匀光照情况，所提模型只针对单一均匀光源情况，当场景中同时存在多个光源时，所提方法失效．图 3给出了部分处理结果，其中第1幅和第2幅图像为处理成功的例子，第3幅图像属于严重偏色引起的处理失败情况．

图3 仿真结果示例Fig.3 Examples of simulation results

为进一步评价所提算法的性能，选用一种经典WP-AWB方法[9]和 Photoshop CS3自动色阶处理技术与所提算法进行比较．图 4所示为 3种方法性能比较结果．图中，前 4幅图像对应均匀光照条件下的偏色情况．第 1幅和第 2幅图像中都存在明显纯白区域，使用 3种方法都能得到较好的白平衡结果．第3幅图像中最亮区域对应于椅子金属把手产生的全反射，WP-AWB法将该区域误判为估计白色，方法失效，所提方法和 Photoshop都能较好地处理这类情况，处理结果相近．第4幅图像代表严重偏色情况，3种方法的处理结果都不理想，相比之下，Photoshop的处理结果略优于所提算法，WP-AWB方法最差．第5幅图像是多光源非均匀光照条件，图中有2个主要光源，分别是室外通过蓝色窗帘入射的自然光和室内台灯产生的白炽灯光．对于这种情况，3种方法都失效．

选用本文方法、白斑法[9]、灰色世界法[2]以及Photoshop自动色阶调整共 4种方法进行定量分析．选用标准光源(D65)照射条件下的24色标准色卡(如图 4(a)图像所示)作为标准图像．偏色光源分别选用白炽灯、荧光灯和正午晴天日光光源．实验选用的拍摄设备是Cannon A640数码相机，拍摄方式选择手动，曝光模式选择手动曝光，关闭相机的自动白平衡功能，感光度设为 ISO 100．拍摄得到的标准图像及3种偏色图像都以24位真彩色TIFF格式存储，色彩模式为RGB．分别采用上述 4种方法对 3种光源照射下的偏色图像进行白平衡校正，处理结果存储为原图像相同的格式．计算校正图像与标准图像对应像素的均方差，用σ表示．采用σ值的大小衡量校正性能，σ值越小，说明校正图像与标准图像越接近，校正效果越佳；反之亦然．为便于比较，以本文算法的均方差为基准，计算其他3种方法的均方差与所提方法均方差的比值．如果比值小于 1，则说明该方法优于所提方法．表 1给出了 3种光照条件下 4种方法的性能定量比较结果．由表 1可见，白炽灯光照条件下各种方法的性能差别最大，日光条件下的差别最小；所提方法的处理效果略低于 Photoshop处理结果，但明显优于白斑法；灰色世界法处理效果最差．但并不能断定白斑法优于灰色世界法．造成灰色世界法处理效果较差的原因是该方法假定标准图像中各色彩通道的平均值都是 128[2]，但通过观察发现，标准图像中背景偏暗，并不满足灰色世界法的假设条件，导致校正后的图像与标准图像存在较大差别．

图4 不同方法性能比较结果Fig.4 Comparison of performance between various methods

表1 不同方法的定量比较Tab.1 Quantitative comparison between various methods

综上所述，本文方法可以有效校正均匀光照条件下的偏色图像，白平衡处理效果与 Photoshop的自动色阶结果接近，优于经典的白斑法和灰色世界法．

4 结 语

提出了一种基于灰轴调整技术的自动白平衡算法．分析了经典 WP-AWB方法的不足，引入了估计灰轴和理想灰轴的概念．推导出了将估计灰轴和理想灰轴重合的变换矩阵，在此基础之上实现白平衡处理．实验结果表明，所提算法可以有效校正均匀光照条件下彩色图像的非严重偏色情况，并能有效克服全反射情况的影响．未来的工作集中在两个方面：一是将该方法推广到其他颜色空间(如 CIELab空间)；二是增加偏色检测过程，进一步提高算法的性能．

［1］ Ebner M. Color Constancy [M]. USA： John Wiley &Sons，2007.

［2］ Buchsbaum G. A spatial processor model for object color perception[J]. Journal of Franklin Institute，1980，310(1)：1-26.

［3］ McCann J. Lessons learned from mondrians applied to real images and color gamuts [C]// Proceedings of the IS & T/SID 7th Color Imaging Conference. Scottsdale AZ，USA，1999：1-8.

［4］ Finlayson G. Color in perspective[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1996，18(10)：1034-1038.

［5］ Finlayson G，Hordley S，Hubel P. Color by correlation：A simple，unifying framework for color constancy [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23(11)：1209-1221.

［6］ Jiang X Y，Ohta N. Illuminant estimation based on von kries transformation and gamut comparison[C] // Proceedings of IS & T/SID 9th Color Imaging Conference．Scottsdale AZ，USA，2001：141-145.

［7］ Fairchild M D. Color Appearance Models[M]. 2nd ed.USA：John Wiley and Sons，2005.

［8］ Provenzi E，Gatta C，Fierro M，et al. A spatially variant white-patch and gray-world method for color image enhancement driven by local contrast [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，30(10)：1757-1770.

［9］ Nakano N，Nishimura R，Sai H，et al. Digital still camera system for megapixel CCD[J]. IEEE Transactions on Consumer Electronics，1998，44(3)：581-586.

［10］ Chikane V，Fuh C S. Automatic white balance for digital still cameras [J]．Journal of Information Science and Engineering，2006，22(3)：497-509.

［11］ 潘云鹤，董金祥，陈德人. 计算机图形学——原理、方法和应用[M]. 2版. 北京：高等教育出版社，2003.Pan Yunhe，Dong Jinxiang，Chen Deren. Computer Graphics——Principles，Methods and Applications [M].2nd ed. Beijing：Higher Education Press，2003(in Chinese).