一种基于变分Retinex的遥感影像不均匀性校正方法

李慧芳,沈焕锋,张良培,李平湘

1.武汉大学测绘遥感信息工程国家重点实验室,湖北武汉430079;2.武汉大学资源与环境学院,湖北武汉430079

一种基于变分Retinex的遥感影像不均匀性校正方法

李慧芳1,沈焕锋2,张良培1,李平湘1

1.武汉大学测绘遥感信息工程国家重点实验室,湖北武汉430079;2.武汉大学资源与环境学院,湖北武汉430079

提出一种基于变分Retinex的遥感影像灰度不均匀性校正方法。该方法在Retinex框架上,利用变分最优化技术和投影归一化最速下降法求解成像瞬间的照度分布,并以此为基础对遥感影像的灰度不均匀性进行校正。为提高运算效率,引入多尺度数值求解的策略。利用模拟影像和真实影像进行试验,并与传统方法进行对比分析,结果表明,本文方法能够在消除影像灰度不均匀现象的同时,有效保持影像本身的色彩和细节信息,同时还具有较高的运算效率。

变分Retinex;灰度不均匀;遥感影像

1 引 言

由于受到大气、光照及传感器系统内部因素的影响,遥感影像往往呈现出亮度分布不均匀的现象,极大地影响了对地表真实情况的反映。现有的遥感影像不均匀性校正方法主要包括直方图均衡、同态滤波、Mask匀光法和 Wallis滤波法等[1-2]。直方图均衡法是基于全局的影像亮度调整,它仅涉及像素亮度,而与像素方位无关,因此仅对部分特殊影像效果较好,适用性不强。同态滤波是在频率域的运算,它同时对图像的低频和高频部分进行处理,突出高频削弱低频,对影像亮度不均匀性有很好的平衡作用,但其滤波函数设计及参数选定需要有一定的技巧和经验。Mask匀光法假设影像中的不均匀现象为加性噪声,此加法模型可能会导致局部模糊和色彩失真,并且随着影像幅度的变大,该方法中的高斯模糊窗口就要越大,运算量就会成比例增加。Wallis滤波主要针对多幅影像拼接时亮度的调整,具有效率高运算快的特点,但需提前给定灰度均值和方差,且应在单幅影像亮度均衡的基础上进行。

变分 Retinex是一种新型的影像增强方法[3],已在近景图像处理中得到了初步应用,并展现了较强的应用潜力。因此,本文将其引入到遥感影像处理中,提出一种基于变分Retinex的遥感影像灰度不均匀性校正方法,并分别给出该方法的单尺度和多尺度数值解法。利用模拟影像和真实影像进行试验,与Mask方法进行了定量比较与分析,验证了算法的有效性。

2 变分 Retinex理论及其数值解

2.1 Retinex理论

Retinex理论,即视网膜大脑皮层理论,最初由Land于20世纪70年代提出[4]。他指出影像上某点进入人眼的亮度值是该点的反射值与光照值的乘积,而通过视网膜和大脑皮层的神经反馈与处理,最终感受到的是由每个点的反射值组成的影像,这一幅影像不会因为光照条件的变化而发生亮度的变化[5-6]。它是一种颜色恒常性理论。颜色恒常性是知觉恒常性的一种,它是人类的一种心理倾向[7]。Helmholtz认为色彩恒常性是人在认知事物时排除照明光线的变化,做出颜色判断的结果[8-10],即人类视觉具有排除外界干扰,反映事物真实性质的认知能力。随着计算机技术的高速发展和数字图像的出现,计算机视觉需要具备人眼的此种特性,从而保持影像色彩的真实性。Retinex理论恰是最具影响力的色彩恒常计算理论。

根据Retinex理论,影像可以分为两部分:光照分量与反射分量,二者的乘积即为影像本身。其基本理论模型如式(1)。

其中,(x,y)为像素点的坐标;S为原始影像;L为光照分量;R为反射率。在实际的影像获取过程中,光照条件是不确定的,反射值也是未知的,所以在仅已知S的条件下,L和R有无数解。根据色彩恒常性理论,计算机需要排除光照L的影响,获取反射分量R。为此,需要通过估计来获取接近真实情况的光照分量L,处理流程如图(1)所示。首先对原始影像S进行对数处理,可得对数域的模型s=l+r,其中,s、l和r分别是S、L和R在对数域的表示。从s中减去l的估计值^l得到^r,^r的指数变换即为输出影像。由于反射分量仅反映物体本身的反射性质,不受外界光照影响。所以视觉上而言,输出影像消除了原影像中由于光照引起的灰度不均匀现象,且保持了物体的原本色彩,突出了细节。

图1 Retinex理论算法流程Fig.1 The algorithm flow based on Retinex theory

经过二十多年的发展,学者们发展了多个基于Retinex理论模型的算法[11],其不同之处在于光照分量的估计方法。最早Land给出的是随机路径算法[4],利用模拟 Mondrian图中的几何关系,寻找分段的线性路径,来确定路径两端点灰度间的比例关系,继而修改终点的亮度值,但是自然图像中的几何路径不易确定,极大降低了算法的效率。Frankle和McCann对随机路径法进行了改进[12],以回归矩阵计算代替路径计算,提高了运算效率,但每次回归均需设定迭代次数,该参数不确定。在Cooper和Marini的文章中[13-14],分别采用双螺旋和布朗路径来代替随机路径,提高了计算效率。以上三种算法均属于一维路径算法,其缺点之一是路径长度不易确定,太短则只涉及临近像素,比值均接近于1,太长则失去了局部性质,且消耗更多的运算时间。另外一维路径只是寻找固定方向上的像素关系,未能充分考虑像素点与邻域像素的关系。因此出现了二维Retinex算法,主要包括Jobson等改进的中心环绕算法以及Kimmel等提出的基于方程的变分算法等[3,15-16]。前者属于窗口运算,需要设定滤波窗口的大小,且结果会产生光晕现象,为了克服这一缺点,出现了多尺度的中心环绕,但未能从根本上解决这一问题。后者将光照分量的获得归结于变分方程的求解,通过惩罚项和约束条件保证各项的取值,即光照分量和反射分量的空间连续性和平滑性,以及反射率值在[0,1]区间。此算法较好地顾及了像素和其邻域间的关系,没有光晕现象,利用投影归一化最快下降法 (projected normalized steepest descent,PNSD)求得方程的最优解,并在此基础上发展了多尺度解法,提高了求解的运算效率,全局最优解很好地模拟了影像的光照分布,对于原影像中曝光过度区域的调整也可以达到很好的效果。

2.2 遥感影像的变分Retinex校正算法

航空航天遥感影像与近景影像的成像原理基本相同,而航空航天遥感影像在成像瞬间的大气和光照条件更加复杂,且传统大气校正方法所需的参数,如大气光学厚度、气溶胶含量和太阳天顶角等经常缺失。因此,将Retinex模型用于航空航天遥感影像的校正是可靠并且有价值的。其中,分离得到的光照分量可作为成像瞬间光照分布的模拟,反射分量则作为地表真实情况的反映。为了分离出均匀、连续且接近实际的光照分布,本文采用基于变分框架的模型。

2.2.1 变分框架的定义

基于Retinex理论模型,通过对实际问题的分析,提出了以下假设[3]:

1.光照分量l具有空间平滑性;

2.空间域中反射率R被限制在0到1之间,即对数域中的反射分量r≤0,故l≥s;

3.光照分量l近似于原始影像s,即使得 l与s之间的距离最小;

4.反射分量 r具有空间平滑性;

5.在影像边界光照分量是持续光滑的。

基于以上假设,可以得到如下惩罚函数,即Retinex算法的变分框架(variational framework retinex,VFR)

约束:l≥s,且在边界∂Ω上〈Δl,n〉=0

当方程取得最小值时,l即为光照分量的估计值。方程(2)中各项均为二次式,故最小化问题可归结为二次规划问题,对式(2)求导得欧拉-拉格朗日方程。

2.2.2 变分框架解法及其改进

上述问题可归结为非线性最优化问题,最常用的求解方法为梯度下降法,通过迭代公式 lj= lj-1-μG来求解。其中,G为影像梯度,即式(3)所示 F[l]对l的偏导数;μ为迭代最优化步长,如式(4)所示。

由于梯度下降法是从初始点开始,沿负梯度方向寻找局部最优点的最优化过程,具有线性收敛速度,迭代次数越高,解越接近于理想收敛值。整体而言,该算法效率较低,且迭代初始值的选择对于收敛速度有很大的影响。因此,为提高算法效率,可采用多尺度的PNSD解法[3]。具体处理流程如下:

1.输入影像s,确定参数α和β;

2.利用高斯平滑建立层数为 n的影像金字塔;

3.从分辨率最低的第 n层开始,利用PNSD法解得ln;

4.对ln进行邻域放大得l′n;

5.以l′n作为第n-1层的迭代初始值进行梯度下降法求解,直到n=1为止。

该方法以低分辨率影像光照分量的邻域放大值作为较高分辨率影像迭代的初始值,可以极大地提高算法收敛的速度。但是,简单的邻域放大结果较粗糙,细节缺失,与真实情况的差距较大。因此,文中采用双线性内插方法获得较高分辨率层的迭代初始值,这样较好地模拟了细节,更接近收敛值,因此结果会更优。

3 试验与分析

本文首先将上述算法用于模拟影像,除视觉评价外,引入定量因子对算法的性能进行评价,结论更加真实客观,然后把算法用于两幅真实航空遥感影像的处理,进一步证实了其有效性。

3.1 模拟数据试验

图2 模拟数据单波段试验结果Fig.2 Results of the single band analog image

试验中需要选定两个参数α与β,其中α的值越小,对式(2)的正则化约束越强,问题越正定,而β值的选定对试验结果影响不大,具有稳定性。本文的试验均设定α=0.000 01,β=0.1。分别采用Mask匀光法和变分Retinex法对图2(b)进行处理,并将各方法的输出影像与原始影像进行直方图匹配,以达到与原始影像具有相同级别灰度的效果,结果如图2(c)～(h)所示,其中(c)～(e)分别为Mask方法在高斯窗口尺寸为35、55和85下的试验结果;(f)～(h)分别为单尺度变分、尺度为2(n=2)和3(n=3)的多尺度变分算法(multiresolution variational framework retinex,MRVFR)的试验结果。主观上评价,Mask方法在消除原影像阴暗遮掩,平衡影像亮度的同时,模糊了阴暗部分的细节,如图2中矩形框标识区域,而变分Retinex法则很好的保持了阴暗区域的细节,但阴暗区域的右下角的却由于边界位置的影响,未能充分优化,保留了小区域的阴影。这在阴暗区域不均匀分布的遥感影像中是很少出现的。

分别对彩色影像RGB三个波段做相同处理,彩色合成结果如图3所示。可以看出,本文所采用的方法较Mask方法在色彩的保持上有明显的优势,未出现强烈的色偏现象,显示了Retinex方法的颜色恒常特性。

图3 模拟数据多波段试验结果Fig.3 Results of the multi-bands analog image

为了对试验结果进行定量评价,引入以下评价因子:

1.均方差(mean square error,MSE),是指估计值与真实值之间误差的平方的期望,其定义为

本试验中真实值即为降质前的影像,估计值为试验结果。MSE值越小,表示试验结果越接近真实值,越理想;反之,则越不理想。

2.峰值信噪比(peak signal to noise ratio, PS N R),用于衡量处理后的影像品质,值越大,影像品质越高,其定义为

3.运行时间(running time,RT),用于评价算法的运行效率。

4.色彩距离(color distance,Dc),所有像素在RGB色彩空间上的距离的平方的平均值,值越小,色偏越小,色彩保持度越高,该项是对彩色影像结果的评价因子,其定义为上述评价指标的统计值如表1。

表1 试验结果定量评价Tab.1 Quantitative evaluation of the results

由表1可以看出,高斯窗口越大,Mask方法的MS E越小,PS N R越大,试验结果越理想,但是运行时间明显增长,效率降低;相比而言,VFR方法有较高的运算效率,且MS E较Mask法有所降低,PS N R值有所提高;另外,VFR结果的 Dc值较Mask方法明显较低,体现了本文方法对彩色影像处理的优势。

由表1还可以看出,尺寸在300×300以上的影像,采用Mask方法时至少要选择85以上的窗口尺寸;多尺度的变分Retinex算法MR-VFR极大地提高了算法效率,且运算结果具有相似的质量,当影像尺寸较小时,单尺度或较少层数的运算速度均是可以接受的,当影像尺寸较大时,多尺度算法显著提高了运算效率。因此,在兼顾效率和质量的基础上,以下针对较大幅航空影像的变分试验选择n=3的MR-VFR方法进行。

3.2 航空遥感影像试验

图4(a)为从原始航空影像截取的1 000× 1 000数据,Mask方法(窗口为115)和MR-VFR (n=3)的试验结果如图4(b)～(e)所示,其中图(b)为Mask方法(窗口为115)得到的光照分量,图4(c)为其试验结果;图4(d)为MR-VFR方法(n=3)得到的光照分量,图4(e)为其试验结果。

图4 不同方法试验结果图Fig.4 Results of aerial image by different methods

由两种方法获取的光照图4(b)和(d)可以看出,Mask方法由于进行了大窗口的高斯运算,导致相邻的大片区域均有相同或相似的值。在加法模型的基础上,结果影像相当于原始影像的简单位移,所以细节的展现不够清晰;反之,窗口越小,光照影像的细节越多,造成结果影像的细节缺失更严重,不能很好地反映地物。这些主要都是由于高斯平滑固定窗口的设置,使得光照影像的提取不能很好地适应影像亮度的变化。而本文所采用的是一种基于最优化理论的方法,在迭代的过程中寻找出了适合每个像素的最优解。在乘法模型的基础上,通过在对数域的处理,试验结果相邻区域的增强程度有所差异,因此细节表现更清晰,如图5的局部放大图所示,图5(a)～(c)对应图4(a)中实线框标识区域,图5(d)～(f)对应图4(a)中虚线框标识区域。

由图5(a)～(c)可以看出,对原影像灰度值较大区域的调整,Mask方法的结果存在明显的模糊现象,而变分Retinex方法则更好地保持了细节,人眼更容易识别。由图5(d)～(f)可以看出,对原亮度较亮区域的调整,Mask方法的亮度调整不够充分,而变分Retinex方法的结果更均匀,且与暗区域的调整结果的平均亮度更接近,即达到了更好地均衡整幅影像亮度的效果。

以上两种方法的运行时间如表2所示,可以看出,在得到相似结果的前提下,变分Retinex方法的运行效率明显高于Mask方法。

图5 局部放大图对比Fig.5 Comparison of magnifying parts of the results

表2 不同方法运行时间Tab.2 Running time of different methods

试验数据2来自武汉地区的航空影像,尺寸为400×600,影像在亮度上存在明显的不均,且整幅影像有绿色色偏,图6(b)、(c)分别显示了Mask匀光法和变分Retinex方法的处理结果,可以看出,MR-VFR(n=3)的结果色彩更鲜明,更符合人眼视觉。运行速度方面,Mask85的运行时间为61.765 s,MR-VFR(n=3)的运行时间为10.359 s,速度明显优于Mask算法。

图7显示了图6中矩形框所选部分的放大结果,可以看出,Mask方法未消除原影像的色偏现象,亮度较暗的区域仍存在绿色色偏,而变分Retinex方法的试验结果则没有色偏,整幅影像亮度均匀,色彩和谐。本试验再次验证了Retinex方法在保持遥感影像色彩恒常上的优势。

图6 武汉航片试验结果Fig.6 Result of the aerial image in Wuhan

图7 武汉航片局部放大图Fig.7 Magnifying parts of the result

4 结 论

航空航天遥感影像的亮度、色调不均匀性普遍存在,在成图等应用前进行适当的校正是必不可少的步骤。本文提出一种变分Retinex遥感影像不均匀性校正方法,在继承Retinex方法优点的基础上,以最优化理论为出发点从影像中寻找成像瞬间的光照情况,适用范围广,同时可通过多尺度的数值解法提高运算效率。利用模拟影像和真实影像进行了试验,并与传统方法进行了比较,定量评价与目视评估结果验证了该算法对遥感影像的有效性,及其在运行时间和色彩保持上的优势。

[1] WANG Mi,PAN Jun.A Method of Removing the Uneven Illumination for Digital Aerial Image[J].Journal of Image and Graphics,2004,9(6):744-748.(王密,潘俊.一种数字航空影像的匀光方法 [J].中国图象图形学报,2004,9 (6):744-748.)

[2] ZHANG Li,ZHANG Zuxun,ZHANGJianqing.The Image Matching Based on Wallis Filtering[J].Journal of Wuhan Technical University of Surveying and Mapping,1999,24 (1):24-27.(张力,张祖勋,张剑清.Wallis滤波在影像匹配中的应用[J].武汉测绘科技大学学报,1999,24(1): 24-27.)

[3] KIMMEL R,ELAD M,SHAKED D,et al.A Variational Framework forRetinex[J]. International Journalof Computer Vision,2003,52(1):7-23.

[4] LAND E H,MCCANN J.Lightness and Retinex Theory [J].Journal of Optical Society of America,1971,61(1): 1-11.

[5] LAND E H.Recent Advances in Retinex Theory and Some Implications for Cortical Computations:Color Vision and the Natural Image[J].Proc Natl Acad Sc USA,1983,80: 5163-5169.

[6] LAND E H.An Alternative Technique for the Computation of the Designator in the Retinex Theory of Color Vision [J].Proceedings of the National Academy Science of the United State of America,1986,83(10):3078-3080.

[7] BRAINARD D H.Bayesian Color Constancy[J].Journal of the Optical Society of America:A,1997,14(7): 1393-1411.

[8] XIA Siyu,LI Jiuxian,XIA Liangzheng.Improved Color Image Enhancement Algorithm Based on Color Constancy [J].Journal of Nanjing University of Aeronautics & Astronautics,2006,38(z1):54-57.(夏思宇,李久贤,夏良正.基于色彩恒常性的彩色图像增强改进算法[J].南京航空航天大学学报,2006,38(z1):54-57.)

[9] RUI Yibin,LI Peng,SUN Jintao.Images Defogging Techniques Based on Color Constancy Theory[J].Journal of Nanjing University of Science and Technology,2006,30 (5):622-625.(芮义斌,李鹏,孙锦涛.基于色彩恒常理论的图像去雾技术[J].南京理工大学学报,2006,30(5): 622-625.)

[10] MARINI D,RIZZI A,CARATI C.Color Constancy Effects Measurement of the Retinex Theory[C]∥SPIE Conference on Color Imaging:Device-Independent Color, Color Hardcopy,and Graphic Arts IV.San Jose:SPIE, 1998:249-256.

[11] LEI Ling,ZHOU Yingqing,LI Jingwen.An Investigation of Retinex Algorithms for Image Enhancement[J]. Journal of Electronics(China),2007,24(5):697-700.

[12] FRANKLE J A,MCCANN J J.Method and Apparatus for Lightness Imaging:US,4384336[P/OL].(1983-03-17)[2009-08-15].http:∥www.google.com.hk/patents? id=TIU0AAAAEBAJ&printsec=abstract&zoom=4#v =onepage&q=&f=false.

[13] COOPER T J,BAQAI F A.Analysis and Extensions of the Frankle-McCann Retinex Algorithm[J].Journal of Electronic Imaging,2004,13(1):85-92.

[14] MARINI D,RIZZI A.A Computational Approach to Color Adaptation Effects[J].Image and Vision Computing,2000,18(13):1005-1014.

[15] JOBSON D J,RAHMAN Z,WOODELL G A.Properties and Performance of a Center/Surround Retinex[J].IEEE Transactions on Image Processing,1997,6(3):451-462.

[16] RIZZI A,GATTA C,MARINI D.A New Algorithm for Unsupervised Global and Local Color Correction[J]. Pattern Recognition Letters,2003,24(7):1663-1677.

(责任编辑:丛树平)

An Uneven Illumination Correction Method Based on Variational Retinex for Remote Sensing Image

LI Huifang1,SHEN Huanfeng2,ZHANGLiangpei1,LI Pingxiang1
1.State Key Laboratory of Information Engineering in Surveying,Mapping and Remote Sensing,Wuhan University,Wuhan 430079, China;2.School of Resources and Environmental Science,Wuhan University,Wuhan 430079,China

A new uneven illumination correction method for optical remote sensing image is presented.The method is based on the Retinex theory and the variational function is used to estimate the uneven illumination distribution in the imaging instant.Retinex theory addresses the problem of separating the illumination from the reflectance in a given image,which in general is an ill-posed problem.The color sensation for any area in an image does not depend on illumination but on reflectance which should be retained.In the variational Retinex framework,the projected normal steepest descent optimization method is applied to solve the function and the multi-resolution numerical solution is introduced to improve the algorithm efficiency.The proposed algorithm was tested on a synthetic image and two real aerial images.Experimental results validated that the proposed algorithm outperforms the traditional methods in terms of the calculation efficiency,the quantitative measurements and visual evaluation.

variational Retinex;uneven illumination;remote sensing image

LI Huifang(1985—),female,PhD candidate, majors in quality improvement of remote sensing image.

E-mail:huifang-lee@163.com

1001-1595(2010)06-0585-07

P237

A

国家973计划(2009CB723905);国家自然科学基金(40801182,40930532,40771139);模式识别国家重点实验室开放课题(09-7-1)

2009-09-15

2010-01-07

李慧芳(1985—),女,博士生,研究方向为遥感图像质量改善。