超分辨率重建影像Wallis匀光拼接算法

范 铀，陈旭帅，王丹丹，白明亮，周 敏,4

(1. 广东南方数码科技股份有限公司，北京 100055; 2. 湖南畅图信息科技有限公司，湖南 长沙 410012; 3. 中南大学地球科学与信息物理学院，湖南 长沙 410083; 4. 中国葛洲坝股份有限公司测绘工程院，湖北 宜昌 443000)

图像的超分辨率重建于20世纪60年代由Harris[1]和Goodman[2]首次提出，是指从一幅或相关的多幅低分辨率图像中重建出高分辨率图像或图像序列的过程。在遥感影像超分辨率重建过程中，为了提高运算效率，减小对计算机内存的消耗，一般采用分块重建后再将分块影像拼接的方法,分块处理提高了计算速度，但忽略了块与块之间的连续性与相关性，特别是在块与块的交界处，往往会出现灰度分布不连续的情况，导致拼接后的大幅面影像整体色调不一致[3]，即出现影像亮度和反差分布不均匀现象，导致相邻影像间存在明显的拼接缝，因此需要先对图像进行匀光处理，再进行无缝拼接。

目前的匀光算法可分为单幅影像和多幅影像间的匀光处理算法。单幅影像匀光处理方法主要有MASK匀光法[4]、背景拟合匀光法[5]、同态滤波匀光法[6]、Retinex匀光法[7]和LRM(局部尺度修正)匀光[8]等。影像间的匀色算法主要有直方图匹配法[9]和Wallis匀光算法[10]。直方图匹配法可能会改变灰度级之间的相对距离，导致不同内部特征的影像产生偏色。Wallis滤波器的目的是将影像的灰度均值和方差(即影像灰度的动态范围)映射到给定的灰度均值和方差值，张力等对Wallis变换在影像匹配中的应用作了充分的研究，发现Wallis滤波可以在增强影反差的同时压制噪声，具有局部自适应功能[11]。李德仁等基于这一特点提出了利用Wallis滤波器对多幅影像进行匀光的处理方法，通过调整影像的均值与方差实现调节曝光的效果，但该方法依靠线性传递关系调整色调容易出现误差累积，使离基准影像较远的影像出现偏色现[4]。王密针对大型无缝影像数据库的特点，提出了一种兼顾整体与局部信息的Wallis匀光方法，可以保持影像的辐射分辨率，减少信息损失[12]。张灯荣等在色调调整步骤中，基于Wallis变换进行整体色调调整，依据重叠区域大小分别采用基于最优接缝线的加权平滑处理和强制改正方法实现接缝线色调调整[13]。周丽雅等采用影像分块的方法，以分块影像中光照充足且分布均匀、具有最高亮度均值的影像为参考影像，提出了一种用于单幅影像匀光的Wallis算法[14]。王烨、张汉松针对Wallis滤波匀光中的“分块效应”问题，采用波段最佳指数(optimal index factor,OIF)选择Wallis匀光参数，提出了一种基于矩匹配的改进Wallis匀光算法[15],这种算法的实质是进行两次Wallis滤波处理，会造成影像信息的损失。罗思提出了一种基于Wallis原理改进的匀光算法，在消除光照不均的情况下也能改善反差不均匀现象，处理结果影像有效地实现了光照与反差一致[16]。现有Wallis匀光算法对于两幅或少数几幅影像匀光处理可达到比较理想的效果，但对于超大面积分幅遥感影像的匀光效果并不是很好，不能完全消除影像的亮度和反差不均匀现象，还有可能造成图像失真。鉴于此，本文提出一种改进的加权Wallis匀光算法，主要对算法进行以下两个方面的改进: ①为避免计算过程中误差的空间传播与累积，提出一种相邻影像逐一加权迭代的调整方法；②为了同时兼顾待校正影像与相邻的左影像和上影像间的色彩差异，采用加权法求取每幅影像的Wallis匀光参数。

1 Wallis滤波匀光原理

Wallis滤波器实际上是一种局部影像变换，它使影像不同位置处的灰度方差和均值都具有近似相等的数值，即影像反差小的区域的反差增大，影像反差大的区域的反差减小，使影像中灰度的微小变化信息得到增强[17]。上述特性使Wallis滤波器对低反差影像的反差不均匀影像有特殊的作用。Wallis匀光算法用于多幅影像间亮度和反差调整，首先选择参考影像，统计其均值和方差参数，利用Wallis滤波器调整待处理影像灰度的线性分布。其线性变换式为

f(x,y)=(k(x,y)-mk)α+β

(1)

式中，k(x,y)为待处理影像在(x,y)处的灰度值；f(x,y)为Wallis变换后影像在(x,y)处的灰度值；mk为待处理影像的均值；α和β分别为乘性系数和加性系数，表示为

(2)

式中，mk、sk为待处理影像的灰度均值和方差；mf、sf为参考影像的灰度均值和方差；c∈[0,1]为影像方差的扩展系数；b∈[0,1]为影像亮度的扩展系数。在式(2)中，当b趋向于1时，影像均值接近mf，当b趋向于0时，影像均值接近mk，为保证两幅影像的灰度均值与方差均接近，经典Wallis滤波器参数c和b均取1，即

(3)

2 改进的加权Wallis匀光算法

2.1 调整顺序的确定

对于大幅面多幅遥感影像的匀光调色方法中，现有调整顺序主要有4种[18](如图1所示)：左影像基准调整(图1(a))是以每一行最左边的影像为基准影像，按行逐幅调整。上影像基准调整(图1(b))是以每一列的第一张影像为基准影像，按列逐幅调整。这两种方法只考虑了每行(列)之间的差异，却忽略了不同列(行)之间的关联性，随着影像数量的增多会导致条带的产生。左影像交叉调整(图1(c))是在每一次调整中以当前影像为基准影像，分别调整其右方和下方的影像，除了位于边界的部分分块影像外，其余影像在不同循环中既作为参考影像又作为待处理影像参与计算，这样既增加了运算量，也造成了灰度信息的损失。基于四叉树的多次调整方法(图1(d))是根据四叉树编码的思想，将4幅相邻影像定义为子节点，通过4个子节点构成父节点，然后4个父节点再进行计算，从而完成整幅影像的匀光处理，此方法受分幅影像数量的局限，还会因过度计算造成灰度信息损失。

针对现有调整顺序存在的问题，本文提出一种新的加权调整方法(如图1(e)所示)，其基本思想是：除首行、首列采用左影像基准和上影像基准调整外，其余影像全部以左边和上边的影像为原始参考标准，求取加权阈值，调整目标影像，依此类推，直到整个大幅面影像的色调调整为一致。例如，首先以影像11分别调整影像12和影像21，然后再以影像12和21为参考影像，通过加权系数调整目标影像22，以此类推，直至所有影像调整完为止。这样可以有效避免条带现象的产生，而且可以减小误差在调整过程中的空间传递和累积，同时还能避免过度计算问题。

图1 不同影像调整顺序示意图

2.2 参数计算

传统的Wallis匀光涉及一幅参考影像和待处理影像，然而，在改进的调整方法中，一幅待处理影像的参考影像可能会是两幅影像，因此Wallis匀光参数需要采用加权法求取。本研究采用边界搜索和加权法计算匀光参数，其基本思想如下：将相邻两幅影像定义为a和b(如图2所示)，水平相邻边界区域分别为a_right、b_left，垂直相邻边界区域分别为a_bottom、b_top，采用搜索边界区域影像方差最小时的行列数m、n为阈值。如果待校正影像位于首行或首列，可以直接计算参考影像和待校正影像阈值范围内的均值mk、mf和方差sk、sf，并采用式(3)进行匀光处理。若待校正影像以其左影像和上影像为参考，则需求取待校正影像与左影像局部阈值范围内的均值mk1、mf1和方差sk1、sf1，以及待校正影像与上影像局部阈值范围内的均值mk2、mf2和方差sk2、sf2，然后采用式(4)求取加权Wallis匀光参数。

图2 局部阈值选取

(4)

式中，P1、P2是权重系数，它们与相邻影像取到的局部阈值区域有关。因为Wallis匀光的目的是将原始影像的均值调整到目标影像的均值，二者的均值差反映了调整的程度，以均值差计算权重系数可以确保调整后影像的灰度与相邻两幅影像的灰度值最接近，具体计算公式如下

(5)

3 试验与分析

资源三号(ZY-3)卫星是我国第一颗自主的民用高分辨率立体测绘卫星，搭载了4台光学相机，其中包括一台地面分辨率2.1 m的正视全色TDI CCD相机、两台地面分辨率3.6 m的前视和后视全色TDI CCD相机、一台地面分辨率5.8 m的多光谱相机。试验将前后视资源三号影像分割成512×512像素的影像块，采用盲超分辨率重建算法进行2倍的超分辨率重建[18]，重建后影像分辨率为1.8 m，大小为1024×1024像素。本部分采用Matlab编程实现不同的匀光算法，对超分辨率重建后的影像进行匀光处理并进行评价分析。

3.1 不同匀光算法的匀光试验

对于多幅影像间的匀光处理，所有匀光算法均会受影响调整顺序的影响。因此，采用直方图匹配和Wallis滤波两种方法对两幅影像(如图3(a)和(b)所示)进行匀光试验，对比分析两种方法的匀光效果。直方图匹配方法虽然在一定程度上削弱了两幅影像的色彩差异，但是拼接结果仍然有拼接缝现象(如图3(d)所示)，而且由于影像灰度级相对距离的改变，影像产生了色彩偏差。Wallis匀光算法很好地实现了整幅影像的色彩一致性，影像拼接结果观察不到拼接缝(如图3(e)所示)，取得了理想的匀光拼接效果。

图3 不同匀光算法效果对比

3.2 不同调整顺序的Wallis匀光效果

本文选取反差突出的64幅影像进行对比分析，采用所提方法进行匀光拼接试验，并将拼接结果与现有4种调整顺序(如图1所示)的效果进行对比，试验结果如图4所示。从目视效果来看，左影像基准和上影像基准的图像出现了明显的条带，没有达到匀光的目的；左影像交叉方法没有明显的拼接缝；四叉树方法由于过度计算出现了信息损失和拼接缝现象，效果不太理想；本文方法有效减少了影像之间的亮度和反差差异，拼接影像整体色调一致，没有拼接缝现象，表明该方法对超分辨率重建影像有较好的匀光效果和能力。

图4 各影像局部比较

3.3 大幅面影像的匀光试验

为了更进一步验证本文方法对大幅面超分辨率重建影像的匀光能力，本文采用900幅影像进行匀光拼接试验，最终结果如图5所示。可以看出：经过改进的加权Wallis匀光算法处理后，拼接结果整体图幅达到了亮度和反差一致性，没有明显的拼接接缝，取得了比较好的匀光拼接效果。为了能够定量地分析试验效果，统计比较初匹配后各分块影像和匀光后各分块影像的均值和标准差，初匹配后各分块影像均值最小值为36.44，最大值为216.5，方差最小值为10.14，最大值为49.79，匀光后各分块影像亮度均值最小值为107.5，最大值为217.5，方差最小值是4.18，最大值是32.26。通过比较数据可以得知:经加权Wallis匀光算法处理后，各分块影像的亮度均值和方差变化范围明显缩小，表明分块影像的亮度在整体上趋于一致，影像之间的反差明显减小。

为了更加直观地说明本次试验的匀光效果，将各分块影像统计参数绘制成亮度均值分布曲线和方差分布曲线(如图6所示)。由图6可以看出：匀光处理前各分块影像的亮度均值和方差变化非常剧烈，表明影像的亮度和反差分布非常不均匀；匀光后影像的亮度和反差分布变化缓慢，说明所提匀光算法使影像基本实现了亮度、反差一致性，取得了较好的匀光效果。

图5 加权Wallis匀光拼接结果

图6 分块影像匀光前后均值和方差分布曲线

4 结 语

Wallis匀光算法的意义在于消除区域范围内不同影像之间色调、亮度、反差等存在的不同程度的差异，但现有算法只能适用于小范围、少数图幅的匀光处理。针对大幅面超分辨率重建影像亮度不一致、反差不一致的现象，本文提出了一种改进的加权Wallis匀光拼接算法，对影像调整顺序做出了一定的改进，避免了误差在空间上的传播与累积，具有更广泛的适用能力，可应用于大型影像数据库的入库、制图等。

在影像云光处理过程中，图像中大面积的水域、雾霭等对匀光效果影响较大，应先将其除去再进行匀光计算。但如何高效、准确地检测这些特殊区域，提高匀光效果，仍需进一步的研究与探索。此外，针对超大幅面遥感影像匀光一致性的客观评价标准亟待提出，以更有效地评价本文算法的精度和准确性。

[1] HARRIS J L. Diffraction and Resolving Power[J]. JOSA, 1964, 54(7): 931-936.

[2] GOODMAN J W. Introduction to Fourier Optics[M]. 2nd ed. New York: McGraw-Hill, 1969.

[3] 沈焕锋,李平湘,张良培,等. 图像超分辨率重建技术与方法综述[J].光学技术, 2009, 35(2):194-199.

[4] 李德仁, 王密, 潘俊. 光学遥感影像的自动匀光处理及应用[J]. 武汉大学学报 (信息科学版), 2006, 31(9): 753-756.

[5] 程培英, 沈会良. 一种光照不均匀图像的恢复增强方法[J]. 计算机应用与软件, 2008, 25(10): 52-54.

[6] PAN X B, BRADY M, BOWMAN A K, et al. Enhance-ment and Feature Extraction for Images of Incised and Ink Texts[J]. Image and Vision Computing, 2004, 22(6): 443-451.

[7] OR SINI G,RAMPONI G,CARRAI P,et al. A Modified Retinex for Image Contrast Enhancement and Dynamics Control[C]∥Proceedings of ICIP 2003.Barcelona: IEEE, 2003: 14-17.

[8] 朱宝山, 张振, 因倩. 采用 LRM 均值-方差规定化的遥感影像不均匀性校正[J]. 测绘科学技术学报, 2010, 27(2): 105-108.

[9] KIM M, CHUNG M G. Recursively Separated and Weighted Histogram Equalization for Brightness Preservation and Contrast Enhancement[J].IEEE Transactions on Consumer Electronics, 2008,54(3): 1389-1397.

[10] 王博,张永军,陈奇. 一种改进的自适应Wallis滤波算法[J].测绘科学. 2015,40(5):95-98.

[11] 张力,张祖勋,张剑清. Wallis滤波在影像匹配中的应用[J].武汉测绘科技大学学报, 1999, 24(1):24-27.

[12] 王密, 潘俊. 面向无缝影像数据库应用的一种新的光学遥感影像色彩平衡方法[J]. 国土资源遥感, 2006(4): 10-13.

[13] 张登荣,俞乐,张汉奎,等. 光学遥感影像快速镶嵌方法[J].浙江大学学报(工学版),2009,43(11):1988-1993.

[14] 周丽雅, 秦志远, 尚炜, 等. 反差一致性保持的影像匀光算法[J]. 测绘科学技术学报, 2011, 28(1): 46-49.

[15] 王烨,张汉松. 面向地图制图的Wallis匀光算法研究[J].科技创新与应用,2014(22):32-33.

[16] 曹彬才, 朱宝山, 李润生, 等. 用于单幅影像匀光的 Wallis 算法[J]. 测绘科学技术学报, 2012, 29(5): 373-377.

[17] 易尧华, 龚健雅, 秦前清. 大型影像数据库中的色调调整方法[J]. 武汉大学学报(信息科学版), 2003, 28(3): 311-314.

[18] CRISTOBAL G, SROUBEK F, FLUSSER J. Multi-frame Blind Deconvolution Coupled with Frame Registration and Resolution Enhancement[J]. Blind Image Deconvolution (Theory and Applications), 2007(3):3.