改进的Welsh颜色迁移算法在GF-2图像融合中的应用

尹 峰， 曹丽琴， 梁 鹏

(1.湖北省国土资源研究院,武汉 430071； 2.武汉大学印刷与包装系,武汉 430079)

改进的Welsh颜色迁移算法在GF-2图像融合中的应用

尹 峰1， 曹丽琴2， 梁 鹏1

(1.湖北省国土资源研究院,武汉 430071； 2.武汉大学印刷与包装系,武汉 430079)

图像融合过程中需要对遥感图像进行几何纠正、配准等预处理，在国土资源调查研究工作中是一项繁重工作。因此，提出利用改进的Welsh颜色迁移算法实现图像融合，以湖北省仙桃市GF-2高空间分辨率全色图像(简称高分图像)为研究数据进行实验，并将迁移结果与Gram-Schmidt(GS)和主成分(principal components,PC)融合结果进行定性和定量对比。结果表明，基于Welsh颜色迁移的融合算法在图像光谱和纹理的保真度上都比GS和PC融合算法有更好的效果； 特别是在地物复杂区域，颜色迁移算法的纹理结构相似度远优于GS和PC融合算法。同时，颜色迁移的算法可以应用于不同区域的多光谱和全色波段图像融合，而无需先对图像进行几何纠正、配准等预处理。

高空间分辨率图像； 图像融合； 颜色迁移

0 引言

图像融合是提高高空间分辨率遥感图像(简称高分图像)信息含量的信息优化技术手段，通过融合改善目标识别的图像环境,提高目标识别的精度，增强图像解译的可靠性。常见的遥感图像融合方法有彩色空间变换(ISH)算法[1]、Brovey变换算法[2]、主成分分析(principal components analysis,PCA)法[3]、Gram-Schmidt(GS)算法[4]和基于亮度平滑滤波调节(smoothing filter-based intensity modulation,SFIM)算法[4]等。对于不同的卫星图像，同一种融合方法的效果会有所差异； 不同的融合算法也会使融合图像在光谱信息继承、空间分辨率提高和信息含量增加等方面有不同程度的差异[5]。在国土资源调查中，对不同的高分图像，需要通过不同的实验选择合适的融合算法，同时，需对融合图像进行几何纠正、配准等预处理，最终实现镶嵌和匀色，生成数字正射影像图(digital orthophoto map,DOM)，这一过程是土地资源调查中的一项繁重工作。

颜色迁移指将1景图像的颜色迁移到另1景图像中，即基于源图像和目标图像合成1景新图像，使合成的图像同时具有源图像的信息和目标图像的颜色。经典的颜色迁移算法有Reinhard等[6]提出的基于全局统计特征的颜色迁移算法和Welsh等[7]提出的考虑空间特征的全局搜索算法。Welsh算法可将颜色迁移扩展到灰度图像彩色化； 但该算法的执行效率非常低，且对信息丰富的灰度图像需要人为指定匹配样本块[8]。本文在Welsh算法基础上，引入K-means算法对图像进行聚类，对不同的类别实现颜色迁移，以达到融合效果。该算法无需先对图像进行几何纠正、配准等预处理，而且可利用同源的多光谱图像实现对不同区域的全色图像颜色迁移，为地物变更调查和地物分类等土地资源调查提供有效的数据源。

1 Welsh算法原理

Welsh算法的基本流程[7]为：

1)将源图像(灰度图像)和目标图像(彩色图像)由RGB彩色空间转换到lαβ彩色空间。

(1)

4)计算源图像和目标图像每个像元点的邻域方差(σw)，并与该像元点亮度值(L)进行加权求和，得到图像像元的距离值L2，即

(2)

5)计算源图像和目标图像每个像元点的距离L2，寻找与L2距离相差最小的样本点； 将目标样本点的α和β通道的数值赋给源图像的对应像元点，实现目标图像到源图像之间的颜色传递。

6)将转换后的源图像从lαβ彩色空间转换回RGB彩色空间，完成颜色迁移。

在该颜色迁移过程中，利用源图像与目标图像的L2距离来度量图像像元之间的相似程度。由于L2是由局部方差和亮度加权求和得到的，所以即使2个像元之间的亮度和邻域亮度方差的差异较大，但加权求和后它们之间的L2值却有可能相同，因此会增加颜色迁移出错的几率。 针对这一缺陷，本文将先对图像进行K-means聚类，然后在源图像和目标图像最相似的类别间按照Welsh算法进行颜色迁移。

2 算法改进及评价指标

2.1 基于K-means聚类的Welsh算法

K-means聚类[9]属于无监督学习方法，对颜色迁移的源图像和目标图像无需指定样本确定先验知识。对于每一个像元点i，其类别的属性通过如下重复循环收敛获得，即

(3)

式中：xi为像元点i的灰度值；μj为类别j的灰度均值;n为类别数。

对于每1类，重新计算该类的质心，即

(4)

式中1{ci=j}表示当像元点i被归类到j类时为1，否则为0；m为像元数。

基于K-means聚类的Welsh颜色迁移算法过程如下：

3)对源图像亮度进行线性变换，使源图像和目标图像对应类别亮度的均值和方差一致，即

(5)

4)计算源图像和目标图像每个像元点的邻域方差(σw)与亮度值的加权和L2(本文中将多光谱图像窗口大小确定为3像元×3像元，全色图像窗口大小确定为11像元×11像元)。

5)计算源图像和目标图像对应类别中各像元点L2的差值，确定迁移像元点，实现目标图像到源图像之间的颜色传递。

6)实现源图像从lαβ彩色空间转换回RGB彩色空间，完成颜色迁移。

在基于K-means聚类的Welsh颜色迁移过程中，为了提高迁移效率，在目标图像中随机选择r个像元点作为步骤5)中的迁移样本点，r的值随图像大小人为确定，本文取r=1 500。

2.2 定量评价指标

对实验结果从图像的颜色差异性(colorfulness,CS)和结构相似度指数(structural similarity index,SSIM)2个方面进行评价。

1)CS。通过大量实验表明，采用Hasler等[10]于2003年提出的度量图像颜色的方法[11]可提供1种高效度量图像颜色的指标C，表达式为

(6)

rg=R-G，

(7)

yb=0.5(R+G)-B，

(8)

式中μ和∂分别为对应通道的均值和方差。

迁移图像颜色Cr和目标图像颜色Ct间的颜色差异度CS为

CS(r,t)=|Cr-Ct|。

(9)

当迁移后结果图像与目标图像的颜色差异值CS(r，t)<12时，则认为图像的颜色非常相似。

2)SSIM。该指数包括亮度、对比度和结构3个方面，其模型[12]定义为

SSIM(x，y)=l(x,y)c(x,y)s(x,y),

(10)

(11)

(12)

(13)

式中：l(x,y)为亮度；c(x,y)为对比度；s(x,y)为结构；c1,c2和c3为常数。

3 实验及结果分析

3.1 实验区与数据源

本文选用2015年4月12日获取的覆盖仙桃市的GF-2图像数据。GF-2卫星是我国自主研制的首颗空间分辨率达到1 m的光学遥感卫星，搭载2台高空间分辨率全色(1 m)和多光谱(4 m)相机。对GF-2多光谱图像选择可见光波段图像进行颜色迁移实验。3个实验区分别如图1(a)、图2(a)和图3(a)所示。图1中地物分布均匀，类别单一； 图2和图3中地物分布异质性较大，结构较复杂。

(a) GF-2多光谱图像(b) GF-2全色图像 (c) PC融合

(d) GS融合 (e) Welsh颜色迁移 (f) 改进的Welsh颜色迁移

图1仙桃实验区1GF-2图像及实验结果

Fig.1GF-2imagesandfusionresultsofXiantaoexperimentalarea1

(a) GF-2多光谱图像(b) GF-2全色图像 (c) PC融合

图2-1仙桃实验区2GF-2图像及实验结果

Fig.2-1GF-2imagesandfusionresultsofXiantaoexperimentalarea2

(d) GS融合 (e) Welsh颜色迁移 (f) 改进的Welsh颜色迁移

图2-2仙桃实验区2GF-2图像及实验结果

Fig.2-2GF-2imagesandfusionresultsofXiantaoexperimentalarea2

(a) GF-2多光谱图像(b) GF-2全色图像 (c) PC融合

(d) GS融合 (e) Welsh颜色迁移 (f) 改进的Welsh颜色迁移

图3仙桃实验区3GF-2图像及实验结果

Fig.3GF-2imagesandfusionresultsofXiantaoexperimentalarea3

3.2 实验结果及定量评价

为了分析和评价本文算法的有效性，将本文算法与Welsh颜色迁移算法及常规融合算法进行对比，选用GS和 PC融合算法对图像进行融合。根据目视解译确定图1和图2中的地物类型为3类(分别为植被、水体和裸地)； 图3中地物类别为5类(分别为植被、水体、裸地、房屋和水泥道路)。因此对3个实验区开展基于K-means聚类的Welsh颜色迁移算法中，聚类中心分别确定为3,3,5。

从图1可以看出，在迁移结果中，Welsh算法(图1(e))对植被和农田区域的颜色迁移效果较差，蓝色的水域部分呈现出绿色，PC融合算法(图1(c))、GS融合算法(图1(d))和本文提出的基于K-means聚类改进的Welsh颜色迁移算法(图1(f))都能有较好的融合效果。其中，PC融合结果和改进的Welsh颜色迁移结果与多光谱图像(图1(a))相比，颜色差异性较小。

对于地物结构复杂的区域(图2和图3)，Welsh算法(图2(e)和图3(e))融合结果与原图像(图2(a)和图3(a))相比存在较大的颜色差异，而PC融合算法、GS融合算法和改进的Welsh迁移算法融合结果的颜色差异相对较小，与多光谱图像的颜色和纹理分布基本一致。同时，从目视效果看，改进的Welsh颜色迁移算法和GS融合算法的融合结果在空间纹理细节上要优于PC融合算法和Welsh颜色迁移算法。

表1示出4种算法融合结果的定量评价指标。

表1 不同算法融合结果定量评价指标Tab.1 Quantitative assessment indexs of fusion results with different algorithms

从表1可以看出，对于实验区1，改进的Welsh颜色迁移结果具有最小的CS，与多光谱图像在结构上有较大的相似性，但SSIM略小于PC和GS融合结果； 对于实验区2，PC融合算法结果表现最优，在SSIM上，改进的Welsh颜色迁移算法在空间结构上保持最优； 对于地表类型最复杂的实验区3，GS融合算法和改进的Welsh颜色迁移算法在CS和SSIM上均优于PC融合算法和Welsh迁移算法。总体来说，改进的Welsh颜色迁移算法能较好地保持多光谱图像的光谱信息和全色图像的地物结构信息，特别对于地物较为复杂的区域，其SSIM表现最优。

除了融合同一区域图像的多光谱图像与全色图像外，颜色迁移算法还可将不同区域的多光谱图像光谱信息迁移至全色图像。为了获得更真实的颜色迁移结果，多光谱图像中的地物类别需要包含全色图像中的地物类别。图4分别为2景多光谱源图像、不同覆盖区域的全色图像及改进的Welsh颜色迁移算法的融合结果图像。

(a) GF-2多光谱源图像1 (b) GF-2全色目标图像1(c) 颜色迁移后图像1

(d) GF-2多光谱源图像2 (e) GF-2全色目标图像2(f) 颜色迁移后图像2

图4仙桃市GF-2图像不同区域颜色迁移实验

Fig.4ColortransferexperimentbetweendifferentareasinGF-2imagesofXiantaoCity

从目视结果看，颜色迁移后的图像显示较明显的光谱与纹理特征。将颜色迁移结果图4(c)和(f)与对应区域的多光谱图像进行比较，CS分别为0.914和0.909，SSIM分别为0.827和0.856。从分析结果可以看出，颜色迁移结果具有较高的颜色和纹理保真度。

4 结论

1)与GS融合算法和PC融合算法相比，基于颜色迁移的算法在图像光谱和纹理的保真度上都有较好的表现。特别是在地物复杂区域，颜色迁移算法融合结果的纹理结构相似度均优于GS和PC融合算法。

2)颜色迁移算法除可应用于同一区域的多光谱图像和全色图像融合外，还可应用于不同区域的多光谱图像和全色图像融合。同时，颜色迁移算法不需要先对图像进行几何纠正、配准等预处理，在土地利用调查中可提高效率。

3)现阶段，在基于高分图像的土地利用调查中，仍需要人工目视解译(如闲置土地利用调查、土地节约集约利用监测等)，本文提出的颜色迁移算法能有效应用于地物目视解译。

然而，在颜色迁移过程中，基于K-means聚类的颜色迁移算法中聚类类别的数量和聚类的结果会直接影响迁移的结果，且聚类类别数量需要人为确定，尚未做到完全自动迁移。本文中彩色空间信息仅用GF-2图像的可见光波段数据表示，未充分利用多光谱数据的其他光谱信息。因此，如何自动获取聚类类别数量、提高聚类精度和利用近红外光谱数据的颜色迁移将是下一步研究的重点。

[1] Al-Wassai F A,Kalyankar N V,Al-Zuky A A.The IHS transformations based image fusion[J].International Journal of Advanced Research in Computer Science,2011,2(5):1-10.

[2] Ehlers M,Klonus S,Åstrand P J,et al.Multi-sensor image fusion for pansharpening in remote sensing[J].International Journal of Image and Data Fusion,2010,1(1):25-45.

[3] Joshi M V,Bruzzone L,Chaudhuri S.A model-based approach to multiresolution fusion in remotely sensed images[J].IEEE Transactions on Geoscience and Remote Sensing,2006,44(9):2549-2562.

[4] Cetin M,Musaoglu N.Merging hyperspectral and panchromatic image data:Qualitative and quantitative analysis[J].International Journal of Remote Sensing,2009,30(7):1779-1804.

[5] 刘会芬,杨英宝,于 双,等.遥感图像不同融合方法的适应性评价——以ZY-3和Landsat8图像为例[J].国土资源遥感,2014,26(4):63-70.doi:10.6046/gtzyyg.2014.04.11.

Liu H F,Yang Y B,Yu S,et al.Adaptability evaluation of different fusion methods on ZY-3 and Landsat8 images[J].Remote Sensing for Land and Resources,2014,26(4):63-70.doi:10.6046/gtzyyg.2014.04.11.

[6] Reinhard E,Adhikhmin M,Gooch B,et al.Color transfer between images[J].IEEE Computer Graphics and Applications,2001,21(5):34-41.

[7] Welsh T,Ashikhmin M,Mueller K.Transferring color to greyscale images[J].ACM Transactions on Graphics,2002,21(3):277-280.

[8] 向 遥.基于视觉感知的图像处理方法研究[D].长沙:中南大学,2011.

Xiang Y.Image Processing Methods Based on Human Visual Perception[D].Changsha:Central South University,2011.

[9] 谢相建,赵俊三,陈学辉,等.基于集对分析的遥感图像K-均值聚类算法[J].国土资源遥感,2012,24(4):82-87.doi:10.6046/gtzyyg.2012.04.14.

Xie X J,Zhao J S,Chen X H,et al.SPA-based K-means clustering algorithm for remote sensing image[J].Remote Sensing for Land and Resources,2012,24(4):82-87.doi:10.6046/gtzyyg.2012.04.14.

[10] Hasler D,Suesstrunk S E.Measuring colorfulness in natural images[C]//Proceedings of the SPIE 5007,human vision and electronic imaging VIII.Santa Clara,CA,USA:SPIE,2003,5007:87-95.

[11] 陈恩生.基于图像相似度的颜色迁移方法研究[D].武汉:武汉大学,2013.

Chen E S.Research on Color Transfer Based on Image Similarity[D].Wuhan:Wuhan University,2013.

[12] Wang Z,Bovik A C,Sheikh H R,et al.Image quality assessment:From error visibility to structural similarity[J].IEEE Transactions on Image Processing,2004,13(4):600-612.

ApplicationofimprovedWelsh’scolortransferalgorithmtoGF-2imagefusion

YIN Feng1， CAO Liqin2， LIANG Peng1

(1.HubeiProvincialDepartmentofLandandResources，Wuhan430071，China；2.SchoolofPrintingandPackaging，WuhanUniversity,Wuhan430079，China)

During the processing, image fusion, calibration, registration and other pre-processing steps for images are onerous tasks in land resources investigation. In this paper, the improved Welsh color transfer was proposed for image fusion. The study area was Xiantao City in Hubei Province and the study images were GF-2 high spatial resolution image data. The result of color-based image fusion algorithm was qualitatively and quantitatively compared with that of Gram-Schmidt(GS)and principal components(PC) fusion methods. The results show that the improved Welsh color transfer has good performance on preserving color fidelity and texture similarity. Especially in complex land-surface areas, the texture similarity of result image based on improved color transfer method is much better than that based on GS and PC fusion algorithm. The color transfer method is also applied to images fusion about different areas without calibration and registration for images.

high spatial resolution image； image fusion； color transfer

10.6046/gtzyyg.2017.04.19

尹峰,曹丽琴,梁鹏.改进的Welsh颜色迁移算法在GF-2图像融合中的应用[J].国土资源遥感，2017，29(4)：126-131(Yin F,Cao L Q,Liang P.Application of improved Welsh’s color transfer algorithm to GF-2 image fusion[J].Remote Sensing for Land and Resources,2017,29(4)：126-131).

TP 79

A

1001-070X(2017)04-0126-06

2016-03-21；

2016-05-10

国土资源部公益性行业专项项目“中部城市圈节约集约用地信息化控制技术研究技术集成与综合示范”(编号： 201511009-05)资助。

尹 峰(1982-),男,硕士,工程师,主要从事土地调查、地理信息系统建设和土地利用遥感监测等相关工作。Email： 89642740@qq.com。

(责任编辑：李瑜)