一种基于空间转换的彩色图像超分辨率方法

赵红,常卓,杨刚

(1.河北大学 计算机科学与技术学院，河北 保定 071002;2.河北大学 数学与信息科学学院，河北 保定 071002)



一种基于空间转换的彩色图像超分辨率方法

赵红1,常卓1,杨刚2

(1.河北大学 计算机科学与技术学院，河北 保定 071002;2.河北大学 数学与信息科学学院，河北 保定 071002)

彩色图像的RGB(红绿蓝)3个通道间具有密切的相关性，在RGB空间中进行超分辨率操作容易破坏这种相关性，会导致色彩伪影.然而在lαβ彩色空间中，3个通道之间的相关性很小.本文借鉴空间转换的思想，提出了一种将彩色图像转化到lαβ空间进行超分辨率的方法，在3个通道单独进行超分辨率处理.实验结果证明了该方法对RGB 3个通道的相关性破坏极小.

超分辨率；RGB彩色空间；lαβ彩色空间

超分辨率(SR，super resolution)技术是计算机视觉领域的研究热点之一,它是利用信号处理方法，通过已知的1幅或者多幅低分辨率(LR，low resolution)图像估计并重建出1幅清晰的高分辨率(HR,high resolution)图像.图像超分辨率重建在遥感监测、军事侦察、交通及安全监控、医学诊断和模式识别等领域都具有深远的研究意义和不可低估的应用前景.

彩色图像超分辨率最早由Shah和Zakhor等人[1-2]提出，算法是对彩色图像的RGB(红，绿，蓝)3个通道分别进行超分辨率，然后再将3个通道融合.这种方法虽然能够利用已有灰度图像超分辨率方法进行实现，却没有利用彩色图像3个通道之间的相关性，容易产生色彩失真.虽然近年来许多超分辨率的算法[3-5]相继被提出，且都在一定范围解决过实际应用中的问题，但仍然存在不足.如频域的方法使用范围非常有限；插值的方法[6-7]，不能利用先验知识,而且不能得到图像的高频信息；基于重建的方法[8]，其算法性能会随着放大倍数的增加急剧下滑；而基于学习的方法[9]，需要建立比较庞大的数据库，同时需要学习和训练，计算量比较大，需要花费较多的时间.

由于彩色图像的RGB通道之间具有密切的相关性，因此很多灰度图像的超分辨率方法，并不能直接推广到彩色图像中[10].本文针对此问题提出了一种基于空间转换的彩色图像超分辨率方法,将彩色图像从RGB空间转换到lαβ彩色空间，然后进行超分辨率,最后再将超分辨率的结果转换回RGB空间中进行显示.

1 观测模型

全面分析图像SR技术的第1步是建立1个联系原始HR图像和实际LR图像的观测模型[11].一般的观测模型如图1所示.

图1 静态彩色图像的观测模型Fig.1 Observation model of static color image

设理想的HR 图像为x和LR图像序列为y,其中，观测到的第i帧LR图像为yi.这样，每帧LR图像都是变形、模糊、降采样以及彩色滤波作用在HR图像x上之后，再受到加性噪音影响而得到的.因此，上述观测模型可以用下面的公式表示为：

yi=DCiEiFx+Ni，(1≤i≤p),

(1)

其中，矩阵D、Ci、Ei、F分别表示降采样矩阵、模糊矩阵和第i帧图像的相对运动所形成的矩阵以及彩色滤波矩阵.噪声向量Ni表示第i次采样时各种噪声的总和(一般假设为零均值的高斯白噪声).不失一般性，该模型可以表示如下：

yi=WiX+Ni,(1≤i≤p),

(2)

式中，矩阵Wi包含降采样、模糊、运动、彩色滤波等过程.

图像超分辨率就是根据给定的p帧LR图像y，将图像的降采样、模糊、运动、彩色滤波以及噪声等因素去除后再融合，估计重建出一幅HR图像x.容易看出，公式(1)为一个欠定方程.因此，图像超分辨率是一个典型的病态逆问题.其病态性需要利用正则化的方法对解空间进行约束来解决.

2 彩色图像通道间的相关性

图像具有2种基本的相关性，空间相关性和时间相关性.单帧图像内的任何一个场景都是有若干个像素点构成的，因此，一个像素值通常与它周围的某些像素在亮度和色度上存在一定的关系，这种关系称为空间相关性；一个情节通常由若干图像序列构成，一个图像序列中的前后2帧之间也存在一定的关系，这种关系为时间相关性[12].而且大多数的彩色图像，在RGB色彩空间中的3个分量之间也存在着密切的相关性，这是由于色彩分量来源于同一物理模型，从而决定了图像不仅相邻像素存在相似性，并且每个像素的色彩分量之间也存在密切的相关性[13].

2幅图像间的相关性的大小可以通过下面的方法进行计算.设f(x，y)为一幅大小为M×N的图像(记为A)，g(x，y)是一幅M×N的图像(记为B).2幅图像的相关系数可以用ρ表示，具体的定义如下：

(3)

其中，cov(A,B)是矩阵A、B的协方差，DA、DB分别为矩阵A、B的方差.cov(A,B)、DA、DB的计算公式如下：

(4)

(5)

(6)

3 基于彩色空间的超分辨率

由于在RGB空间中对单通道单独的进行超分辨率，容易破坏通道间的相关性，造成色彩失真，对彩色图像的视觉效果造成损害.Ruderman[14]设计了一种叫做lαβ的彩色空间，该空间基于数据驱动的人类感知研究，减小了自然图像通道之间的相关性.与其他的彩色空间相比，在lαβ彩色空间中通道间有极少的相关性.因此，可以在不同的通道进行不同的操作而不必担心会在通道之间产生伪影.而且这个彩色空间是对数的，这意味着3个通道强度改变的一致性是可以做到的.

RGB和lαβ之间的转换可以通过以下的步骤[12]：

1) 首先通过下式将图像从RGB空间转换到设备相关的XYZ空间

(7)

2) 将图像转化到LMS空间

(8)

数据在这个彩色空间中有大量的偏移，通过转化到对数空间[15]来消除偏移,公式如下：

(9)

3) 通过如下的转换公式将数据转换到lαβ彩色空间

(10)

如果把L通道看作红色，把M通道看作绿色，把S通道看作蓝色，这就成为一个很多对立色的模型变量.l轴表示非彩色通道，α、β通道分别代表彩色的蓝-黄和红-绿对立通道.在这个空间中数据均匀、紧密，同时去掉了相关性，使可以对3个彩色通道分别进行处理，而不会破坏这种相关性.在这个lαβ空间中进行超分辨率后需要将图像转换到RGB空间进行显示，转换的方法是通过如下的2个公式(11)和(12)进行：

(11)

(12)

4 实验结果与分析

为了验证本文提出方法的有效性，选取2幅图像(Lena,Bird)作为原始HR图像，分别在RGB空间和lαβ空间采用双三次插值方法(Bicubic)和迭代回投影方法(IBP)进行了对比实验.LR输入图像由原始图像经过模糊、下采样生成.

图2a是输入的低分辨率彩色图像，其分辨率大小是130×130.图2b、c、d、e是将输入图像放大2倍至260×260的结果.图2b和d是在RGB彩色空间3个通道单独进行超分辨率的结果，图2c和e是图像在lαβ彩色空间3个通道单独进行超分辨率的结果，其中，图2b是RGB空间采用Bicubic方法得到的结果，图2c是在lαβ空间采用Bicubic方法得到的结果.图2d是RGB 3个彩色通道独立采用IBP方法迭代30次的实验结果.图2e是在lαβ彩色空间中对图像采用IBP方法迭代30次的结果.表1是Lena图像不同超分辨率算法3个彩色通道之间的相关系数.可以看出，图2b比较平滑，边缘处存在模糊，图2c效果较好，没有色彩失真，图像通道间的相关性得到了保持.图2d和e由于采用的算法是对IBP算法的模拟，IBP算法所需要的低分辨率图像序列是通过将高分辨率图像进行平移、下采样得到的，具有较精确退化模型，因此图2d、e具有较好的效果.表2是Lena图像超分辨率算法的误差分析，IBP方法在PSNR和MSE 2个指标上都比Bicubic方法好.在lαβ彩色空间进行双三次插值的效果差于在RGB中进行的结果，但IBP算法在lαβ空间中比在RGB空间中进行超分辨率的效果好.图3按相同顺序给出了Bird图像的超分辨率实验结果对比.

a.输入图像；b.RGB空间Bicubic方法；c.lαβ空间Bicubic方法；d.RGB空间IBP方法；e.lαβ空间IBP方法.图2 Lena图像SR的实验结果Fig.2 Results of super resoluted Lena

图像R-BR-GB-G输入图a0.78030.92440.9415双三次插值b0.77980.92500.9419双三次插值c0.78690.92620.9454迭代回投影d0.77980.92490.9436迭代回投影e0.78230.92490.9427

表2 Lena图像SR结果的误差分析

a.输入图像；b.RGB空间Bicubic方法；c.lαβ空间Bicubic方法；d.RGB空间IBP方法；e.lαβ空间IBP方法.图3 bird图像SR的实验结果Fig.3 Results of super resoluted bird

5 结论

本文首先对彩色图像的彩色分量之间的相关性理论进行了介绍，然后提出在一个彩色分量之间相关性较小的lαβ彩色空间中对3个通道单独超分辨率的方法.实验结果表明该方法，较好地避免了彩色图像超分辨率过程中所产生的伪影、色彩失真.但该算法不能利用图像的先验知识，一些对灰度图像效果较好地图像超分辨率算法不能适用，限制了其应用的范围.未来彩色图像的超分辨率问题研究的重点主要在：1)退化模型的建立；2)图像边缘的保持；3)彩色图像通道间的相关性保持等方面.

[1] SHAH N R.,ZAKHORB A.Resolution enhancement of color video sequences[J].IEEE Transactions on Image Processing,1999,8(6):879 - 885.DOI:10.1109/83.766865.

[2] TOM B C,KATSAGGELOS A K.Resolution enhancement of monochrome and color video using motion compensation[J].IEEE Transactions on Image Processing，2001,10(2):278 -287.DOI:10.1109/83.902292.

[3] TIMOFTE R D V,GOOL L V.Anchored neighborhood regression for fast example-based superresolution[Z].IEEE International Conference on Computer Vision,Sydney,Australia,2013.DOI:10.1109/ICCV.2013.241.

[4] LI J M,QU Y,LI C H,et al.Image super-resolution base on multi-kernel regression[J].International Journal of Multimedia Tools and Applications,2016,75:4115-4128.DOI:10.1007/s11042-015-3016-4.

[5] YEGANLI F,NAZZAL M,UNAL M,et al.Image super-resolution via sparse representation over multiple learned dictionaries based on edge sharpness[J].International Journal of Signal,Image and Video Processing,2016,10:535-542.DOI:10.1007/s11760-015-0771-7.

[6] HOU H S,ANDREWSS H.Cubic splines for image interpolation and digital filtering[J].IEEE Transactions on Acoust Speech Signal Process,1978,26:508-517.DOI:10.1109/TASSP.1978.1163154.

[7] IRANI M,PELEG S.Improving resolution by image registration[J].International Journal of Graph Models Image Process,1991,53:231-239.DOI:10.1016/1049-9652(91)90045-L.

[8] YANG J,WRIGHT J,HUANG T,et al.Image super-resolution via sparse representation[J].IEEE Transactions on Image Processing,2010,19:2861-2873.DOI:10.1109/TIP.2010.2050625.

[9] SUN J,ZHENG N,TAO H,et al.Image hallucination with primal sketch priors[Z].IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Madison,Wisconsin,2003.DOI:10.1109/CVPR.2003.1211539.

[10] TAI Y W,TONG W S,TANG C K.Perceptually-inspired and edge-directed color image super-resolution[Z].IEEE Computer Society Conference on Computer Vision and Pattern Recognition,New York,USA,2006.DOI:10.1109/CVPR.2006.221.

[11] PARK S C,PARK M K,KANG M G.Super-resolution image reconstruction:a technical review[J].IEEE Transactions on Signal Processing,2003,5:21-36.DOI:10.1109/MSP.2003.1203207.

[12] 沈红斌,杨杰,刘小军,等,基于模糊信息增益的图像相关性度量[J].上海交通大学学报,2006,40(3):466-470.

SHEN H B,YANG J,LIU X J,et al.New image correlation analysis based on fuzzy information gain[J].Journal of Shanghai Jiaotong University.2006,40(3):466-470.

[13] 曹文伦,彭国华,秦洪元,等,利用色彩分量相关性的彩色图像分形编码方法[J].计算机工程与应用,2004,40(22):51-55.

CAO W L,PENG G H,QIN H Y,et al.Color image fractal coding method using color component correlation[J].Computer Engineering and Applications.2004,40(22):51-55.

[14] RUDERMAN D L,CRONIN T W,CHIAO C C.Statistics of cone responses to natural images:implications for visual coding[J].Journal of the Optical Society of America A,1998,15(8):2036-2045.DOI:10.1364/JOSAA.15.002036.

[15] ZHAO S B,HAN H,PENG S L.Wavelet-domain HMT-based image super-resolution[Z].International Conference on Image Processing,Barcelona,Catalonia,Spain,2003.DOI:10.1109/ICIP.2003.1246841.

(责任编辑：孟素兰)

An approach to achieve color image super resolution based on space conversion

ZHAO Hong1，CHANG Zhuo1,YANG Gang2

(1.College of Computer Science and Technology，Hebei University，Baoding 071002，China;2.College of Mathematics and Information Science，Hebei University，Baoding 071002，China)

Three channels of color image have a close correlation.Super resolution in the RGB space is easy to break the relevance and cause artifacts.However,there is a little relevance between three channels in thelαβcolor space.In this paper,a new approach to achieve color image super resolution is presented,which used the concept of space conversion.Super resolution is performed separately in thelαβchannels.The experimental results demonstrate that the approach is effective and will minimally break the relevance between the color channels.

super resolution；RGB space；lαβspace

10.3969/j.issn.1000-1565.2016.06.015

2016-05-26

河北省教育厅科学技术研究青年基金项目(QN2015025)；中西部综合实力提升工程项目

赵红(1979—)，女，山西盂县人，河北大学副教授，博士，主要从事计算机视觉和信息安全研究.E-mail:zhaohong@cs.hbu.cn

TP 391

A

1000-1565(2016)06-0667-06