利用图像块数据库和纹理特征点的图像彩色化方法

吕东辉, 张 闯, 汪世刚

(上海大学通信与信息工程学院,上海 200072)

利用图像块数据库和纹理特征点的图像彩色化方法

吕东辉, 张 闯, 汪世刚

(上海大学通信与信息工程学院,上海 200072)

针对颜色转移彩色化算法存在速度慢、效果不佳及人工干预性强等问题,提出一种新型的彩色化算法.首先从聚类分割后的各类区域彩色图像中提取矩形块,并计算图像块的颜色直方图和纹理特征;利用颜色直方图比较图像块的相似性,实现数据库的选择性录入;利用目标图像块与彩色图像块纹理特征点之间的欧氏距离比较,查找最佳匹配的图像块,进而实现目标图像的彩色化.通过建立树木、天空、沙滩和草地 4类图像块数据库,实现基于数据库技术的免除人工干扰的图像彩色化.

彩色化;颜色转移;图像块数据库;纹理特征点

颜色转移彩色化算法操作简单,且能取得较好的彩色化效果,是一种半自动化的图像彩色化技术.但该方法会使本来相邻的、颜色相近的区域由于亮度差异而被分配截然不同的颜色.由于,该方法的彩色化结果强烈依靠于所采用的参考图像,因此,对于复杂的目标图像,参考图像的选择成了一个新的难题.基于此,研究者先后提出了很多改进的算法.

在改进颜色转移效果方面,胡国飞等[4]于 2004年提出了一种基于统计学的自适应图像颜色传递技术,通过对不同图像自适应,构造一个对应的颜色空间变换矩阵,以改进颜色传递效果.张引等[5]提出了基于无监督学习聚类的图像颜色传输方法,利用无监督学习聚类,把目标图像和源图像分别分成一定数量的色彩相近的子块,通过计算各子块的纹理特征和亮度统计值,建立样本块之间的对应关系.针对具有复杂场景的图像,Tai等[6]于 2005年提出通过概率分割的方法实现局部图像彩色化,首先分别对两幅图像进行分割,然后经区域匹配,在对应颜色区域之间进行颜色迁移.2007年,王常亮[7]提出了基于聚类的自动颜色传输,对于源图像采用混合高斯模型进行建模,对目标图像采用 K均值聚类法,完成源图像和目标图像的聚类,并在建立双方聚类区域的对应关系后,通过改变目标图像中像素的lαβ通道值完成色彩传输功能.2010年,汪世刚等[8]首先利用贝叶斯阴阳机模型确定源图像与目标图像的最佳聚类数,然后利用高斯混合模型参数将图像自动聚类分割,最后利用直方图匹配算法使各目标图像块自动找到匹配的源图像块,用颜色转移算法实现了区域图像彩色化.

在避免人工选择源图像方面,利用数据库查询技术可以实现全自动颜色转移的彩色化.Di等[9]利用图像的亮度信息查找最佳像素,引入反极性树(antipole tree)有效查询算法,提高了查找效率.Vieira等[10]首次提出了利用数据库技术自动选择源图像的方法,用户仅需输入目标图像,即可根据亮度直方图和亮度子抽样从图像库中选取出最合适的源图像,然后对目标图像进行上色.Mayada等[11]在 Di等研究[9]基础上又提出用图像像素建立数据库,目标图像的像素颜色分别从数据库中选取,进一步提高彩色化的自动化水平.商露兮等[12]利用 Gabor滤波器能够模拟生物的视觉特性以及夜视图像的纹理特征,结合 Gabor滤波器和灰度共生矩阵,对源图像检索算法做出了改进,提出了一种结合 Gabor滤波器和灰度梯度共生矩阵的源图像选择算法.

通过以上分析发现,建立彩色图像数据库比较简单,但颜色的全局转移会带来上色错误.建立图像像素数据库,可以实现像素级的颜色转移,但其实现的复杂度大大增加.针对这些问题,本研究提出了基于图像块数据库的图像彩色化方法,用彩色图像块建立数据库.利用 Gabor滤波函数所提取的图像块的纹理特征,实现目标图像块与源图像块自动匹配,这样既实现了区域图像彩色化,提高了颜色转移的效果,又降低了像素数据库建立及匹配的复杂度.整个系统设计分为 3部分:图像块数据库建立、图像块检索、图像彩色化,如图 1所示.

图 1 基于数据库的区域图像彩色化系统Fig.1 Region image color ization system based on database

1 分类图像块数据的选取和数据库的建立

本系统采用M icrosoft Office Access2000数据库存储图像块数据,数据库架构可分为图像块特征部分和图像块数据部分.分别选取具有树木、草地、天空和沙滩的 4类代表性图像作为数据库备选的图像块,将图像块的特征和数据录入数据库.整个过程分为 3部分:图像区域选取、图像块特征提取、图像块数据库的数据录入.

1.1 聚类分割与图像块区域选取

选取多幅在不同条件下 4大类的代表性图像,这些不同色调的图像将对目标图像产生不同效果的场景.以树木类图像为例说明该方法的实施过程.利用文献[8]中的方法将图像自动分割,并提取树木的聚类块 (本研究选取面积最大的聚类块),该聚类块将作为目标图像的颜色参考图像,结果如图 2所示.

图 2 图像自动聚类分割与图像块提取Fig.2 Image automatic cluster ing segmentation and image block extraction

由区域图像彩色化的原理可知,源图像聚类块中只有部分颜色信息对目标图像块有用,且考虑到数据库存储容量的限制与聚类分割时聚类块的不连通性,因此,本算法采用在树木的图像块中进一步提取最大区域的矩形图像块,作为聚类块的特征图像,结果如图 2(c)所示.

1.2 颜色和纹理特征提取

所选择的源图像为彩色图像,彩色图像可用颜色、形状、纹理等特征来表征.由于本研究的源图像类别差别较大,即使同一类图像,也可以是截然不同的形状,因此,选择颜色直方图和 Gabor纹理特性来表征图像.

将特征图像的 R,G,B颜色分量的亮度加权,即

式 (1)将源图像转化成灰度图像,将灰度图像的直方图作为源图像的颜色特征,颜色特征将用于同类图像之间的相似性比较,结果如图 3所示.

图 3 图像块特征提取Fig.3 Feature extraction of image block

二维 Gabor函数在空间域和频率域中具有良好的局部性质和多通道、多分辨率的特性.因此,采用一组不同分辨率和方向性的 Gabor滤波函数与图像进行卷积,得到不同组的滤波图像,计算各滤波图像的均值和标准差,可得到源图像的 Gabor纹理特性.本研究采用的 Gabor滤波函数为

式中 ,x′=x cosθ+y sinθ,y′=y cosθ-x sinθ,sx′,sy′分别为 x轴和 y轴上的尺度因子,f为载波频率,θ为滤波器方向.分别计算滤波后图像的均值 E和标准差D,

式中,M和N分别为所选图像块长和宽方向上的像素数.对图 3(a)进行 Gabor滤波,参数设置为sx′=2,sy′=4,f=16,θ=60°,滤波后的结果如图 4所示.由于每幅图像有均值 E和标准差D 2个特征,所以源图像的纹理特征由六维向量组成,即 F=[sx′,sy′,f,θ,E,D].本研究选取某一角度,用以区分不同的纹理图像,将图像纹理特征作为图像块之间相似性比较的评价指标.

图 4 Gabor滤波结果Fig.4 Gabor f iltered image

1.3 分类图像块数据库的录入

使用Window s系统自带的数据源工具创建基于Access的数据库,具体步骤如下:控制面板→管理工具→开放式数据库连接 (open database connect,ODBC)→用户 DSN→添加,创建数据源 textureDB.数据库建立以后,使用 Matlab中的数据库工具箱,通过如下步骤建立连接并录入数据.

步骤 1 对彩色源图像进行聚类分割,在分割后的区域中选取一个矩形图像块,计算其颜色直方图特征和纹理特征.

步骤 2 比较图像块的颜色直方图特征和数据库树木类中每幅图像块的颜色直方图特征,公式如下:

式中,H1和 H2分别表示 2个灰度级为 L的颜色直方图,hi表示第 i个灰度级时像素出现的频数.如果与库中图像的相似性小于某个阈值ε,则舍去该图像,返回步骤 1;否则保存图像块的颜色直方图特征及图像数据,进行步骤 3.易知 D从 1减小到 0时,表示图像的相似度逐渐增大.此处判定时,取ε=0.5,若相似性 D＜0.5,就判为相似.另外,由于颜色转移是在lαβ颜色空间进行,需要将图像块数据从RGB空间转化到lαβ空间保存,因此,保存的图像块数据包括图像块的颜色和纹理特征、亮度值 l、亮度邻域标准差σ、颜色分量值α和颜色分量值β.

步骤 3 如果所有的图像块录入完毕,就退出程序;否则,返回步骤 1.

2 目标图像中图像块的选取及其匹配图像块的检索

目标图像为将要彩色化的灰度图像,参考颜色图像从数据库中选取.首先对目标图像进行聚类分割,在分割后的区域中选取矩形图像块,并计算该图像块的纹理特征.由于彩色源图像与目标灰度图像只有共同的亮度分量,因此,以图像块的纹理特性作为相似度衡量指标,从数据库中找到与之匹配的图像块.该部分的仿真结果如图 5和图 6所示,具体操作步骤如下.

步骤 1 用户输入一幅灰度图像.

步骤 2 选取图像区域.使用文献[8]中的方法对图像进行自动聚类分割,并在每类中选取矩形区域块作为该类的特征图像.

图 5 目标图像 1的图像块提取与彩色化Fig.5 Image block extraction and color ization of target image 1

图 6 目标图像 2的图像块提取与彩色化Fig.6 Image block extraction and color ization of target image 2

步骤 3 计算选取矩形图像块的纹理特征.

步骤 4 查找匹配图像块.根据纹理特征在数据库中查找最相似的图像块,将此作为该图像块的颜色参考图像.该步骤可分如下两步进行.

步骤 4.1 粗查.以纹理图像块的像素亮度均值为横坐标,像素亮度的标准差为纵坐标,每个图像块都可用一个平面点来表示,称为纹理特征点.首先计算数据库中各类图像块特征点的质心;然后计算目标图像块的特征点与各类图像质心点之间的欧氏距离,取距离最小的质心点作为与目标图像块匹配的类.例如,根据图 6(b)中树木的纹理特性,找到数据库中树木的质心,然后进行细查.实验结果如图 7所示.

图 7 目标图像和源图像的 Gabor纹理特性Fig.7 Gabor texture feature of the target and source images

步骤 4.2 细查.在树木类数据库中查询最佳匹配的图像块.如图 7所示,五角星代表目标图像块1,即目标图像的树木,它与树木类的质心最接近,所以只在该数据库中查找.根据欧氏距离判据,找到最匹配的源图像块,如图 7中的粗实线所示.

步骤 5 读取目标图像的另一图像块.如果读完,则退出检索;否则,返回步骤 3.

若在数据库中找到与目标图像相匹配的源图像块,就可实现区域图像彩色化.源图像为数据库中查询得到的图像块,目标图像为自动分割后的图像块.由区域图像的彩色化方法,给目标图像的第一聚类块上色,结果如图 5(d)所示;再由目标图像第二聚类块的匹配图像,将源图像的颜色转移到第二聚类块,结果如图 5(e)所示.如果目标图像被分割成更多的聚类块,则用区域图像彩色化的方法依次处理,并合并所有结果图像,最终结果如图 5(f)所示.

本算法是基于图像块数据库和纹理特征点的图像自动彩色化,它不同于Welsh算法[3].Welsh算法需要同时输入一幅用作参照的彩色源图像和一幅待彩色化的灰度目标图像,若对同样的灰度图像采用Welsh算法,仿真实验结果如图 8～图 11所示.

从实验结果可以看出,Welsh算法存在以下不足:①事先必须为目标图像选择源图像作为参考颜色图像,不同的源图像将产生不同的彩色化效果;②本来相邻的、颜色相近的区域可能由于亮度差异而被分配了截然不同的颜色,产生错误着色,例如,图10(c)中树木的尖端像素混有源图像天空的颜色;③对彩色化的事先控制和局部调整非常困难.而通过本算法对同样的灰度图像进行彩色化实验,结果如图 5(f)和图 6(f)所示.可以看出,本算法的视觉彩色化效果要好于Welsh算法,同时不需要人工选择参考图像.虽然目前本算法的数据库中图像块信息还较少,但是当数据库信息量足够大时,将会找到更合理的纹理匹配图像块,从而可以得到精确度更高的彩色化结果.

图 8 源图像 1到目标图像 1的全局颜色转移Fig.8 Global color transfer from source image 1 to target image 1

图 9 源图像 2到目标图像 1的全局颜色转移Fig.9 Global color tran sfer from source image 2 to target image 1

图 10 源图像 1到目标图像 2的全局颜色转移Fig.10 Global color transfer from source image 1 to target image 2

图 11 源图像 2到目标图像 2的全局颜色转移Fig.11 Global color transfer from source image 2 to target image 2

3 结 束 语

针对黑白图像彩色化的颜色转移方法中,彩色源图像选择需要人工干预等问题,本研究利用数据库技术建立了聚类分割后彩色图像块数据库,以及相应图像块的颜色直方图特征和纹理特征点数据库.在建立过程中,对入库图像块的选择采用了颜色直方图的相似比较法.对于待彩色化的黑白目标图像,通过利用 Gabor滤波函数提取的纹理特征点,在彩色源图像块数据库中查找最匹配的图像块,实现了目标图像块和彩色源图像块之间的自动匹配,从而实现整个彩色化过程的自动化.通过仿真实验可以看到,本算法自动化程度高,彩色化效果比较自然、逼真,由于采用了区域图像像素搜索,提高了彩色化的速度.利用本算法还可以从多幅源图像中选取彩色参考图像,从而为解决复杂图像彩色化过程中选取参考图像难的问题寻求一种可行的方法.

[1] 滕升华.黑白影像的彩色化研究 [D].北京:中国科学院,2006.

[2] REINHARD E,ASHIKHM IN M,GOOCH B,et al.Color transfer between images[J].IEEE Computer Graphics and Applications,2001,21(5):34-41.

[3] WELSH T,ASHIKHM IN M,MUELLER K.Transferring color to greyscale images[J].ACM Transactions on Graphics,2002,21(3):277-280.

[4] 胡国飞,傅健,彭群生.自适应颜色迁移[J].计算机学报,2004,27(9):1245-1249.

[5] 张引,饶娜,张三元,等.自动采集样本的图像颜色传递算法[J].中国图象图形学报,2005,10(10):1258-1264.

[6] TA IYW,JIA J Y,TANG C K.Local color transfer via p robabilistic segmentation by expectation-maximization[C]∥Proceedings of the 2005 IEEE Computer Society Conferenceon Computer Vision and Pattern Recognition.2005:747-754.

[7] 王常亮.基于聚类的自动颜色传输[J].计算机工程与应用,2007,43(25):63-66.

[8] 汪世刚,吕东辉.基于最优聚类数和直方图匹配的图像彩色化方法 [J].计算机应用,2010,30(2):351-353.

[9] DIB G,REFORGIATO R D.Fast colorization of gray images[C]∥Eurographics Italian Chap ter Conference.2003:1-8.

[10] V IEIRA L F,V ILELA R D,NASCIMENTO E R.Automatically choosing source color images for coloring grayscale images[C]∥16th Brazilian Symposium on Computer Graphics and Image Processing.2003:151-158.

[11] MAYADA F A,ZA INEB A M.Automatic colorization without human intervention[C]∥Proceedings of the International Conference on Computer and Communication Engineering.2008:62-66.

[12] 商露兮,方建安,谷小婧,等.夜视图像自动彩色化源图选择算法[J].激光与红外,2009,39(2):223-227.

Image Color ization w ith Block Image Database and Texture Feature Points

LÜDong-hui, ZHANGChuang, WANG Shi-gang
(School of Communication and Information Engineering,Shanghai University,Shanghai200072,China)

We p ropose a new method for image colorization to overcome p roblems including heavy computation load,poor quality,and excessive human intervention.We choose rectangular blocks from various color images using segmentation and clustering,and calculate color histogramsand texture feature pointsof the blocks.We then build a database by comparing similarity of the blocks based on the color histograms,and find the best matching in terms of the Euclidean distance between the target gray-scale blocks and the source color blocks.Having constructed databases of four kinds of image blocks,tree,sky,sand and grass,the target gray image can be colorized using the block database without human intervention.

colorization;color-transfer;block image database;texture feature point

TP 391.41

A

1007-2861(2011)01-0057-07

10.3969/j.issn.1007-2861.2011.01.009

2010-04-06

国家自然科学基金资助项目(60872116)

吕东辉 (1966～),男,副教授,博士,研究方向为医学图像处理、图像认证和 3D图像重建等.E-mail:dhlu@shu.edu.cn

(编辑:丁嘉羽)

利用图像记录世界,颜色的缺失不可避免.早期的照片、电影没有颜色,是由当时落后的成像技术造成的.还有一类黑白图像的产生与成像机理有关,如X光透视成像、雷达成像等,这类图像记录了人眼不能直接观察到的内容,已经大大超越了人眼的感知范围[1].相对于黑白图像,颜色使得图像内容更丰富,细节更清晰,视觉效果更逼真,因此,黑白图像的彩色化技术成为近年来的研究热点.

彩色化过程中需要将黑白图像的灰度值转换成表征色彩的颜色分量,但这种映射并非唯一确定,即不同的颜色可以具有相同的亮度值,却具有不同的色调和饱和度.因此,彩色化问题从根本上讲是一个“病态”的过程.颜色转移算法最初由 Reinhard等[2]提出.该算法需输入源图像和目标图像 2幅彩色图像,通过变换目标图像的颜色,使之从视觉上接近源图像的色彩.2002年,Welsh等[3]对该算法做了一些改进,使其适用于灰度图像,形成了基于颜色转移的彩色化算法.改进算法输入的是用作参照的彩色源图像和灰度目标图像,根据像素匹配算法将源图像的颜色转移到目标图像中.