颜色传递在图像拼接中的应用

许可可，朱文球，邓刘昭芦，钟海

（湖南工业大学计算机与通信学院，湖南株洲412007）

颜色传递在图像拼接中的应用

许可可，朱文球，邓刘昭芦，钟海

（湖南工业大学计算机与通信学院，湖南株洲412007）

针对图像拼接技术中存在拼接缝的问题，将一种直接在RGB颜色空间中进行颜色传递的算法应用于图像拼接技术中，实现拼接缝的消除。首先利用Harris角点检测器提取图像的特征点，并用BRISK描述子对特征点进行二进制比特串描述；然后利用汉明距离对特征点进行匹配，用RANSAC算法求出变换矩阵，再用高斯加权法进行融合；最后使用颜色传递算法对拼接图像进行色度调整。试验表明，该算法对图像拼接缝的消除具有较好的效果。

拼接缝；颜色传递；图像拼接

0 引言

图像拼接技术[1]是将同一场景中的多幅具有重叠区域的图像进行预处理和配准，然后融合成一幅大型的、能够更全面描述场景内容的图像的过程。图像拼接与人们生活和工作息息相关，在宇宙空间探测、遥感测量、医学图像处理、视频监控、虚拟现实、军事等领域都有广泛的应用。图像配准和图像融合是图像拼接的关键步骤，图像配准又包括特征提取、特征描述和特征匹配。由于待拼接图像中的场景颜色会因光照、相机性能和个人拍照技术产生变化，从而在拼接图像上产生拼接缝，因此研究消除拼接缝方法[2-4]具有重要意义。

E. Reinhard等人[5]中最早提出颜色传递算法，该算法先将RGB颜色空间转换到Lab颜色空间，然后在Lab颜色空间中使用颜色传递算法提取一幅图像的颜色特征并传递给另一幅图像，使2幅图像具有相似的色彩，再将Lab颜色空间转换到RGB颜色空间。A. Toet等人[6]将颜色传递算法引入到图像融合中，取得了较好的效果。文献[7]中将颜色传递算法引入到图像匹配中，该方法针对曝光和颜色差异明显的待匹配图，用颜色传递算法将色彩效果好的图像的颜色特征传递给有问题的图像。然而，颜色传递算法在图像拼接中还没有得到较好的应用，本文利用一种直接在RGB颜色空间中进行颜色传递的算法来消除图像拼接缝。

1 图像配准

图像配准是图像拼接中的核心技术，本文采用经典的Harris角点检测算法提取特征点，特征描述采用快速的二进制描述子——BRISK算子，利用汉明距离进行特征匹配，并用RANSAC算法计算出2幅图像间的变换矩阵。

1.1 特征提取

Harris算子[8]以目标像素点为中心选取一个方形区域，将该区域分别沿上下左右4个方向移动，并分别计算这4个方向的灰度变化，可得到该像素点的相关矩阵M，即

式中：wx,y为高斯函数；Ix和Iy分别表示在点（x,y）处沿水平x方向和垂直y方向的微分。

相关矩阵M是二阶实对称矩阵，因此有2个特征向量。相关矩阵的2个特征向量与该矩阵的主曲率成正比，将这2个特征值分别表征像素点的灰度值变化最快和最慢的方向。由于求解特征向量的计算量较大，而特征值之和即为矩阵的迹，特征值之积即为矩阵的行列式，因此Harris角点响应可用用式（2）表示为

式中：det(M)表示相关矩阵M的行列式；trace(M)表示M的迹；k是修正值（一般取0.04～0.06）；Corner表示像素点的角点响应，当某一像素点是局部极大值时则将该点作为特征点。

1.2 特征描述

采用BRISK[9]二进制字符串来描述特征点，该描述子采用的采样模式是以特征点为中心的4个同心圆上均匀分布的60个点（包括中心点）。为了避免受噪声干扰，需先对这些点进行平滑滤波。由60个点两两组合可以构成=1 770个点对，通过距离门限的约束构造短距离点对和长距离点对，短距离点对用于生成二进制描述符，长距离点对用于计算特征方向。设（Pi,Pj）为一对采样点，Pi和Pj均为像素点的灰度值，S为短距离点对构成的集合，L为长距离点对构成的集合，A为所有采样点对集合。S和L的定义如下：

由于长距离采样点对中包含了较多的角度信息，为了实现旋转不变性，BRISK首先计算点对的梯度然后通过集合L计算出总体模式在x, y方向的梯度gx和gy，得到总体模式方向g，最后将60个采样点通过特殊的反正切函数求出gx和gy之间的角度，将采样模式旋转角度。

将短距离采样点对进行如下运算，便构成了二进制描述子，即

1.3 特征匹配

对于二进制描述子的匹配，用汉明距离来衡量匹配程度，然后通过RANSAC（random sample consensus，随机抽样一致）计算2幅图像的变换矩阵。

在信息论中，2个长度相等的字符串之间的汉明距离定义为2个字符串中对应位置字符不同的数量。汉明距离能反映2个字符串之间的差异，因此在图像处理中可以作为2个二值特征之间的相似程度的一种客观依据，将其用于判断2幅图像中的特征点是否匹配。2个长度为n的二值特征和之间的汉明距离d(x, y)可用式（6）表示为

RANSAC算法通过随机选取一组数据点样本估计初始模型，在一定误差范围内符合该模型的点称为内点，不符合的则为外点。一个模型的内点越多、外点越少，表示该模型越能准确地计算图像之间的变换关系。随机选择N组数据分别拟合模型，按照评选标准进行筛选，找出最优的模型。RANSAC算法在求解变换矩阵的同时，也去除了误匹配点。

2 图像融合

对2幅图像的重叠区域用非线性的高斯加权函数进行融合。因为高斯分布的概率密度函数是一种钟形曲线，越靠近中心的点值越大，越远离中心的点值越小，利用这一特点将其作为一种分配权值的方法。

概率函数P(x)的计算公式为

对于图像f1(x,y)和图像f2(x,y)，设它们的重叠区域为H，图像f1(x,y)在H区域的像素均值和方差分别为u1和，图像f2(x,y)中H区域的像素均值和方差分别为u2和。则像素p（p为像素的灰度值）在图像f1(x,y)中的概率P1(p)和在图像f2(x,y)中的概率P2(p)可由式（7）～（8）计算而得。

将P1(p)和P2(p)作为权值，在融合区域f(x,y)的计算式为

为了使得权值和为1，对权值进行归一化可得融合函数为

3 图像色度调整

色度调整通过颜色传递算法来实现，从待拼接的2幅图像中选取其中一幅作为参考图像，以拼接图作为目标图像，将参考图像的颜色特征传递给目标图像，使2幅图像具有相似的色彩。由于图像在RGB颜色空间中，像素值是一个三维随机变量，因此3个变量之间的相关性可用协方差估计，再通过平移、缩放、旋转变换改变图像的颜色[10]。设src表示源图像，tgt表示目标图像，算法的步骤如下。

1）分别求源图像与目标图像RGB颜色空间中三通道的平均值和协方差矩阵，和表示源图像和目标图像中R通道、G通道、B通道的像素平均值；表示源图像与目标图像的协方差矩阵。

2）利用SVD算法分解协方差矩阵Covsrc和Covtgt，公式为

3）利用下式求出像素的变换矩阵，

式中：Usrc, Utgt为步骤2）中利用SVD奇异值分解而得的正交矩阵；为Utgt的逆矩阵；为步骤2）中利用SVD奇异值分解而得的对角矩阵中的特征向量。

图1 在RGB颜色空间的色彩传递Fig.1 Color transfer in RGB color space

4 试验结果与分析

算法过程如图2所示。为了验证本算法的有效性，进行了大量的试验，试验平台为Windows操作系统，CPU为Intel Core2 ，2.2 GHz，内存2 GB，编程环境为Matlab。试验结果表明算法取得了良好的拼接效果。由于篇幅有限，只给出一组试验过程图，并对图像进行主观评价。

图2 图像拼接过程图Fig.2Process diagram of image mosaic

图3是同一时刻同一相机在湖南工业大学拍摄的2幅图像，但由于角度不同，光线发生微妙变化，因此图像存在细微的颜色差异。将这2幅图作为待拼接的图像，大小均为500×384像素。Harris角点提取2幅图像的特征点数分别为933和941，匹配点数为214对，匹配效果如图4所示。

图5为初始拼接效果，其中图5b为拼接图5a的局部放大效果，红色实线标记处为拼接缝。图6为使用颜色传递算法后的拼接效果，以图3a作为源图像，以图5a作为目标图像，使用颜色传递算法提取源图像中的颜色特征，传递给目标图像。由以上试验结果可看出，图5中存在较明显的拼接缝，而图6使用颜色传递算法对初始拼接图的颜色进行调整，基本上消除了拼接缝。因此，颜色传递算法对于消除图像拼接缝的具有较高的应用价值。

图3 待拼接的两幅图Fig.3 Two original images

图4 匹配效果图Fig.4 Matching result

图5 初始拼接效果图Fig. 5 The result of initial mosaic

图6 色度调整效果图Fig.6 The result after color adjustment

5 结语

针对图像拼接易产生拼接缝的问题，将颜色传递算法引入到图像拼接中，用于消除拼接缝。本文方法是，先对图像进行配准和融合，再对融合后的图像使用颜色传递算法进行色度调整，以待拼接图像的颜色来修正已拼接的图像，使拼接图像实现色彩上的平滑过渡，并通过试验证明了将颜色传递应用于图像拼接中的有效性。

[1]徐止喜. 基于匹配的图像拼接关键技术研究与实现[D]. 成都：电子科技大学，2013. Xu Zhixi. The Key Technology and Implementation of Image Mosaic Based on Matching[D]. Chengdu ：University of Electronic Science and Technology of China，2013.

[2]周春江，徐丽华. 遥感影像镶嵌中拼接缝消除方法研究[J]. 西南大学学报，2010，32(9)：136-140. Zhou Chunjiang，Xu Lihua. Study on Seam-Line Removal Under Mosaicking of Remote Sensing Images[J]. Journal of Southwest University ，2010，32(9)：136-140.

[3]程红，郑悦，孙文邦. 基于相邻像素灰度改正比的遥感图像拼接缝消除[J]. 电光与控制，2014，21(5)：73-77. Cheng Hong，Zheng Yue，Sun Wenbang. Seamline Removal for Remote Sensing Images Based on Gray Correction-Ratio of Adjoined Pixels[J]. Electronics Optics & Control，2014，21(5)：73-77.

[4]李海超，郝胜勇，朱琦. 多片遥感图像的快速无缝拼接方法[J]. 红外与激光工程，2011，40(7)：1381-1386. Li Haichao，Hao Shengyong，Zhu Qi. Fast Seamless Mosaic Algorithm for Multiple Remote Sensing Images[J]. Infrared and Laser Engineering，2011，40(7)：1381-1386.

[5]Reinhard E，Ashikhmin M，Gooch B，et al. Color Transfer Between Images[J]. IEEE Computer Graphics and Applications，2001，21(5)：34-41.

[6]Toet A. Natural Colour Mapping for Multiband Nightvision Imagery[J]. Information Fusion，2003，4(3)：155-166.

[7]李晓洁. 基于区域匹配的图像颜色传递[D]. 济南：山东大学，2011. Li Xiaojie. Local Color Transfer Based on Region Matching [D]. Ji’Nan ：Shandong University，2011.

[8]Harris C，Stephens M. A Combined Corner and Edge Detector[C]//Proceedings of 4th Alvey Vision Conference. London：BMAV，1988：147-151.

[9]Calonder M，Lepetit V，Strecha C，et al. Brief：Binary Robust Independent Elementary Features[C]// Proceedings of 11th European Conference on Computer Vision.Berlin：Springer-Verlag，2010：778-792.

[10] Xiao X，Ma L. Color Transfer in Correlated Color Space [C]//Proceedings of the 2006 ACM International Conference on Virtual Reality Continuum and Its Applications. Hong Kong：ACM SIGGRAPH，2006：305-309.

（责任编辑：申剑）

Color Transfer in Image Mosaic

Xu Keke，Zhu Wenqiu，Deng Liuzhaolu，Zhong Hai
（School of Computer and Communication，Hunan University of Technology，Zhuzhou Hunan 412007，China）

Aiming at the problem of the seam-line in image mosaic, a color transfer algorithm directly in RGB color space is applied to image mosaic technology and to eliminate the seam-line. Firstly, Harris is used to extract feature points and BRISK descriptor is used for binary bitstring description of the points; Then Hamming distance is used to match feature points and RANSAC algorithm to calculate transformation matrix, and the method of gaussian-weighted is used for fusing image; Finally, by means of the color transfer algorithm, adjusts the color of stitching image. Experiments show that the algorithm has a good effect in eliminate image seam-line.

seam-line；color transfer；image mosaic

TP391

A

1673-9833(2014)05-0074-05

10.3969/j.issn.1673-9833.2014.05.015

2014-05-24

国家自然科学基金资助项目（61170102），湖南省教育厅科学研究基金资助项目（12A039），湖南省自然科学基金资助项目（11JJ3070）

许可可（1989-），女，湖南衡阳人，湖南工业大学硕士生，主要研究方向为数字图像处理， E-mail：496030690@qq.com