基于CPCT的彩色图像融合算法

严 敏，杨智雄，余春超，袁小春，粟宇路,王 鑫



基于CPCT的彩色图像融合算法

严 敏，杨智雄，余春超，袁小春，粟宇路,王 鑫

（昆明物理研究所，云南 昆明 650223）

彩色融合图像在场景深度感知、目标探测识别、减少判断时间等方面优于灰度融合图像，重点研究了红外与可见光彩色图像融合算法。针对经典的自然感图像融合算法中计算复杂度高、缺乏颜色恒常性问题，提出基于YUV颜色空间恒参数颜色传递（CPCT）图像融合算法，并通过栅栏、山丘、森林和城镇四组实验验证了本文算法在颜色恒常性和算法实时性上有较大改善。

彩色图像融合；CPCT；红外图像；可见光图像

0 引言

在可见光（或微光）、红外以及合成孔径雷达等多种图像传感器中，可见光（或微光）和红外图像传感器的成像差异小且两者的互补性好，可见光图像的场景特征丰富，但在夜间或有烟幕遮挡等复杂场景中目标探测性差；而红外图像传感器依托场景的热对比度成像，在夜间及雾霭雨雪等多种复杂环境中能克服部分视觉上的障碍而探测到目标，因此结合红外和可见光图像两者的优点而形成的图像融合技术受到各国研究人员的关注[1]。在夜间或有烟幕干扰等各种恶劣战场环境中，结合了红外图像的目标信息和微光/可见光的场景信息的融合图像更有利于对战场环境的理解。

2001年Reinhard提出了颜色传递（Color Transfer）[2-3]的概念，Toet[4-5]将其引入到图像融合中，提出了经典的颜色传递图像融合算法-基于颜色传递的彩色图像融合方法。该方法中进行了两次颜色空间变换，且lab和RGB颜色空间之间的变换是非线性的对数指数变换，计算复杂度高，融合过程进行了多次的矩阵和对数运算，大大降低了算法的实时性。同时，颜色传递过程中参考图像的场景信息要尽量与融合目标图像场景一致，否则融合自然感差，融合效果对参考图像依赖性强，缺乏颜色恒常性。李光鑫等[6]通过理论推导证明满足一定条件的颜色空间均能用于颜色传递，并提出了快速颜色传递（AOCT）图像融合方法。钱小燕等[7-8]针对融合图像的颜色恒常性难以保持的问题，对融合图像进行颜色聚类，分割成不同颜色域后进行局部颜色映射，使得融合图像更自然、真实。Liu等[9]结合灰度融合算法，用EM和NSCT融合方法获得的灰度图像替代原亮度分量，并在通道引入一个比例系数以增强目标识别率。

本文针对经典的自然感图像融合算法中计算复杂度高、缺乏颜色恒常性问题得出参考图像参数设置规律，并由此提出基于恒参数颜色传递（Constant Parameter Color Transfer，CPCT）的图像融合算法。基于CPCT的图像融合算法融合效果的自然感，实时性好，并保证颜色恒常性，对山地、丘陵、森林等多种场景具有一定的适用性

1 恒参数颜色传递融合算法

1.1 颜色空间的选择

依据文献[10]所给出的命题以及证明，可以得到一组满足以下条件的颜色空间均能进行颜色传递：

式中：,,均是不为0的任意常数，当＝1.0000，＝0.8714，＝1.2300即得到了空间，如下：

不同于lab颜色空间，YUV颜色空间与RGB颜色空间的变换是线性变换，用YUV颜色空间取代l颜色空间能有效地降低颜色空间变换的计算复杂度，提高融合算法的实时性。同时，与RGB视频信号传输相比，YUV颜色编码方法只需占用极少的频宽，YUV格式在彩色视频信号传输中应用较广，在一些嵌入式系统视频传输中也是采用YUV格式，所以YUV颜色空间更有利于后期算法移植等应用需求。此外，亮度通道与色彩,通道相关性小，融合图像场景结构、边缘等与图像色彩信息分离，可用较好的灰度融合图像替代亮度分量，使得融合过程相当于对一幅高质量灰度融合图像进行着色操作。因此，本文在YUV颜色空间进行颜色传递，基于YUV颜色空间的恒参数颜色传递图像融合的流程如图1所示。

图1 基于YUV空间的颜色传递图像融合流程

如图1中所示，IR是红外图像，Vis是可见光图像，YUV格式是颜色空间，＝Fusion是通道融合后图像亮度信息，＝Vis-IR、＝IR-Vis表示可见光图像和红外图像融合后色彩饱和信息。

1.2 参考图像参数统计分析

颜色传递过程仅通过参考图像的均值和方差就能达到很好的自然感彩色融合图像效果。但由于颜色传递效果的好坏取决于参考图像与目标图像之间场景差异大小，参考图像与目标图像场景越接近，颜色传递效果越好，参考图像与目标图像场景信息差异很大时，最终融合效果甚至不能满足自然感融合要求。研究如何减小或者去除参考图像对颜色传递效果的影响是本文研究的重点，颜色传递的实质是用参考图像的均值和方差替代目标图像的均值和方差。

参考图像统计信息分析的过程主要分两部分：①分析并统计山丘、森林、城市不同场景参考图像,,三通道均值和方差的取值分布情况；②结合①中所获得的取值分布结合多种主/客观评价指标分析,,三通道的取值变化对颜色传递效果的影响。

针对山丘、森林等场景环境选取出80幅图片作为参考图像进行颜色传递，统计参考图像的均值和方差数据，得出结果如图2，其中横坐标表示数据取值范围，纵坐标表示落在该区间的参考图像个数。

从上述统计及其对应的颜色传递图像融合效果，可以得出：

1）参考图像的均值和方差对于不同场景具有一定的适用性。合适的参考图像对山丘、森林和城市三种不同场景均能表现出良好的颜色传递融合效果，反之不合适的参考图像三种场景的颜色传递效果均不佳。

2）参考图像均值和方差取值主要分布于：

通道＝80～150，＝1000～4000；

通道＝－20～20，＝0～700；

通道＝－25～50，＝0～700。

1.3 Y通道参数设置规律分析

通道表示图像亮度信息，而、通道表示图像色彩信息，通道与、通道的相关性小，因此参考图像的YUV均值和方差对颜色传递结果的影响分析过程分2部分：一是通道均值和方差的分析，二是、通道取值的分析。

设置,,,,为定值，仅变化，分析其对颜色传递图像融合结果的影响。参考1.2中的分析结果，设置取值区间为50～140，步长为10，＝1000；＝10，＝600；＝12，＝400，所得颜色传递结果如图3所示。

图2 80幅参考图像YUV三通道均值、方差统计值

图3 Y通道均值变化对颜色传递结果影响

由图3得，随着通道均值逐渐增加图像亮度逐渐增加，当＜80图像亮度不足，当＞110道路的边缘由于值过大变得模糊，因此为均衡图像的亮度以及边缘信息保留，应当取值在80～110范围。

设置＝100；＝10，＝600；＝－12，＝600，分析通道方差变化对融合结果的影响。发现＞1450，图像锐化过度，横纹噪声很大，图像质量下降；＜700，图像平滑过度，细节信息保留不足。因此，设置方差区间600～1500，步长为100，颜色传递图像融合结果如图4所示。

当＜800，图像锐化不足，图像边缘信息保留不足；＞1200，图像锐化过度，横纹噪声较大，图像质量下降。因此，应取值在800～1200。

1.4 U、V通道参数设置规律分析

为全面分析、通道均值和方差取值对颜色传递图像融合结果的影响，需分析：,取值区间，,取值符号，||,||大小关系，|||－|||的大小；,取值区间，,取值大小关系，|－|的大小。空间亮度与颜色分离，在取值固定，色差,逐渐增大对图像颜色的影响如图5所示，3图依次对应＝0, 128和255时，,取[－127, 128]，输出图像颜色变化图，从图中可以清晰地理解、通道均值取值符号和大小对输出颜色的影响，但、通道均值取值区间如何能满足融合后颜色自然感和颜色丰富的要求，以及方差变化对图像输出颜色的影响都需要具体分析，以下分析过程中均设置＝95，＝1000。

为分析均值变化对融合结果的影响，设置：||＝||，,取值区间均为－28～28；方差3种大小关系＝600，＝400，＝＝400，＝400，＝600。

实验表明：,符号均为正时，图像逐渐偏向紫红色；符号取正负时，图像逐渐偏向黄色；符号取负正时，图像逐渐偏向绿色；符号均为负时，图像逐渐偏向蓝色。颜色传递结果显示：当取值范围超过－8～8时颜色倾向较为明显，当取值范围超过－15～15时颜色倾向较为严重。因此，为保证颜色传递图像融合的自然感，,的取值范围应在－15～15内。

图5 色差、取值对颜色的影响

Fig.5 Effect of color on、value

图6为其中一组颜色传递图像融合结果，从左至右,符号依次为＋＋，＋－，－＋，－－，||＝||＝8，＝600，＝400的融合结果。

为分析,大小关系对颜色传递图像融合结果的影响并确定|||－|||取值范围，结合人眼主观评价与颜色丰富度（Colorfulness）客观评价指标[11]，对颜色传递融合结果进行评价，其计算式如下，式中＝－,＝0.5(＋)－。

在,符号为＋＋，＋－，－＋，－－，,取值在－15～15内，＝＝700，的情况下，分析||＞||，||＝||，||＜||大小变化对图像融合结果的影响。当,符号均为正，||＞||，||＝||，||＜||结果如图7所示。

从左至右，,的取值及相应的图像颜色变化及颜色丰富度值如表1所示。为分析|||－|||大小对图像整体颜色调整的影响，在,四种符号取值中，＝＝700，设置＝4,6,8,10四种情况。由于＜时，颜色丰富度较大，分析时主要考虑＜的情况，因此设置从－＝2到－＝10以步长1逐渐增大。融合结果表明：随着|||－|||逐渐增大，值逐渐增大，但当|||－|||增大到一定值时，图像整体颜色改变较大，导致图像的自然感下降。

图7 mU,mV取值大小不同时的颜色传递融合结果

为平衡图像融合结果的自然感和颜色丰富度，||,||设置在6～12，且要使＜，|||－|||值不能过大，2～8即可，且随着,数值的增加，|||－|||应适当减小以保证图像的自然感。

表1 mU,mV的取值大小不同图像颜色变化及M值

分析,取值变化对图像融合结果的影响时，,符号和大小变化对颜色传递结果影响的规律，设置：,取值4种符号，大小为||＝6，||＝10，取值从400～1500，步长为100，逐渐增大。

结果表明：随着,逐渐增大，融合图像色彩越丰富；当＜600时，色彩呈现不足，当＞1000，色彩饱和度过大，成像自然感下降。因此，,取值范围为600～1000。图8给出了，,符号为正负，＝500～1300，步长为200的颜色传递融合结果。

设置,取值4种符号，大小为||＝6，||＝10；＝800，取值从400～1500，步长为100，逐渐增大。

结果表明：＜，图像红色分量增大，＞，图像蓝绿色分量增大。图9给出了,符号为负正，＝400～1200，步长为200的颜色传递融合结果。图中(c)为＝＝800，(d)、(e)为＞，图像中目标有加强的效果。此外，随着|－|逐渐增大，图像颜色偏向严重，影响图像的自然感，因此，|－|取值应在0～400内。

1.5 恒参数颜色传递规律

通过分析得出三通道均值、方差设置规律，定义为恒参数颜色传递规律（Constant Parameter Color Transfer Rules）如下：

1）通道均值，方差＝800～1200，颜色传递结果图像亮度和细节信息保留较好。

2）,取值决定图像颜色。,分别为＋＋，＋－，－＋，－－，对应于紫红、蓝、黄和绿色。当||,||＜6，融合图像颜色丰富度较低，当||,||＞20，图像自然感下降。此外，|||－|||值过大颜色协调性下降，取值于0～8，且随着,绝对值的增加，|||－|||应适当减小以保证图像的自然感。

3）,取值范围均为600～1000，,的大小关系会影响融合结果的颜色，＞偏绿，反之偏红；|－|过大图像自然感下降，取值于0～400。基于CPCT的颜色传递图像融合应用方式有2种：一是采用参考图像，利用CPCT Rules对参考图像参数进行调整，达到改善融合效果的目的；二是直接利用CPCT Rules设置固定的一组颜色传递参数，减少参考图像参数计算时间，并获得良好的适用于不同场景彩色融合效果。

2 实验仿真分析

仿真实验在Inter Pentium CPU G630 @ 2.7GHz、4.00G RAM的硬件平台进行，开发环境为Matlab 2013a。实验图像来自一个公开的微光灰度和红外图像的测试数据库（imagefusion.org），实验选取了栅栏、山丘、森林和城镇四组场景，如图10所示，在每组场景图像中左图为红外图像，右图为可见光图像。

图8 sU, sV取值逐渐增大的颜色传递融合结果

图9 sU, sV大小不同的颜色传递融合结果

第一组实验为栅栏场景，对比5种融合算法：像素加权、小波变换、Toet[4]的经典颜色传递图像融合算法、Li[10]提出的快速颜色传递（AOCT）图像融合算法和本文提出的CPCT的图像融合算法，结果如图11，其中CPCT中参数设置为：＝100，＝－10，＝－14，＝1000，＝500，＝700。

图10 融合实验4组场景

图11 场景1融合效果对比

对比上述融合效果不难发现，经典的颜色传递融合方法和AOCT融合方法对参考图像的依赖很强，尽管参考图像与融合场景比较相似，但融合出的整体颜色和部分细节保留效果不佳。而基于CPCT的融合方法，依据参考图像对颜色传递融合效果的影响数据分析获得CPCT Rules，不依赖参考图像的选择，保证融合图像的整体自然感和颜色协调性，图像中细节也得以很好地呈现。

上述是直接利用CPCT Rules设置恒定参数实现颜色传递彩色图像融合的应用，同时CPCT Rules还可以用于修正不合适的参考图像产生的不佳的颜色传递效果。以图11中(e)图融合效果为例，基于CPCT Rules的修正过程如图12所示。该图中最大的问题即是图像细节信息保留不足，参考图像的参数信息为＝111，＝6，＝－20，＝2274，＝841，＝257（均已取整），依据CPCT Rules知参考图像亮度方差过大，调整＝1000得图12中(b)融合效果，由此可得依据CPCT参数设置规律可改善不合适参考图像的融合效果。

第二组实验为场景二、三、四，对比Toet、AOCT和CPCT三种彩色图像融合算法，结果如图13所示。因为Toet融合算法中同一参考图像难以适应多种不同场景呈现较好的自然感颜色传递效果，所以对于场景2、3，Toet融合算法所用的参考图像和图11(c)不同。

图12 基于CPCT Rules 改善融合效果

图13 不同彩色融合算法融合效果对比

图11和图13基于CPCT设置一组恒定参数，对4种不同场景进行颜色传递图像融合，均能达到场景信息和目标明确，色协调性良好的融合效果，且设置恒定参数减少了参考图像颜色空间变换和均值、方差计算过程，提高了算法的实时性。与Toet和AOCT融合算法相比，执行时间减少了很多，有利于嵌入式系统的算法移植以及融合应用。3种彩色融合算法以上4种场景的运行时间对比如表2。

表2 三种方法执行时间对比

3 结论

本文提出基于CPCT 的颜色传递算法，不同于其他改进算法，通过对颜色传递过程中参考图像的参数进行统计分析研究，得出了颜色传递过程中参数设置规律，使得融合效果不依赖于参考图像，实现融合结果的颜色恒常性。由于减少了参考图像参数计算过程，基于CPCT 的图像融合方法与现有融合算法相比，实时性有所改善，且对多种场景具备一定的适用性。

[1] Toet A, Hogervorst M A. Progress in color night vision[J]., 2012, 51(1)010901:1-19.

[2] Zhang Q, Guo B L. Research on image fusion based on Nonsubsampled Contourlet Transform[C]//, 2007: 3239-3243.

[3] 骆媛, 王岭雪, 金伟其, 等. 微光(可见光)/红外彩色夜视技术处理算法及系统进展[J]. 红外技术, 2010, 32(6): 337-344.

[4] Reinhard E, Ashikhmin M, Gooch B, et al. Color transfer between images[J]., 2001, 21(5): 34-41.

[5] He S F, Yang Q X, Lau R W H. Visual Tracking via Locality Sensitive Histograms[C]//, 2013: 2427-2434.

[6] Li G X, Xu S Y, Zhao X. An efficient color transfer algorithm for recoloring multiband night vision imagery[C]//, 2010, 76890A1-12.

[7] Fan J L, Shen X H, Wu Y. Scribble Tracker: A Matting-based Approach for Robust Tracking[J]., 2012, 34(8): 1633-1644.

[8] 钱小燕, 张天慈, 王帮峰, 等. 局部颜色映射的彩色夜视算法[J]. 中国图象图形学报, 2012, 17(5): 689-693.

[9] Liu G, Huang G H. Color fusion based on EM algorithm for IR and visible image[C]//, 2010: 253-258.

[10] Li G X, Xu S Y, Zhao X. An efficient color transfer algorithm for recoloring multiband night vision imagery[C]//, 2010: 76890A1-12.

[11] Hasler D, Suesstrunk S. Measuring colourfulness in natural images[C]//, 2003, 5007: 87-95.

Color Image Fusion Algorithm Based On CPCT

YAN Min，YANG Zhi-xiong，YU Chun-chao，YUAN Xiao-chun，SU Yu-lu，WANG Xin

(,650223,)

Color fusion images are better than gray fusion images in scene perception, reducing estimate time, target detection and recognition. Hence, the thesis mainly studied the infrared and visible color image fusion algorithms. To solve the problem of complicated computation and no color constancy in the classical color transfer based image fusion method, a color image fusion method is proposed that is based on constant parameters color transfer in YUV color space. The experimental results show that this method can greatly improve the real-time performance with color constancy.

color image fusion，CPCT，infrared image，visible image

TP391.41

A

1001-8891(2015)07-0566-08

2015-03-17；

2015-05-25。

严敏（1982-），女，硕士研究生，工程师，主要从事电子软件及图像处理技术研究。