结合图像签名和最优传输的颜色传递方法

谢 斌， 刘 轲， 张 抗

(江西理工大学 信息工程学院，江西 赣州 341000)

1 引 言

随着互联网技术的飞速发展以及智能设备的快速普及，人们获取图像的途径愈加多样化。同时，随着生活质量的提高，对于图像的艺术风格和视觉效果也有了更高的要求。然而，常规途径获取的图像往往不能满足用户的要求，很多时候需要对其进行特定的增强处理。颜色传递[1-3]作为一种图像增强手段，能够将参考图像的颜色传递至内容图像上，使结果图像在拥有内容图像结构的同时又具备参考图像的颜色，从而可以更好地提高图像的艺术风格和视觉效果。当前的颜色传递技术可以分为全局方法和局部方法两大类。

全局颜色传递实质是将参考图像的整体颜色风格传递至内容图像。文献[4]中，Reinhard最初提出了一种基于图像统计特性的颜色传递方法。该方法在lαβ颜色空间利用参考图像与内容图像的低阶统计量(均值和标准差)匹配实现了图像间的颜色传递。该方法具有简单、快速的优点，但是当图像结构比较复杂时往往会得到不自然的结果。文献[5]提出了一种基于N维概率密度匹配的颜色传递方法，在一定程度上提升了颜色传递的效果，但是该方法得到结果图像容易产生伪影和噪声。为此，文献[6]在传统方法的基础上通过进一步的梯度保持来提高结果图像的质量。文献[7]在Reinhard方法的基础上提出了一种改进方法，利用图像协方差的相关性实现了颜色传递。文献[8]在文献[7]的基础上，利用直方图匹配技术来进行颜色传递，并通过梯度保持模型让结果图像保持内容图像的细节。但是，该方法受图像色域的影响较大，往往会出现色彩溢出问题。针对上述问题，文献[9]进一步利用场景照明和限制图像色域来解决色彩溢出的问题。当内容图像结构比较复杂、颜色较为丰富或者仅有部分区域需要颜色传递时，上述全局方法得到的结果图像容易存在层次感欠缺和视觉效果不佳等问题。为了弥补全局方法的不足，部分研究人员提出了局部颜色传递方法。

局部颜色传递方法的实质是将参考图像“选定区域”的颜色传递至内容图像相应的“选定区域”，各区域之间互不影响。此类方法通常能够让结果图像更好地保持内容图像的层次感，并能够取得更好的视觉效果。文献[10]提出了一种基于色彩组合的情感颜色传递方法，该方法首先提取了参考图像的3种主要颜色，并通过Pantone配色方案(Eisemann, 2000)确定参考图像对应的情感颜色，使结果图像能够按照用户的需求具有不同的情感颜色。文献[11]提出了一种基于超像素分割和L0范数的颜色传递方法。该方法根据超像素分割块中像素间的相似性构建主色(5种)情感的颜色传递模型，并通过L0范数设计梯度保持模型以消除超像素分割所带来的梯度信息丢失问题。然而，上述两种方法提取的主要颜色往往并不能代表整幅图像的颜色风格，如此容易使结果图像不能很好地保持参考图像的颜色风格。为此，部分学者提出了基于多点聚类的颜色传递方法。文献[12]借助超像素分割得到参考图像和目标图像的超像素块，并在此基础上利用ANN(Approximate nearest neighbor)匹配算法进行超像素块间的匹配，取得了更好的颜色传递效果。然而，超像素分割块数目的选择通常由用户决定，其随机性较大，往往容易使结果图像中出现明显的伪影和虚假的边界。文献[13]提出一种基于L2散度的颜色传递方法。该方法首先对参考图像和内容图像进行颜色聚类(50类)，然后通过最小化L2损失函数来确定两幅图像的类间匹配关系，并在此基础上利用TPS(Thin Plate Splines)算法实现类间颜色传递。由于该方法中的颜色聚类数目较为固定，难以适应不同类型图像间的颜色传递。并且，利用TPS算法进行颜色传递，得到的结果图像往往容易出现显眼的瑕疵以及颜色过渡不自然等问题。另外，深度学习技术[14-16]也被部分学者用于图像间的颜色传递。基于深度学习的方法虽然可以获取较好的效果，但是相应的网络结构一般比较复杂并且通常需要构建庞大的数据集，因而此类方法的复杂度和时间成本较高。

为了得到更好的效果，图像分割[17-18]在颜色传递的预处理中得到广泛应用。文献[19]基于语义信息分析提出了一种新颖的颜色传递方法。该方法以人工分割的方式提取人脸图像的高级语义信息，然后在此基础上利用Reinhard方法在对应的语义区域进行颜色传递。然而，该方法的适用范围非常有限，仅对人脸图像的颜色传递有较好的效果。另外，文献[20]提出了一种语义信息自动感知的颜色传递方法。该方法利用视觉引导图将参考图像和内容图像分割为前景区域和背景区域，然后在对应区域采用Reinhard方法进行颜色传递，在一定程度上提升了结果图像的层次感。上述基于语义信息的方法虽然总体上能够取得较传统方法[8,11,13]更好的效果，但仍然存在两方面的不足。首先，上述方法采用的分割策略不能准确地分割出图像的语义区域，导致所得结果图像在很多场合下仍然存在层次感不足的问题。其次，上述方法在分割区域中采用了Reinhard颜色传递策略，即在区域内部进行简单统计量(区域内的标准差和均值)的映射，该处理方式容易忽略区域中的局部信息，从而可能造成结果图像中存在细节保持不足的问题。

针对上述问题，本文提出了一种结合图像签名和最优传输的局部颜色传递新方法。首先，为了更好地提升结果图像的层次感，引入基于图像签名[21]的显著区域检测算法，将参考图像和内容图像分割成前景区域和背景区域，并在对应区域进行颜色传递。其次，结合最优传输理论和亮度保持策略设计了一种新的颜色传递方法，一方面让结果图像能够更好地保持参考图像的颜色，另一方面让结果图像有效地保持内容图像的细节特征。另外，为了更好地评价颜色传递效果，文中结合色度差和结构相似度设计了一种新的客观评价指标。大量的实验结果证明了文中所提颜色传递方法和评价指标的有效性。

2 颜色传递经典模型

文献[4]中，Reinhard首次提出了一种颜色传递经典方法。在颜色传递过程中，假定内容图像为t、参考图像为s、结果图像为r，则Reinhard方法可以通过以下模型来实现彩色图像间的颜色传递。

(1)

式(1)中，μ和σ分别表示lαβ空间下图像的统计均值和标准差，i∈(l,α,β)表示颜色通道。虽然该方法具有简单、高效的优点，但是容易出现层次感不足、细节损失明显等问题。图1所示为Reinhard方法进行颜色传递的示例图。

图1 经典颜色传递结果示例Fig.1 Classic color transfer model results

由图1(c)可以看出，相对于图1(a)所示的内容图像而言，结果图像明显存在层次感不足的问题。另外，比较图1(d)和图1(e)可以发现，结果图像存在较为严重的细节丢失问题。造成上述问题的原因主要有两个方面：首先，Reinhard方法是通过统计量的简单运算得到的，往往容易造成结果图像缺乏层次感；其次，Reinhard方法仅仅考虑了图像的全局信息而没有很好地考虑图像的局部信息，利用式(1)进行颜色传递容易造成结果图像存在一定程度的细节损失。

针对Reinhard方法存在的问题，Xia等[20]进一步在CIE Lab空间提出了一种基于语义信息自动感知的颜色传递方法。该方法利用显著性检测得到的视觉引导图[20]将图像分割为前景区域和背景区域，然后在对应的区域分别采用Reinhard方法进行颜色传递以提高结果图像的视觉效果。Xia方法的模型如下：

ri=wt,irf,i+w′t,irp,i，

(2)

(3)

(4)

图2 视觉引导颜色传递结果示例Fig.2 Examples of visual guided color transfer results

3 颜色传递新方法

3.1 新方案的提出

针对传统方法存在的不足，本文提出了一种结合图像签名和最优传输的颜色传递新方法。首先，采用了一种基于图像签名[22]的彩色图像显著区域检测方法，可以更好地得到图像的前景区域和背景区域，以此为基础在对应区域进行颜色传递，能够较好地提高结果图像的层次感；其次，结合最优传输理论[22]设计了一种保持内容图像亮度的颜色传递策略，以进一步提升结果图像的质量。文中所提颜色传递方法的流程如图3所示。首先，在CIE Lab颜色空间利用图像签名对输入的内容图像和参考图像分别作显著性检测处理，得到两幅图像的前景区域和背景区域；然后，结合最优传输理论设计了一种亮度保持的颜色传递方法，并在内容图像和参考图像的对应区域进行颜色传递；最后，合并颜色传递后的前景区域和背景区域并将其转至RGB颜色空间，得到最后的结果图像。

图3 文中所提方法的流程图Fig.3 Flow chart of the proposed method

3.2 基于图像签名的显著区域检测

文中引入基于图像签名的显著区域检测[22]方法，以进一步提高结果图像的层次感。由于该方法有效地结合了图像的局部和全局信息，因此得到的显著区域能够较好地与人类视觉系统特性保持一致。以此为依据，将图像软分割成前景区域(显著区域)和背景区域(非显著区域)能够更好地体现图像的层次关系。

对于彩色图像u:u=f+p，(u.f.p∈Ω)，其中：Ω是图像的像素空间，f是u的前景区域，p是u的背景区域。通过在变换域中获取u的符号[21]，然后将其反变换回空间域，可以近似地分离出f和p。为此，在CIE Lab空间中，定义图像签名如下：

Is(ui)=sign(DCT(ui))

(5)

式(5)中,i∈(L,a,b)，sign(·)为符号函数，DCT(·)为离散余弦变换。文献[22]中，利用图像签名进行图像前景和背景分割的步骤如下：

(2)通过高斯核函数平滑(用于抑制由符号量化引入的噪声)Is′(u)得到图像签名标识符w，即

w=G*(Is′(u)∘Is′(u))

(6)

式(6)中，G为高斯核函数，w为图像标识符，其元素反映了图像对应像素的显著性。∘为Hadamard乘积运算符，*为卷积运算。

(3)利用图像标识符w得到图像u的前景区域f和背景区域p，即

(7)

式(7)中，j∈(R,G,B),.*为点乘运算。

图4所示为不同方法得到的显著检测区域、前景区域和背景区域的对比结果。其中，(a)为内容图像，(b)为文献[21]方法得到的显著区域(视觉引导图)，(c)为文献[21]方法利用图4(b)得到的前景区域，(d)为文献[21]方法利用图4(b)得到的背景区域。4(e)为文献[22]方法得到的显著区域(图像签名标识符)，(f)为文献[22]方法利用图4(e)得到的前景区域，(g)为文献[22]方法利用图(e)得到的背景区域。由图4(a)可以看出，内容图像的前景区域为中间部分延伸到右上角区域清晰的白色花束，图像的背景区域为其余部分。以此为依据，对比两种不同方法得到的图像前景区域和背景区域。由图4(b)可知，文献[21]的方法得到的显著区域仅仅局限于橙红色部分，它并不能较好地体现内容图像的显著区域。图4(c)和图4(d)进一步验证了该方法的局限性，即图4(c)体现的前景区域与主观分析得到的前景区域存在较大差异。相较而言，由图4(e)可知，文献[22]的方法得到的显著区域(亮度较大的区域)更加符合人类视觉系统特性。图4(f)和图4(g)进一步验证了该方法的有效性，即图4(f)体现的前景区域较好地与主观分析得到的前景区域保持了一致。图4所示实验表明，文献[22]方法得到的前景区域和背景区域能够更好地体现图像的层次关系。因此，本文采用文献[22]方法将内容图像分割成不同的区域再进行颜色传递，能够让结果图像更好地保持内容图像的层次感。

图4 不同方法得到的显著检测区域、前景区域和背景区域。Fig.4 Salient detection region, foreground region and background region obtained by different methods.

3.3 最优传输颜色传递

颜色传递可以认为是两幅图像间的某种特殊映射，即将参考图像的颜色分布映射至内容图像，使内容图像在保持自身几何结构的同时具有参考图像的颜色分布。在概率意义下，彩色图像可以近似地视为3维高斯随机变量[5,23]。假定在色彩传递过程中，内容图像t和参考图像s其对应的概率密度函数分别为M(t)和M(s)，映射函数为π，则颜色传递中的映射关系[21]可以定义如下：

(8)

式(8)中，π[t]与s理论上具有相似的颜色分布，并且有

π[t]=t*φ+ζ

(9)

式(9)中，φ是一个3×3的传递矩阵，ζ为待定参数，det(·)是行列式运算符。由式(9)可知∇π(t)=φ，且对应的|det∇π(t)|为大于0的常数，由此可得

M(t)∝M(π[t])

(10)

一般而言，图像的概率密度函数可以用高斯核函数近似地估计[23]，即

(11)

(12)

式(11)和式(12)中，μ=(μL,μa,μb)为图像各颜色分量的均值，σ=(σL,σa,σb)为图像各颜色分量的协方差矩阵。为了使式(10)成立，则由式(8)、(9)、(11)、(12)可得：

π[t]=(t-μt)*φ+μs

(13)

然而，由上述关系得到的传递矩阵φ的结果并不唯一，且由该方法得到的结果图像存在映射结果与预期不符以及视觉效果较差等问题。

为了较好地解决上述问题，文中引入Monge-Kantorovich最优传输理论[24]，设计了新的颜色传递能量函数，以期得到更好的结果。Monge-Kantorovich最优传输的优点在于可以找到一种映射T以尽可能地减小两个概率分布之间的距离，即

(14)

式(14)中，传输变换为T:X→Y,η(随机变量X,Y，x∈X,y∈Y)为给定的损失函数，T(x)为映射后的分布，z(x)为X的分布函数。式(14)可以让分布T(x)和分布y之间的距离最小。

为了让映射后的颜色概率分布与参考颜色概率分布更为接近，本文借助式(14)设计了新的颜色传递能量函数(损失函数η采用欧式距离来近似)。即

(15)

式(15)中，π[t]为映射后的图像，Ω是图像的像素空间，M(t)是内容图像的概率密度函数。采用式(15)进行颜色传递的优点主要有：

(1)最优传输的解是凸函数的梯度[24]，意味着亮暗区域的关系在映射后保持不变，如此能够解决映射与预期不符的问题。

(2)解是凸函数的梯度，则φ必须是正定对称的，从而φ存在唯一确定解，如此可以避免颜色传递结果不确定的问题。

最后，需要说明的是，通过最小化能量函数得到的传递矩阵为φ的解[25]为。

.

(16)

3.4 保持亮度的传递策略

一般而言，亮度信息是彩色图像最重要的内容之一，它不仅能够体现图像的明暗对比关系，而且还可以反映图像的层次感、细节、梯度和纹理等重要特征。然而，在颜色传递过程中，内容图像和参考图像的亮度信息往往差异较大，容易造成结果图像出现层次感不足、对比度失衡以及部分细节丢失等问题。为此，本文设计了一种保持内容图像亮度的传递策略。设内容图像前景区域和背景区域的亮度分量分别为Lt,f和Lt,p，分区域颜色传递完成后的前景区域和背景区域分别为π[t](Lf,af,bf)和π[t](Lp,ap,bp)。为了让结果图像能够更好地保持内容图像的细节信息，在前景区域(或背景区域)颜色传递完成后，将对应结果的亮度分量替换为内容图像原始前景区域(或原始背景区域)的亮度分量，即亮度保持后的前景区域和背景区域分别为π[t](Lt,f,af,bf)和π[t](Lt,p,ap,bp)。最后，再将亮度保持后的前景区域π[t](Lt,f,af,bf)和背景区域π[t](Lt,p,ap,bp)进行合成，得到颜色传递结果图像r(Lt,f+p,af+p,bf+p)。如此，能够让结果图像在具有参考图像颜色的基础上更好地保持内容图像的细节特征。

图5所示为本文方法的颜色传递结果。由图5(c)可以发现，相较于图1(c)所示Reinhard方法的实验结果，本文方法得到的结果图像其层次感更加接近于内容图像，并且整体视觉效果有较大的提升；对比图5(d)和图1(e)可以发现，本文方法得到的结果图像明显更好地保持了内容图像的细节、纹理等信息(如雨痕、墙上的斑点等)。

图5 新颜色传递方法结果示例图Fig.5 Example of new color transfermethod result

为了进一步说明亮度保持策略的有效性，文中还增加了部分对比试验。图6所示是不同方法所得结果图像和亮度分量的对比图。由图6(c)～(e)可以看出，与图(a)相比较，文献[4]、文献[7]和文献[13]方法所得结果图像的亮度分量都不同程度地存在对比度失衡、细节丢失以及层次感保持不足等问题。图6(f)～(i)中对应的结果图像进一步反映了上述方法存在的问题。相较而言，由图6(e)和图6(i)可知，本文方法所得结果图像在具备参考图像颜色的同时又较好地保持了内容图像的对比度、细节、梯度以及层次感等关键信

图6 不同方法所得结果图像及亮度分量对比Fig.6 Contrast of images and luminance components obtained by different methods

息。这主要是由于本文方法在颜色传递过程中采用了亮度保持策略，从而能够让结果图像更好地保持内容图像的重要特征。

4 颜色传递评价指标

目前，颜色传递方面并没有公认的客观评价指标。部分学者采用特征相似度[26](FSIM)、平均绝对差(MAD)和颜色差异等客观评价指标来衡量结果图像的质量。理论上，结果图像应该在保持参考图像颜色的基础上很好地保持内容图像的几何结构。因此，评价颜色传递结果图像的质量应该综合以上两个方面的因素。为此，本文在综合考虑了颜色保持和结构保持的基础上，利用改进的色差模型[27]和改进的结构相似度[28](GSSIM)设计了一种新的颜色传递客观评价指标CSP，即

(17)

式(17)中，t为内容图像，s为参考图像，r为结果图像，ε为调节参数。Cc为基于色差模型的色彩差异，Cg为基于梯度的结构相似度(GSSIM)。以下是对Cc和Cg的详细介绍。

一方面，为了更好地评估结果图像对参考图像的颜色保持程度，文中利用基于色差模型[27]的色彩差异Cc来计算参考图像和内容图像间的颜色差异，并以此评价它们二者间的颜色相似程度。经典的色差模型[27]定义如下：

(18)

式(18)中，ΔE是色差，ΔL、ΔC和ΔH分别是CIE Lab空间中两幅彩色图像的亮度差、色度差和色相差，sL、sC和sH分别是亮度、色度和色相分量的权值函数，kL、kC和kH值是调优参数，RT是色差拟合参数。式(18)中部分变量见式(19)。

.

(19)

由于经典的色差ΔE是通过图像间的点运算得到的，非常容易受到图像结构的影响，因而模型(18)通常仅适用于结构相同的两幅图像。一般而言，颜色传递中的参考图像与结果图像其结构存在较大差异，因此利用经典的色差ΔE来评估结果图像对参考图像的颜色保持程度，其效果并不理想。针对此问题，本文对经典的色差模型进行了改进，使其可以用于不同结构图像间的色差评估。

首先，鉴于文中3.4节已经证明了保持内容图像亮度的重要性，因此在结果图像和参考图像间进行色差评估时不再考虑亮度分量。其次，考虑到点运算容易受到图像结构的影响，因此采用全局统计量(均值)来计算色度差ΔC′和色相差ΔH′。即

(20)

(21)

调优参数的均值，RT是色差拟合参数的均值。当两幅图像间的颜色差异较大时，则Cc较大；反之，则Cc较小。

另一方面，文中引入文献[28]的基于梯度的结构相似度(GSSIM)来计算Cg以更好地评价结果图像对内容图像的结构保持程度。GSSIM指标在传统的SSIM指标基础上还引入了梯度信息，能够更充分地考虑图像中诸如纹理、细节和边缘等重要特征，因而可以更好地评价两幅图像在结构上的相似程度。由于GSSIM通常用于灰度图像间的结构相似度计算，因此定义结果图像r与内容图像t的结构相似度为：

(22)

式(22)中，

(23)

式(23)中，k∈(R,G,B)，lk(r,t)为图像各通道的相似参数，δ1=0.01，δ2=0.03，δ3=0.015，μk,r、μk,t分别为各通道的均值，σk,r、σk,t分别为各通道的标准差，φk(r,t)、φk,g(r,t)分别为各通道的对比度相似参数和结构相似参数，gk,t(i,j)和gk,r(i,j)分别为各通道中原图像t和结果图像r在(i,j)处的梯度模值。由式(22)可知，当两幅图像间的结构差异较大时，Cg较小；反之，则Cg较大。

需要说明的是，本文所提颜色传递评价指标CSP可以直接从数值上来体现颜色传递的综合效果。实际上，式(17)所述CSP指标中的Cc(颜色评价指标)越小，说明结果图像对参考图像的颜色保持程度越高；而式(17)中的Cg(结构评价指标)越大，说明结果图像对内容图像的结构保持程度越好。因此，CSP的值越大说明颜色传递的综合效果越好，反之则越差。相对于传统的FSIM[27]、MAD等客观评价指标，颜色传递评价指标CSP可以同时兼顾结果图像对参考图像的颜色保持程度和结果图像对内容图像的结构保持程度。因而，CSP指标能够比传统评价指标(FSIM和MAD)更加全面地衡量颜色传递的综合效果。

5 实验分析

5.1 实验结果比较

为了验证所提颜色传递方法的有效性，文中将其与近年来的部分方法(文献[4]Reinhard方法，文献[8]Xiao方法，文献[21]Xia方法，文献[11]Li方法，文献[14]Grogan方法)进行了比较。文中涉及的所有程序均在MATLAB 2019a环境下运行，实验平台为：Intel(R)Corei5-5200U、2.2 GHz主频、4 G内存、Win10操作系统。图7所示是不同方法进行颜色传递的结果比较，第1列～第5列分别是5组不同的颜色传递实验。

由图7所示的实验结果可以看出：(1)Reinhard方法存在层次感保持不足(如图(c2)、(c4)和(c5)所示，它们与内容图像的层次感存在较大差异)、细节丢失(如图(c1)、(c4)和(c5)所示的绿色矩形区域没有较好地保持内容图像对应区域的细节信息)以及颜色不和谐(如图(c1)的红色矩形区域和图(c3)的绿色矩形区域)等问题；(2)Xiao方法存在层次感保持不足(如图(d2)～(d5)都没有很好地体现内容图像的层次感)、颜色不和谐(如图(d1)～(d3)的红色矩形区域)和细节丢失(如图(d1)、(d4)和(d5)的绿色矩形区域)等问题；(3)Xia方法存在层次感保持不足(如图(e2)和(e3))和细节丢失(如图(e1)、(e4)和(e5)的红色和绿色矩形区域)等问题；(4)Li方法不能很好地保持参考图像的颜色信息(如图(f1)～(f5)所示结果图像的颜色与参考图像的颜色存在较大差异)；(5)Grogan方法存在层次感保持不足(如图(g2)中近处草地上的花丛与远处的山峰几乎混为一体，没有很好地体现内容图像对应区域原有的层次关系，颜色过渡不自然(如图(g1)背景区域的山体和近处山体间的颜色过渡，(g5)的绿色矩形区域)和细节增强过度(如图(g3)背景区域的细节信息被过度增强，与内容图像的对应区域存在较大差异)等问题；(6)由图(h1)～(h5)可以发现，相较而言，本文方法得到的结果图像在层次感保持、细节保持和颜色保持等方面均有更好的表现，并且没有出现诸如颜色不和谐、颜色过渡不自然以及细节过度增强等问题。上述实验结果表明，本文所提方法得到的结果图像其整体质量明显优于其他方法。

图7 不同风格图像的实验结果Fig.7 Experimental results of different style images

5.2 客观评价

为了进一步证明所提新方法的有效性，文中利用特征相似度(FSIM)、平均绝对差(MAD)指标以及第4节新设计的CSP指标对图7所示的5组实验结果进行了评估。不同指标的评估结果如表1所示。需要说明的是：表1中的Cc是色彩差异，其值越小则表明两幅图像的颜色越接近；Cg是结构差异，其值越大表明两幅图像在结构上越相似； CSP是文中新设计的颜色传递评价指标，其值越大说明颜色传递的综合效果越好。

表1 客观评分Tab.1 Objective scoring

续 表

由表1可知：(1)在结果图像对参考图像的颜色保持方面(Cc)，本文方法取得了较好的效果；(2)在基于梯度的结构相似度方面(Cg)，本文方法在5组对比实验中均优于其他方法，这主要是由于文中新方法采用了最优传输理论以及内容图像的亮度保持策略，如此可以更好地保持内容图像的结构；(3)在综合效果方面(CSP)，本文方法在5组对比实验中均优于其他方法，这说明文中所提新方法在保持参考图像颜色的同时能够兼顾内容图像结构的保持。另外，在特征相似度(FSIM)、平均绝对差(MAD)指标方面，本文方法亦取得了更加理想的效果。表1所示实验结果说明，本文方法所得结果图像在对参考图像的颜色保持方面和对内容图像的结构保持方面表现更优。

5.3 主观评价

为了验证本文所提评价指标CSP的有效性以及更全面地评价不同方法所得结果图像的质量，本文进一步采用颜色传递方面最常用的主观评分方式对图7所示不同方法的结果图像质量进行评价。为此，随机选择了30位志愿者(15位男生和15位女生)对上述实验结果从颜色保持、结构保持和整体视觉效果3方面进行了10分制综合评分(每种方法的最终得分为30位志愿者评分的均值，分数越高表示效果越好)，最后的评分结果如表2所示。由表2可知，本文方法所得主观评分均高于其他方法，这与表1所示的CSP评价结果保持了较高的一致性。

表2 主观评分 Table 2 Subjective scoring results

值得注意的是，从表1和表2所示结果来看，特征相似度(FSIM)、平均绝对差(MAD)指标用于评价颜色传递的效果并不十分理想。首先，第1组和第4组实验中，Li方法和本文方法所得结果图像的FSIM值非常接近，然而结合图7所示结果((f1)和(h1)，(f4)和(h4))以及表2的主观评分可以发现，Li方法((f1)，(f4))在颜色保持方面存在明显的不足，其所得结果图像的综合效果远不及本文方法((h1)，(h4))。其次，由表1的FSIM列数据可以看出，5组实验中不同方法得到的FSIM值十分接近，其区分度非常小。然而，比较图7所示第2组实验中的(g2)和(h2)、第3组实验中的(c3)和(h3)、第4组中的(d4)和(h4)以及第5组的(d5)和(h5)可以明显看出，本文方法所得结果(h2)、(h3)、(h4)和(h5)在保持内容图像特征方面要分别优于(g2)、(c3)、(d4)和(d5)；由表1的MAD列数据可以看出，Li方法与本文方法以及Grogan方法得到的MAD值较为接近，但3种方法得到的结果图像存在较大差异。因此，利用特征相似度(FSIM)、平均绝对差(MAD)指标并不能很好地评价颜色传递结果图像的优劣。

另外，文中所提颜色评价指标Cc是对参考图像和结果图像的色相和色度两个方面进行差异评估，其值可以较好地体现两幅图像的颜色相似程度。如表1的Cc列数据，Li方法所得结果图像在5组实验中的Cc值均较大，说明其颜色保持能力较弱；而本文方法所得结果图像的Cc值均较小，说明其颜色保持能力较强。这一点在图7所示的实验结果中得到了充分的验证，即Cc值能够较好地体现结果图像对参考图像颜色的保持程度。文中所提结构评价指标Cg在SSIM基础上添加了边缘保持的能力检测，其值可以更充分地反映结果图像和内容图像结构间的差异。如表1中的Cg列数据,本文方法和Li方法所得结果的Cg值明显优于其他方法，从图7中的实验结果也可以看出这一点。考虑到Cc和Cg仅仅是基于颜色保持和结构保持的单一性指标，因此本文结合颜色评价指标Cc和结构评价指标Cg提出了颜色传递综合评价指标CSP。由表1所示结果可以看出，不同方法所得CSP值有明显区别，并且与表2所示的主观评分和结果图像的整体视觉效果保持了高度一致，这较好地说明了本文所提颜色传递综合指标CSP的有效性。综上可知，相对特征相似度(FSIM)、平均绝对差(MAD)指标而言，文中所提综合评价指标CSP能够对颜色传递结果图像的质量作出更为合理的评价。

由表1所示的客观评价结果和表2所示的主观评价结果可知，相较于传统颜色传递方法，本文所提新方法能够取得质量更高的颜色传递结果，新方法的综合效果(CSP)较传统方法平均提升了30%。

6 结 论

为了提高颜色传递的效果，本文提出一种结合图像签名和最优传输的颜色传递新方法。首先，为了提高结果图像的层次感，引入基于图像签名的显著区域检测算法。其次，为了让结果图像较好地保持内容图像的纹理、梯度以及细节等重要特征，本文利用最优传输理论设计了一种保持内容图像亮度的颜色传递策略。另外，本文还设计了一种新的颜色传递评价指标用于颜色传递效果的评估。大量实验表明，相比于传统的颜色传递方法，本文所提新方法能够得到质量更高的结果图像。并且，新的颜色传递客观评价指标较传统评价指标更为合理和有效。现阶段，深度学习技术被广泛用于图像处理领域的各个方面。虽然基于深度学习的图像处理方法通常涉及的训练时间较长且网络结构较为复杂，但是此类方法往往可以取得较好的效果。因此，如何结合深度学习技术研究简单高效的颜色传递方法是今后的重点。