基于非局部邻域的图像重新着色*

邵靖凯，厉旭杰，沈顺辉

(温州大学 物理与电子信息工程学院，浙江 温州 325035)



基于非局部邻域的图像重新着色*

邵靖凯，厉旭杰，沈顺辉

(温州大学 物理与电子信息工程学院，浙江 温州 325035)

提出了一种新的基于非局部邻域的图像重新着色方法。首先提出了非局部彩色线性模型，然后构建了高维特征空间查找非局部邻域，最后将提出的非局部彩色线性模型最优化问题归结于求解稀疏矩阵。该算法继承了全局和局部邻域色彩传播方法的优点，既能实现全局色彩传播，即使当需要重新着色的像素离涂色线条距离较远时，也能实现局部或者直接的选择控制。与现有的采用全局或者局部邻域色彩传播的方法相比，该算法仅需要输入少量的用户涂色线条即可产生高质量的重新着色效果。

图像重新着色；非局部彩色线性模型；色彩传播

0 引言

图像重新着色技术是指通过改变图像的颜色来改变图像的原有风格，达到某种特定的彩色效果的处理过程[1]。目前，实现图像重新着色的技术可以粗略地分为基于参考图像的颜色迁移方法和基于线条涂色的颜色扩散方法[2-3]。本文主要研究基于线条涂色的颜色扩散方法。按照传播邻域像素的分布，基于线条涂色的颜色扩散方法可以粗略地分为局部邻域传播和全局邻域传播的两种方法。基于局部邻域传播的方法具有代表性的是Levin等人[4]的工作。Levin等人假设相邻近像素间的颜色是平滑的，提出了一个能量最优化模型。当用户输入足够多的涂色线条的情况下，该方法能产生高质量的重新着色效果。之后，Yatziv等人[5]提出基于测地线距离融合的重新着色方法，Fattal等人[6]把小波变换技术引入了图像编辑方法，Bhat等人[7]建立了梯度域的能量最优化框架用于图像编辑。

基于全局邻域传播的重新着色方法能实现全局色彩传播，即使当需要重新着色的像素离用户输入涂色线条距离较远时，色彩也能很好地进行传播。因此该方法对基于局部邻域传播的重新着色方法进行了很好的补充。Musialski等人[8]提出了非局部邻域主域保持的编辑距离算法。与基于局部邻域传播的重新着色方法相比，基于全局邻域传播的重新着色方法能实现全局的色彩传播，因此可以减少用户输入的涂色线条数量，但是该方法缺少局部或者直接的选择控制，当两个相似的颜色被涂色成不同颜色时，会造成色彩混合而出现错误。

先前基于局部邻域传播和基于全局邻域传播的重新着色方法分别存在着相应的限制。因此，本文提出一种新的基于非局部邻域的图像重新着色方法。该方法既能实现全局的色彩传播，又能实现局部或者直接的选择控制。该算法包含两个创新点：提出了非局部彩色线性模型能量最优化模型，以及构建了非局部邻域查找的特征空间。本文提出的算法扩展了先前的研究[9]，目标是尽可能减少用户输入的涂色线条，同时能产生高质量的重新着色效果。

1 算法思想

假设：特征空间中相似的非局部邻域，重新着色后应具有相似的颜色值。基于这个假设，给出了每个像素的非局部邻域满足如下的彩色线性模型：

(1)

式中，(α,β)是线性系数，I是输入图像，C为色彩通道，Ni是像素i的非局部邻域，U为颜色对立维度通道a或者b(采用Lab色彩空间)。算法非常关键的一个步骤就是设计合适的特征空间，本文提出的特征空间包括了Lab色彩通道和空间坐标，特征空间F(i)定义如下：

F(i)=(L(i),a(i),b(i),γx(i),γy(i))

(2)

式中，L是图像Lab色彩空间的亮度值，a和b是图像Lab色彩空间的颜色对立维度，γ参数控制了非局部邻域的搜索范围。

通过基于非局部邻域的彩色线性模型，定义如下代价函数：

(3)

式中，ε为规则化参数。

线性系数(α,β)可以通过求解式(3)取得最小化代价函数获得。

(4)

式(4)能量最优化模型可以看做变量(αk,βk)的二次方程，可以通过对公式进行求一阶偏导数获得[10]，求解式(4)可以得到：

(5)

其中，非局部邻域的拉普拉斯矩阵Lnonlocal构建如下：

(6)

通过合并基于非局部邻域的彩色线性模型和用户输入的涂色限制，可以获得如下能量最优化方程：

J(U)=λ(U-G)TDS(U-G)+UTLnonlocalU

(7)

Ds为对角矩阵, 在该对角矩阵中，涂色线条像素对应的对角线上的值为1，其余对角线上的值为0。G对应为涂色线条的对立维度通道a和b。式(7)中第一项确保了重新着色后的颜色值和用户涂色线条的颜色值尽可能地接近，第二项保证了像素和其非局部邻域的相似性，使得已经涂色的像素通过非局部邻域进行色彩传播。参数λ用来调整这两项的平衡，算法实现中λ设置为1。式(7)中的J(U)是颜色对立维度U的二次方程，因此J(U)的全局最小值可以通过对颜色对立维度U的一阶偏导数为零求解得到。可以获得如下稀疏线性系统：

U=(Lnonlocal+λDs)-1λDsG

(8)

式(8)中Lnonlocal+λDs为稀疏矩阵求解，本文的算法选择通过高斯-赛德尔迭代法求解。

2 实验结果

图1显示了本文算法实现的各种重新着色效果，第一行为输入图像，第二行为本文算法实现的重新着色效果图。从图1可以看出，本文算法可以实现在少量用户输入条件下，实现高质量的重新着色效果。

图1 本文算法实现的各种重新着色效果

图2对比了本文算法与现有的基于局部邻域传播的重新着色方法的效果对比，从图中可以看出，Levin等人[4]的方法依据空间相邻像素间的相似性进行色彩传播，只能向空间邻近的平滑邻域进行色彩传播，因此在少量的涂色线条情况下，会产生严重的色彩渗透现象，必须进一步增加涂色线条的数量，才能产生高质量的重新着色效果。Li等人[9]的算法虽然在重新着色效果上优于Levin等人的算法，但是局限于局部邻域的颜色传播，当像素离涂色线条距离较远时(第二行重新着色效果)，重新着色的效果也存在与Levin等人的算法一样的缺陷。而本文算法能实现全局色彩传播，因此仅需要输入少量的用户涂色线条，就能产生高质量的重新着色效果。

图2 与基于局部邻域传播的重新着色方法的效果对比

图3对比了本文算法与基于局部邻域传播的重新着色方法在完成类似效果所需要的用户涂色线条的数量。从图3中可以看出，Levin等人[4]基于局部相似性的算法需要输入大量的用户涂色线条才能产生高质量的重新着色效果，而Fattal等人[6]的算法和Bhat等人[7]的算法均是基于图像边缘检测基础上的重新着色方法，因此无法对两个独立的区域进行色彩传播，本质上都是属于局部邻域像素的颜色传播，因此涂色线条上的颜色无法进行远距离的色彩传播。而本文算法则不受局部邻域传播方法的限制，图3证明了本文算法所需要的输入涂色线条要明显少于基于局部邻域传播的重新着色方法，大大减少了用户的劳动力。

图3 与基于局部邻域传播的重新着色方法对比完成类似效果所需要的用户涂色线条的数量

图4对比了本文算法与基于全局邻域传播的重新着色方法的效果对比，基于全局邻域传播的重新着色方法能实现全局的色彩传播，但是该方法缺少局部或者直接选择控制，当两个相似的颜色被涂色成不同颜色时，Musialski等人[8]的方法造成了色彩混合而出现错误，需要说明的是，即使用户输入足够多的涂色线条，基于全局邻域传播的重新着色方法仍旧存在这个限制。而本文提出的算法既能实现全局色彩传播，又能实现局部或者直接的选择控制。

图4 与基于全局邻域传播的重新着色方法效果对比

3 结束语

本文提出了一种新的基于非局部邻域的图像重新着色方法。该算法继承了全局和局部邻域色彩传播方法的优点，既能实现全局色彩传播，即使当需要重新着色的像素离涂色线条距离较远时，也能实现局部或者直接的选择控制。与现有的采用全局或者局部邻域色彩传播的方法相比，本文算法仅需要输入少量的用户涂色线条，就能产生高质量的重新着色效果。

[1] 陈颖, 李神速. 基于遗传算法的图像彩色化方法[J]. 计算机工程, 2011, 37(15):193-194.

[2] 李浩, 何建农. 结合蚁群和自动区域生长的彩色图像分割算法[J]. 微型机与应用, 2015, 34(16):36-42.

[3] 张自嘉, 岳邦珊, 潘琦,等. 基于蚁群和自适应滤波的模糊聚类图像分割[J]. 电子技术应用, 2015, 41(4):144-147.

[4] LEVIN A, LISCHINSKI D, WEISS Y, Colorization using optimization [J]. ACM Trans Graph, 2004, 23(3):689-694.

[5] YATZIV L, SAPIRO G. Fast image and video colorization using chrominance blending[J].Trans Img Proc,2006,15(5):1120-1129.

[6] FATTAL R. Edge-avoiding wavelets and their applications[J]. ACM Trans Graph, 2009, 28(3):1-10.

[7] BHAT P, ZITNICK C L, COHEN M, et al. GradientShop: A gradient-domain optimization framework for image and video filtering [J]. ACM Trans Graph, 2010, 29(2):1-14.

[8] MUSIALSKI P, CUI M, YE J, et al. A framework for interactive image color editing [J]. Vis Comput, 2013, 29(11):1173-1186.

[9] HUANG H, LI X, ZHAO H, et al. Manifold-preserving image colorization with nonlocal estimation [J]. Multimedia Tools and Applications, 2015, 74(18):7555-7568.

[10] 高明, 邹耀斌, 雷帮军,等. 噪声干扰下的雾天降质图像增强方法[J]. 微型机与应用, 2016, 35(6):39-47.

Littelfuse推出首款专为本质安全防护设计的密封表面贴装保险丝业内唯一一款达到UL 913认证标准的表面贴装保险丝

Littelfuse, Inc.，作为全球电路保护领域的领先企业，近日宣布推出了专为设备本质安全防护设计的首款密封表面贴装保险丝，这类设备旨在用于危险场所和爆炸性环境内部或附近，并且通过了UL 913标准认证。在过流和短路条件下，PICO®304系列表面贴装保险丝主体外厚1 mm的密封层将最大限度地减少所产生的热量，并遏制保险丝组件内部的火花或弧闪，避免其接触环境中的潜在爆炸性气体或粉尘。由于采用此类封装，因此无需为印刷电路板或组件加上灌封或涂层，节约生产时间与成本，从而降低最终产品的成本。

(Littelfuse 供稿)

Image recoloring based on nonlocal neighborhood

Shao Jingkai, Li Xujie, Shen Shunhui

(College of Physics & Electronic Information Engineering, Wenzhou University, Wenzhou 325035, China)

A novel nonlocal image recoloring approach is proposed. Firstly, a nonlocal color linear model optimization assumption is designed. Next, the nonlocal principle by computing K nearest neighbors in the high-dimensional feature space is implemented. Finally, the nonlocal color linear model optimization can be attributed to solve a sparse linear system. Our nonlocal color linear model optimization inherits the advantages of global and local color propagation methods, which can propagate color cues in global manner, also can propagate color to relatively far from the provided color line, while our approach can provide the user with good local control. Compared with the state-of-the-art methods, our approach can produce higher-quality results with only a small amount of user interaction than those only consider local propagation or global propagation approaches.

image recoloring; nonlocal color linear model; color propagation

国家级大学生创新创业训练计划项目 (201610351019)； 温州大学实验室开放项目(16SK34A)； 浙江省自然科学基金 (LQ14F020006)

TP301.6

A

10.19358/j.issn.1674- 7720.2017.13.015

邵靖凯，厉旭杰，沈顺辉.基于非局部邻域的图像重新着色[J].微型机与应用，2017,36(13)：49-51.

2017-02-06)

邵靖凯(1998-)，男，本科，主要研究方向：图形图像处理技术，高性能并行计算。

厉旭杰(1981-)，男，通信作者，高级实验师，CCF高级会员，主要研究方向：图形图像处理技术，高性能并行计算。E-mail:lixujie101@aliyun.com。