基于反射模型的本征图像分解

廖斌++李晓屯

摘 要：针对传统本征图像分解无法获取完整的解决方案的问题。该文提出一种基于深度的图像本征分解方法，首先，采用迭代法进行镜面高光分解以获取镜面反射明暗图，并且计算图像中光照的颜色和色度，然后结合深度信息和光源位置进行漫反射分解，从而得到漫反射色明暗图和反射率图，进而完成本征图像分解。实验结果表明，与相关工作相比较，该方法能够比较彻底地对图像地进行分解，分解所得的反射率效果图像更为令人满意。

关键词：图像处理 本征图像分解 高光分解 漫反射分解

中图分类号：TP39 文献标识码：A 文章编号：1674-098X（2017）06（b）-0154-04

Intrinsic Images DecompositionBased on Reflection Model

Liao Bin Li Xiaotun

（Hubei University， College of Computer and Information Engineering， Hubei， Wuhan， 430062）

Abstract：Aiming at the problem that traditional intrinsic images decompositioncan not obtain a complete solution. In this paper， we propose a depth-based intrinsic images decomposition method. First， we use the iterative method to separate the specular component from the input image to obtain specular shading， and calculate the color and chroma of the light in the image， and then using the extracted depth map and the initial estimated light information toextract the diffuse shading imageand albedoimage， and then complete the intrinsic images decomposition. The experimental results show that compared with the related work， the method can decompose the image completely and decompose the image of the reflectivity effect is more satisfactory.

Key words：Image processing； Intrinsic imagesdecomposition； Specular component separation； Diffuse component decomposition

總所周知，本征图像分解是图像处理和计算机视觉领域中的一个热点问题，即给定一幅图像，能够分解得到对应的反射率本征图和明暗度本征图。传统的本征图分解算法一般是近似地模拟人类视觉系统光照的稳定性，从而得到不错的分解图像，值得说明的是该类方法忽略了人的视觉系统中对深度的辨析能力。因此，如何更好地进行本征图像分解仍然是一个具有挑战性的课题。

由于本征图像的符号是在文献[1]中首次引入，许多本征图像分解方法已经开发出来。一些方法[2-4]基于图像梯度或结构配置分解图像，该类方法认为类似的反射率可能有相似的像素梯度或结构配置。一些方法应用图像材料颜色的稀疏先验对图像分解[5]。例如，文献[6]第一次执行分段图像压缩抑制明暗变化，然后基于图像聚类分解图像。作为自动方法有时对于复杂的场景难以产生满意的结果，为了提高分解精度，用户交互也已纳入图像分解[7]。如果深度信息或点云对于图像是可用的，分解精度也可以大大提高[8]。在该文中，采用文献[9]的方法从单一图像中推断深度图，该文结合图像的深度信息提出了一种新的图像分解方法。

基于图像的重光照工作是为了使用之前获取的图片产生新的照明条件下的自然场景图像。基于图像的重光照不需要估计场景的材料和几何结构，这很方便生成新的图像。许多基于的重光照方法被提出了，详情请参见文献[10]。例如，Debevec等人[11]提出了一种方法来呈现任意光照条件下的人脸。他们使用灯光舞台对面对入射光方向的人脸采样下捕获的图像集，并且这些采样图像对每个可观测的图像像素用于构建一个反射函数图像。面对新的照明条件下的图像可以根据这些反射函数生成。一个场景的外观可以从光的传输计算。对于一个几何结构，反射属性，和照明环境都是难以获取的真实的图像，光传输的影响可以从在不同的光照条件下展示图像外观的图像集中推断出来。最近，Ren等人[12]提出了一个神经网络回归方法用于对少量图像中的真实场景进行重光照。重光照是场景的光照传播矩阵和新光向量的计算结果，而光传输矩阵是由图像集重构。尽管基于图像的重光照可以产生视觉上较好的结果，这些方法需要输入图像集，有时需要额外的图像捕获装置。

2 本文方法

根据输入图像的光照效果，利用反射模型（见图1），本文将输入图像分解成三个图片：镜面反射明暗图，漫反射明暗图和反射率图。首先从图像中提取镜面反射明暗图，然后将剩余图像分解为漫反射明暗图和反射率图，进而得到本征图像分解。

2.1 高光部分分离

高光存在于大多数真实图像，本节使用了一种基于色度的高光去除技术[13]从输入图像分离出镜面反射部分并且估计多个光源的色度。Neverova等人[14]改进了高光去除方法[13]并且使用迭代的方式估计的灯光颜色和色度。具体地说，对于输入图像，首先假设光源是白色的，然后运行的算法[13]分离镜面反射部分。然后，估计场景中光源的色度作为镜面反射像素的平均色度。最后，将原始图像正则化于光源估计值，并重新计算镜面高光部分。重复前面的过程（高光去除、光照色度估计、使用光源色度估值对镜面高光部分重新计算），直到估计出的光源色度不再变化，得到最终的高光部分和光源色度估计。在图2的实验中，该文发现5迭代就足够了。高光部分分离，即镜明暗图，如图3，将用于光线位置估计过程并且估计的光源颜色可以在在照明编辑中编辑。

2.2 漫反射分解

从输入图像去除高光部分后，可以得到了漫反射图像。现在进一步将漫反射图像分解为漫反射明暗图和相应的反射率图。我们可以改进一个基于深度的本征图像分解方法，它使用提取的深度图和初始估计的光信息来提取漫反射明暗图和反射率图。然后，利用分解本征图像，可以进一步优化光的颜色和位置。

本征图像分解可以表示为。其中，I表示输入图像，s表示光照分量（漫反射明暗图）并且R是反射率。同时，当分解图像时需要考虑场景深度和光源位置L。具体本征图像分解如下：

首先，使用文献[5]中描述的修改后的自动分解方法得到原始的本征图像s和R，最小化目标函数如下：

（1）

其中，是衡量像素和之间反射率的相似度，是YUV颜色空间中通道的强度值，是像素的邻域。通过解这个最小二乘问题，可以得到原始的本征分解图像和。

然后将场景深度和灯源的位置（在下一节中解出）作为约束条件添加到式（1）中就会得到更准确的结果。分解函数根据如下先验定义：（1）具有相似深度值的相邻像素在相同光源下通常有类似的明暗值；（2）具有相似强度值的像素具有相似的反射率值；（3）表面点也有类似的距离总和每个光源本身将分享类似的阴影值。这将鼓励整个场景的阴影平滑。然后制定以下能量函数，见公式（2）：

（2）

其中，衡量像素i和j之间深度值的相似度，νi，νj是点i，j在三维空间中的近似位置。是根据光源位置对明暗图的平滑项，是一个平衡因子。这里定义如下：

（3）

（4）

其中，和是点和的近似明暗度值，是物体表面点到场景中各光源的距离总和，是第个光源的3D位置，是表面点的3D位置，如图4。

通过最小化式（2）可以得到改进的分解结果。具体来说，使用一个迭代优化方法解决能量函数最小化问题。首先，将第一步中计算的R和s作为初始值。然后，根据约束从新计算s的值并且重新计算R和s。重复这一过程直到计算的明暗值s之间的变化值低于固定阈值。

3 实验分析

该文实验基于主频为2.3GHz CPU，内存为4G的计算机，同时采用VS2010和Matlab实现了该文所提出的算法。通过对一些不同场景内容下光照的退化图像的复原处理来表明该文算法的有效性。

图（5）中，（a）输入图像，（b）和（c）是相应的文献[5]中得出的反射率图和明暗图，（d）是高光部分分离，（e）和（f）是该文方法得到的反射率图和明暗图。由上图可以说明图像分解方法的有效性，同时与文献[5]的结果进行比较可以得知该文方法大大提高了反射率图像质量。

4 结语

该文提出了一种基于反射模型的本征图像分解法，首先，利用迭代法分解图像得到镜面反射明暗图，并且计算出图像中光照的颜色和色度，然后将图像的深度信息和光源位置引入到分解模型中，对漫反射图像进行分解，从而得到漫反射色明暗图和反射率图，从而完成本征图像分解。未来的研究方向是将本文所提出的基于反射模型的本征图像分解算法引入到图像渲染中，使得对单幅图像的光照渲染更加贴近于现实。

参考文献

[1] Barrow H G， Tenenbaum J M. Recovering Intrinsic Scene Characteristics from Images[J]. Journal of Fujian Commercial College， 1978.

[2] Tappen M F， Freeman W T， Adelson E H. Recovering intrinsic images from a single image.[J].Pattern Analysis & Machine Intelligence IEEE Transactions on，2005，27（9）：1459.

[3] Shen L， Tan P，Lin S.Intrinsic image decomposition with non-local texture cues[J]. Proc IEEE Cvpr，2008：1-7.

[4] Zhao Q，Tan P，Dai Q，et al.A Closed-Form Solution to Retinex with Nonlocal Texture Constraints[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2012，34（7）：1437.

[5] Shen L， Yeo C. Intrinsic images decomposition using a local and global sparse representation of reflectance[J].2011，32（14）：697-704.

[6] Bi S， Han X，Yu Y.An L 1 image transform for edge-preserving smoothing and scene-level intrinsic decomposition[J].Acm Transactions on Graphics，2015，34（4）：1-12.

[7] Bousseau A，Paris S，Durand F.User-assisted intrinsic images[J].Acm Transactions on Graphics，2009，28（5）：89-97.

[8] Chen Q，Koltun V.A Simple Model for Intrinsic Image Decomposition with Depth Cues[C]//.International Conference on Computer Vision.2013.

[9] 朱堯，喻秋.基于非参数化采样的单幅图像深度估计[J].计算机应用研究，2016，7（33）：78.

[10] Choudhury B，Chandran S.A Survey of Image-based Relighting Techniques[C]//GRAPP.2006.

[11] Debevec P，Hawkins T，Tchou C，et al.Acquiring the reflectance field of a human face[C]//.Conference on Computer Graphics and Interactive Techniques.2000.

[12] Ren P，Dong Y，Lin S，et al. Image based relighting using neural networks[J].Acm Transactions on Graphics，2015，34（4）：1-12.

[13] Shen H L， Cai Q Y.Simple and efficient method for specularity removal in an image[J].Applied Optics，2009，48（14）：2711.

[14] Neverova N，Muselet D，Trémeau A.Lighting Estimation in Indoor Environments from Low-Quality Images[M]//Computer Vision–ECCV 2012.Workshops and Demonstrations. Springer Berlin Heidelberg，2012：380-389.