基于材质稀疏的人脸本征分解

郑期尹

（四川大学计算机学院，成都 610065）

ZHENG Qi-yin

（College of Computer Science，Sichuan University，Chengdu 610065）

基于材质稀疏的人脸本征分解

郑期尹

（四川大学计算机学院，成都 610065）

本征图像分解是图像处理中的一个经典问题，给定一幅图像，需要分解出对应的材质本征图和光照本征图。本征分解得到的材质图和光照图可作为高层视觉算法的输入，如物体识别。通过引入材质稀疏先验，恢复人脸的材质图与光照图，并利用MATLAB编程给出算法的实验结果。

本征分解；材质稀疏；人脸

0 引言

恢复本征图像的任务是将给定的输入图像分离成材质相关的被称为反照率或反射率的性质以及诸如阴影、光照、镜面高光等光的性质，这些属性的成功分离将有益于许多计算机视觉任务。本征分解所获得的材质图像往往可以作为高层视觉的输入，例如，移除图像中的光照和阴影可以极大地提高人脸识别算法的正确率，提高图像分割的准确率。如在该领域的大多数先前工作中，我们将人脸本征图像恢复问题转换为以下简化形式，其中每个图像像素是两个分量的乘积：

这里I是RGB空间的像素颜色，s是光照图，R是材质图。

本文工作的目的是建立一个简单但有效的阴影和反射率估计的概率模型。我们总共使用两种不同类型的因素。第一个是最常用的因素也是所有基于Retinex方法的关键成分，即提取真实反射率边缘的图像边缘，然后恢复仅包含这些边缘的材质图。（下一个因素是一个简单的相邻图像像素的光照平滑先验，）第二个是基于Omer[1]的发现提出的全局材质稀疏先验，Omer[1]已经表明，自然场景的图像通常仅包含几个不同的“基色线”。

1 相关工作

针对本征图像分解的研究，之前已有大量的工作，这里主要介绍与本文相关由Land[2]提出的Retinex算法。Retinex理论主要包含了两个方面的内容：物体的颜色是由物体对长波、中波和短波光线的反射能力决定的，而不是由反射光强度的绝对值决定的；物体的色彩不受光照非均性的影响，具有一致性。基本Retinex算法是一个两步过程：第一步是检测由反射率变化引起的所有图像梯度；第二步是恢复材质图，其中材质图保存第一步检测到的反射率梯度。这种方法的基本假设是小的图像梯度更可能由阴影引起，而大的梯度由反射率的变化引起。它的主要思想就是区分由光照变化和反射率变化引起的边缘。

2 本征图像分解概率模型

我们用下标i表示图像中位置i处的值，Ii是图像像素（3维向量），Ri是材质向量（3维向量），si是光照（标量），图片中的总像素数是N。我们重写Ri=riRid，其中Rid是Ri的方向向量，由公式（1）可知Rid=Ii/||Ii||，这样只需求出ri，光照可由si=||Ii||/ri计算。

2.1 概率模型

本文描述的能量函数包括线性组合的两个不同的项，我们将在下面更详细地描述这两个项及其影响。

梯度一致性（Eret）：假设我们已经知道在图像位置i，j的边缘是由反射率变化引起的，然后我们通过log（Ii）-log（Ij）=log（riRid）-log（rjRjd）知道出现在反射率图中的梯度的大小。

其中，g（I）为指定图像边缘的分类函数。对于每个像素i和相邻像素j，我们计算强度图像的梯度和色度变化的梯度，如果两个梯度都超过某个阈值，则i，j的边缘被分类为“反射率边缘”，则gij（I）=1。

全局材质稀疏先验（Ecl）：受Omer[1]的发现的启发，提出全局材质稀疏，将材质分成几个类簇。我们假设C个不同的反射率类簇，其中每个类簇由Rc表示，c∈{1，…，C}。每个ri属于这些类簇中的一个，用变量αi∈{1，…，C}表示其聚类成员，该项总结如下：

对于固定的α，该项在r中是凸的；对于固定的r，α是一个简单的分配问题。

2.2 算法实现

问题（3）包括离散和连续变量，我们使用坐标下降法解决它。算法总结如下：首先初始化r0=1，K均值聚类求出α0，令t=0。重复步骤①到③，直到E（rt-1，αt-1）-E（rt，αt）＜θ（θ为预设阈值）

①对固定的αt，通过（2）求出rt+1

②K均值聚类更新αt+1

③t=t+1

对于给定的固定的α，通过共轭梯度下降法更新r；对于给定的r，α的更新则是一个简单的分配问题。

2.3 实验结果

该算法的实验结果如下图：

图1

第一列（a），（e）是输入图像，第二列，第三列是输出图像，其中（b）、（f）是材质图，（c）、（g）是光照图。由图可看出该算法很好地分离了原始图像的材质属性和光照属性，效果明显。

3 结语

本文通过引入材质稀疏项构建新的本征分解概率模型，提出基于材质稀疏的人脸本征分解算法，并用MATLAB实现该算法。该算法得到的人脸材质图和光照图可用于高层视觉算法的输入，如用于人脸识别算法的输入，可提高识别的准确率。但我们发现在强光条件下该算法的效果不够稳定，这也是下一步要解决的问题。

[1]I.Omer，M.Werman.Color Lines:Image Specific Color Representation.In IEEE Conference on Computer Vision and Pattern Recognition（CVPR），2004.

[2]E.Land，J.McCann.Lightness and Retinex Theory.Journal of the Optical Society of America，1971.

[3]P.Gehler，C.Rother，M.Kiefel，L.Zhang，B.Schoelkopf.Recovering Intrinsic Images with a Global Sparsity Prior on Reflectance.In Proc. Adv.Neural Inf.Process.Syst，2011.pp.765-773

[4]A.Bousseau，S.Paris，F.Durand.User Assisted Intrinsic Images.SIGGRAPH Asia，2009.

作者简介：

郑期尹（1990-），男，福建泉州人，硕士研究生，研究方向为图像处理

Recovering Intrinsic Face Images with Sparsity Prior on Reflectance

Intrinsic image decomposition is a classic problem in image process,given an input image,corresponding reflectance and shading image need to be decomposed.The reflectance and shading image can be used as inputs to high level vision algorithms,such as object recognition.Recovers face reflectance image and shades image by introducing a sparsity prior on reflectance and gives a result of the algorithm by applying the MATLAB.

Intrinsic Decomposition;Sparsity on Reflectance;Face

1007-1423（2017）08-0074-03

10.3969/j.issn.1007-1423.2017.08.016

2017-01-10

2017-03-10

ZHENG Qi-yin

（College of Computer Science，Sichuan University，Chengdu 610065）