基于L0矩阵范数正则化的自然图像去反光算法

丁凤，夏又生，2

(1.福州大学数学与统计学院，福建 福州 350108；2.南京信息工程大学人工智能学院，江苏 南京 210044)

0 引言

由于太阳光在大气中发生反射等光学现象，采集的图像不可避免地受到逆光现象干扰，产生图像镜面反射现象.镜面反射往往会对视觉质量产生一些负面影响，降低计算机视觉算法性能和图像识别的准确性，影响图像分割、颜色识别、目标检测、视觉跟踪和车牌自动识别等.因此，有必要对镜面反射和漫反射进行分离，去除图像的反光.大多数镜面反射分离方法都是基于双色反射模型来分离镜面反射.这些方法首先在图像块中寻找一个近似的漫反射色度，然后将漫反射色度传播到整个图像中，并计算镜面反射分量.由于缺乏全局图像信息，近似的漫反射色度可能不准确，因而不能完全去除镜面反射分量.同时，对于复杂的纹理图像，现有的方法很难将图像分割成色块，并且在恢复后的图像中可能会出现伪影.

在许多真实场景中，反光区域是面积相对较小的连续块，而漫反射的颜色可以很好地由少量颜色来近似.前一种观测结果意味着图像中的反光区域趋于稀疏.后一种观测结果与非局部图像去雾观测相似，表明漫反射颜色在RGB空间中以低秩和稀疏的加权矩阵形成紧密的聚类.基于上述观测结果，本研究用稀疏和低秩矩阵分解来分离漫反射和镜面反射，建立稀疏低秩反射模型.该模型假设反光与入射光具有相同的光谱分布，并且反光的光谱分布相当稀疏.

1 相关工作

双色反射模型是模拟表面复杂反射特性的先驱，它已被广泛用于分离镜面反射成分.从输入图像的数量来说，该模型可以分为多幅图像去反光和单幅图像去反光.

对于多幅图像去反光，Lin等[1]提出一种基于颜色分析和多基线立体视觉的方法，但该方法可能无法处理由移动摄像机沿非线性路径获取的图像序列.Wang等[2]基于单个偏振滤波器提出关于局部加权系数的能量最小化的方法.Shah等[3]提出一种利用特征对应点对图像序列进行去反光的方法.

相比之下，单幅图像去反光只使用一个图像来分离反射组件.除传统的颜色直方图方法外[4]，该类方法可以分为基于双色反射模型[5-6]、基于修复[7]和基于深度学习的方法[8].近年来，基于双色反射模型，一些方法利用基于补丁的先验对单幅图像的镜面反射进行局部分离.Yang等[9]观察到彩色图像局部斑块中漫反射色彩成分的最大分数平滑变化.通过直接应用低通滤波器，将最大漫反射色度从漫反射像素传播到镜面像素.Yang 等[10]观察到镜面像素比漫反射像素具有更低的饱和度.通过将镜面反射像素的饱和度调整为具有相同漫反射色度的漫反射像素，从而实现漫反射组件.Klinker等[11]将双色反射模型扩展，提出T形颜色分布，将图像颜色描述为物体表面颜色和反光颜色的组合.为分析噪声，有效分离反射分量，Tan等[12]提出一种新的基于最大色度-强度空间中镜面反射像素和漫反射像素分布的分离方法.Bajcsy等[13]将RGB空间中的颜色像素转换为S空间，用S空间中定义的亮度、色调、饱和度来分析物体的颜色变化.然而，该算法仅对单色场景照明下的均匀彩色介质表面有效.Mallick等[14]还提出一种变换颜色空间，它是一个旋转的RGB空间，可恢复图像的镜面反射和漫反射成分，在无噪声情况下适用于均匀表面.

2 图像去反光优化模型

2.1 双色反射模型

双色反射模型被广泛应用于图像去反光.根据双色反射模型，在像素p处观察到的图像色度I(p)可以表示为去反光后的图像Id(p)和反光图像Is(p)的线性组合：

I(p)=Id(p)+Is(p)=md(p)Λ(p)+ms(p)Γ(p)

(1)

式中:md(p)和ms(p)分别表示漫反射和镜面反射的系数，分别依赖于图像像素处的场景几何；Λ(p)和Γ(p)分别表示漫反射色度和镜面反射色度(光照色度).

I≈ΦdWd+ΓMs

(2)

式中：I是一个3×N矩阵，每一列代表一个像素颜色,N表示图像中像素的总数；Wd=[w(1),…,w(N)]，是由所有像素的权重系数组成的K×N矩阵；Ms是1×N的向量.

2.2 颜色字典构造

在图像的矩阵观察模型中，构造一个合适的字典很重要.一个简单的方法是将整个输入数据作为字典.但是，如此大的字典计算成本很高，会占用太多存储空间.受自然图像的非局部先验[2]的启发，本研究采用直方图分类方法[6]来构造颜色字典，具体步骤如下：1) 对于给定彩色图像，将每个像素的图像色度I(p)由笛卡尔坐标(RGB空间坐标)转为球坐标:I(p)=[r(p),θ(p),φ(p)]；2) 由于像素p处的色度仅仅与θ(p)和φ(p)有关，与r(p)无关[2]，故构造二维向量Φ(p)=[θ(p),φ(p)]；3) 利用Φ(p)对图像像素进行K-means聚类，类簇个数根据惯例定为100；4) 将所有类簇按所含元素个数降序排序，如图1所示，并选择前K个矩形，每个矩形中所有元素对应像素的笛卡尔坐标均值认为是字典Φd∈R3×K中的元素ik(k=1,…,K).因为反光区域的密度通常很小，这个操作可以有效地避免选择到反光颜色.图1为本研究使用的3幅典型自然图像的颜色直方图.显然，在一幅图像中只有有限数量的不同颜色.

图1 3种典型自然图像的颜色直方图 Fig.1 Sorted color histograms of three typical natural images

2.3 优化模型

Akashi等[5]利用非负矩阵分解提出一种图像去反光算法，极小化下列优化模型：

(3)

为简化计算，Fu等[16]利用颜色字典Φd=[i1,i2,…,iK]来模拟物体表面颜色，提出一种图像去反光算法，极小化下列优化模型：

(4)

由于L0范数是非凸的，所以Guo等[6]利用L1范数和稀疏低秩矩阵分解提出一种图像去反光算法，极小化下列优化模型：

(5)

众所周知，与L1范数相比，L0范数能够更好地描述稀疏分布的反射光，表征对应颜色系数的稀疏性.因此，基于L0范数的优化模型比基于L1范数的优化模型具有更好的性能.本研究极小化下列L0范数正则优化模型：

(6)

2.4 基于L0范数正则化的图像去反光算法

为处理L0范数，首先引入两个辅助矩阵变量J和H，则优化问题(6)可以写为：

(7)

然后，利用广泛应用的增广拉格朗日乘子(ALM)方法计算.该方法由一系列无约束优化问题组成子问题，代替原约束优化问题，问题就可以通过软阈值或奇异值有效地解决[17].主要分为两个步骤.第一步，将优化问题(7)转化为下列增广拉格朗日函数的极小化问题：

(8)

1) 优化子问题一：计算Ms.

Ms为N维的行向量.假设Γ已知，Ms可估计为：

(10)

公式(10)可以按元素写为：

(11)

式中：j是矩阵元素的位置.Ms可更新为：

(12)

2) 优化子问题二：计算J.

在保持其他变量不变的情况下，J可估计为：

(13)

对于常规核范数，根据文献[17],该子问题的解析解为：

(14)

3) 优化子问题三：计算H.

在保持其他变量不变的情况下，H可估计为：

(15)

类似子问题一的求解，问题(15)的解可以进一步表示为：

(16)

它有解析解：

(17)

4) 优化子问题四：计算Wd.

在保持其他变量不变的情况下，Wd可估计为：

在其他变量固定不变的情况下，子问题关于Wd是二次的.因此，这是一个标准的最小二乘回归问题，具有封闭解.公式(18)对于Wd是可导的，设导数为0，可以得到解为：

(19)

式中：U∈RK×K,为单位矩阵.

Yi=Yi+μEi(i=1,2,3)

(20)

最后，为处理非负约束，采用直接策略，每次迭代期间直接将Wd和Ms中的负条目限制为0，即Wd=max{Wd,0}，Ms=max{Ms,0}.

3 实验结果

以大量实验验证本方法去除反光的有效性.在视觉和定量评价方面，将本方法与近期报道的4种方法相比较，这4种方法分别来自文献[19]、[16]、[6]和[5].为更好地进行比较，采用留一交叉验证的方法确定各比较方法的最佳参数设置.从文献[20]中选择4张反光图像(带有地面真实图像)来评估本方法.图2是利用不同的反光去除方法处理4张图像后得到的结果.

图2 自然图像的视觉比较Fig.2 Visual comparison on natural image

表1 自然图像的定量比较Tab.1 Quantitative comparison of natural images

4 分析与讨论

4.1 参数λ，τ，K对结果的影响

如图3所示，当λ=0.1时，随着τ的增大，无镜面反射图像中的反光残留逐渐减少，如西瓜的根部.此时，一些纹理会被洗掉，这是由于无镜面反射图像过度平滑所造成的.当τ=100时，随着λ的增加，无镜面反射图像只有微小的变化.

图3 变量λ和τ的影响Fig.3 Effect of different λ and τ

图4 变量K的影响Fig.4 Effect of different K

4.2 收敛讨论

输入图像的算法收敛曲线，如图6所示.可见，漫反射图像中的反光残余随迭代次数的增加而逐渐减小.当迭代次数达到100时，相邻两个迭代之间的漫反射图像无明显变化.经验上，200次迭代足以得到较好的结果.

图5 变量K对方法精度的影响Fig.5 Effect of different K on accuracy

图6 本方法的收敛性Fig.6 Convergence curve of algorithm in this study

5 结语

本研究提出一种基于L0范数正则化的图像去反光方法，可以将原始图像自动分离为漫反射图像和镜面反射图像.该方法建立在稀疏、低秩反射(SLRR)模型上，假设图像中的反光区域是稀疏的，而漫反射颜色可以由有限数量的不同颜色表示.将反光去除任务转化为一个约束核范数和L0范数最小化问题，进而用ALM方法有效地求解.与已报道的相关方法对比，本方法不需要无镜图像，而是利用L0范数正则化方法得到去除反光后的图像.为避免色彩饱和度的影响，对SLRR模型参数进行适当设置，并保留图像细节.最后，实验结果验证该方法的准确性和鲁棒性.

但本方法也存在一定局限性.与现有方法相比，可能无法恢复反光图像中包含大量白色反光区域的子纹理.为解决这个问题，后续工作计划采用基于学习的图像绘画技术来处理那些有挑战性的区域，合成缺失的细节和纹理.此外，本方法目前对优化的实施效率相对较低，未来希望探索图像处理器加速版本，提升实时性能.