运动模糊图像的摄像机响应函数估计方法

阚未然,方贤勇,2

(1.安徽大学计算机科学与技术学院,合肥230601;2.南京大学计算机软件新技术国家重点实验室,南京210023)

运动模糊图像的摄像机响应函数估计方法

阚未然1,方贤勇1,2

(1.安徽大学计算机科学与技术学院,合肥230601;2.南京大学计算机软件新技术国家重点实验室,南京210023)

相机响应函数(CRF)存在于照片的形成过程中,是辐照度到图像强度的映射。由于CRF是非线性的,在模糊图像去模糊的过程中有一定的影响,但目前的运动模糊去除算法并未考虑它的影响。为此,研究基于单幅运动模糊图像的CRF估计算法,给出运动模糊模型与CRF相结合的模糊模型,该模型能准确描述实际运动模糊图的形成过程,并在该模型的基础上提出一种灵活选取边界求解CRF的方法。实验结果证明,与传统方法相比,该方法在求解CRF方法上具有较高的准确性。

相机响应函数;辐照度;非线性;运动模糊;去模糊;边界选取

1 概述

图像去模糊是计算机视觉和图像处理中研究多年的一个问题,其中比较常见的是运动模糊。运动模糊的过程可以看成是N个离散位置接收到光量的叠加。但是,通过实际照相机捕捉到的模糊图,模糊的过程是针对图像的辐照度,而不是图像的强度[1]。

目前虽然有一些去模糊算法考虑了相机响应函数(Camera Response Function,CRF)的影响,但只是针对散焦模糊,还缺少针对运动模糊图像CRF的研究。本文就是针对运动模糊图像的CRF求解问题进行研究。将CRF加入到运动模糊模型,然后从模糊图的形成过程分析,逆向求得CRF。进一步给出了在已知运动方向的情况下,通过单幅模糊图,提出灵活选取边界求解CRF的方法。

图像去模糊比较经典的算法有维纳去卷积[2]。近期出现了针对运动模糊[3]去模糊算法。更新的一些去模糊算法是通过运用机器学习[4]来去模糊,但是以上大多数的去模糊方法都没有考虑 CRF的影响。

当前对CRF的求解方法比较多的是针对清晰图。Debevec和Malik[5]做了CRF的最开始的工作,他们假设CRF函数是光滑的曲线,然后对每个像素同时估计辐照度和CRF的反函数。以后的大多数方法都是对同一视角在不同曝光[6]下获得的多幅图像,运用曝光比的关系来计算CRF,另外也有在曝光算法的基础上进行优化[7]的求解算法。其他方法还有通过基于惩罚项的能量函数设计和海量数据筛选[8],求解CRF,通过能获取RAW文件的相机拍摄图片[9]计算CRF;对同一个场景拍摄2张噪声不同的图,通过2幅图的强度相似度关联求解CRF[10];通过灯和纸板创造不同的光照环境,在不同光照环境下得到图像求解CRF[11]。

以上大多数方法都是针对一幅或者多幅清晰图求CRF,而目前比较关心的是去模糊中的CRF求解。近期已有少数针对模糊图求解 CRF的方法。文献[12]通过同一个场景的一幅清晰图和一幅模糊图,运用它们之间的曝光比求CRF。文献[13]提出了针对模糊图边界求解CRF的方法,他们发现模糊图边界的截面强度变化曲线和累积函数变化曲线是类似的,相同方向的边界有相同的截面强度信息,利用同方向边界之间相似的关系,求得CRF。这个方法虽取得一定的求解效果,但是也有比较明显的弊病,即需要求出一组或者多组同方向的直边界,才可以利用边界相似性这一性质。本文拟对这一方法进行改进,首先不需要一组相同方向的边界,也不需要边界是直的。除了CRF的计算方法之外,还有针对CRF的建模研究。运用较多的是多项式模拟CRF函数[13],另外也有EMoR经验模型[14]。本文使用相对比较准确的多项式模型建模,通过单幅模糊图的边界信息求解CRF。

2 CRF对模糊区域的影响

卷积过程之后,通过相机响应函数才能将辐射度映射到图像强度,如图1所示。

图1 从场景光量到图像强度的完整过程

首先分析CRF对模糊区域的影响。I代表清晰的图,B代表对应的模糊图,B^=I⊗K代表的是按照传统的模糊模型,不考虑CRF作用的模糊图。通过B和B^的差值来衡量CRF对模糊图的影响大小,Γ=B-B^。

比较容易得到,在均匀强度区域和低频区域,Γ≈0。分析高频高对比度区域:

首先考虑以下形式的锐边界I:

f-1有边界f-1(0)=0且f-1(1)=1,假设有f-1(I)=I,可得:

即Γ=f()-。

在这个例子中,Γ(x)度量了f(x)偏离线性方程y(x)=x的程度。当f(x)→x时,Γ(x)→0。但是,实际中的CRFf是非线性的。

定理 令Imin和Imax分别表示图像I在大小为模糊核覆盖的局部区域内的强度最小值和最大值,如果f-1是凸的,那么模糊不一致差Γ的范围为:0≤Γ≤Imax-Imin。

证明:因为K只包含0和正值,所以可以把f-1(I)⊗K看做像素值的正组合。如果f-1是凸的,由汤森不等式可得:

又因为CRFf是单调递增的,可得到:

又因为I⊗K≤Imax,并且f-1是单调递增的,由此可得:

同样,可得B^=I⊗K≥Imin。由以上两式可得:

综合定理的证明和前面的推理,可以发现由非线性CRFf带来的模糊差异主要出现在高频高对比度的区域,这些区域也就是在以往的去模糊结果中常出现振铃的区域。换个角度考虑,CRFf对这些区域的影响大,那么这些区域包含的CRF的信息也就多,如果想要比较准确的求解CRFf,就需要选取高频高对比度的区域,或者就直接选取边界。

3 单幅图像结合CRF的运动模糊模型

3.1 运动模糊模型和CRF

在曝光时间内,成像传感器接收到的光量决定了图像的像素强度值。

其中,I(x)是曝光后记录的图像;ΔI(x,t)是在第t个无穷小的时间间隔内dt内的传感器接收到的光量; [0,T]是总的曝光时间;x是一个3×1的向量,表示的是同一个坐标系下的像素点坐标。将积分离散化之后可近似得到后面的结果。

当相机和场景对象在曝光时间内没有相对的移动时,并且假设噪声比较小。那么有:ΔI(x,t1)≈ΔI (x,t2)≈…≈ΔI(x,tN),也就是I(x)≈NΔI(x,t0)= I0(x)是一个清晰图。当相机和场景对象之间在曝光时间内存在了相对运动时,I(x)就是许多不同的中间图像ΔI(x,ti)的累积。这个相对运动,在图像平面内产生的是一个投影变换:ΔI(x,ti)=ΔI(hix, ti-1)。hi是一个非奇异的单应性矩阵。如果知道了所有的hi,就可以用I0(x)表示所有的ΔI(x,ti):

其中,Hi同样是一个单应性矩阵。这样就得到了运动模糊模型:

其中,B(y)是动态模糊图像;I0(x)是对应的清晰图。

考虑将相机响应函数f加入该模糊模型中:

其中,g(·)是相机响应函数f的反函数。

假设已知清晰的初始位置图I0,单应性矩阵Hi,以及最后的模糊图B,那么选择一块高对比度高强度的区域,x∈[xmin,xmax],y∈[ymin,ymax],以此来求解CRF。

对选择的整块区域,有:

根据文献[16]的方法,将f的反函数g看作是维度为d的多项式函数,即:

优化求解的过程就是求解ap的过程,求解函数的约束为g(0)=0且g(1)=1。只需要最小化以下目标函数就能够求解g:

其中,λ后面的式子是保证g的边界限制。这个问题可以运用各种优化算法求解,例如fmincon等。

3.2 灵活边界选取的CRF估计

以上完全依赖于相机成像原理的CRF求解模型需求的已知量太多(清晰图,模糊图和运动轨迹单应性矩阵)。所以并不实用,下面的CRF求解方法只需要已知模糊的运动方向,就可以通过模糊图求出CRF,而模糊的运动方向可以通过运动模糊估计或者在相机内加入硬件设备来获取。这里假设运动方向已经已知。

对于一条模糊边界e,在边界的两边,图像强度都是均匀的,并且假设运动也是均匀的运动。从边界模糊的形成开始分析。

假设有清晰边界[Is,…,Is,IL,…,IL],在边界垂直方向运动,那么最后模糊的边界的形式是[Is,…,Is, I1,I2,…,IM,IL,…,IL]。不考虑CRF的作用,可得:

在没有CRF的作用之下,[I1,I2,…,IM]是一个近似的等差数列。

在CRF作用之下,清晰边界和模糊边界的假设的形式不变,那么模糊边界关系如下:

[g(I1),g(I2),…,g(IM)]是一个近似的等差数列:其中,E是选取的边界数目;ωj是第j条边界的强度范围,在这里也作为一个权值函数,即强度范围大的边界可以提供更多的CRF求解的参考;M代表的是此图的模糊大小。

类似于上文,将g看做多项式函数,通过最小化以下目标函数,求解多项式函数的系数值:

那么可以通过以下方法计算CRF:

4 实验结果与分析

4.1 模拟图

使用的是文献[13]文中实验结果中的第7条gamma曲线模拟的CRF,模糊是通过运动模糊模型模拟的在水平方向的运动模糊,实验图如图2所示。

图2 模糊图

选取粗线条标记出来的边界作为计算的数据,通过方法的方法求解 CRF的反函数,结果如图3所示。

图3 求解图2的CRF反函数曲线

在图3中,较粗的实线代表实际的CRF的反函数曲线,较细的曲线是通过本文的方法求解的CRF反函数曲线,将其归一化到[0 1]之间计算。可以发现,大致上求解的CRF反函数曲线还是能和真实的曲线保持比较好的契合度。

同样的,对另外2幅模糊图求解CRF的反函数,实验模糊图如图4所示,实验结果如图5所示。

图4 实验模糊图

图5 估计的CRF反函数求解结果

下面对图2的模糊图进行去模糊,去模糊的方法是参照文献[15]中的动态去模糊方法。对考虑CRF和不考虑CRF直接去模糊的2种方式作比较,结果如图6所示。

图6 去模糊结果比较

图6 (a)是首先将模糊图通过CRF的反函数求得RAW的模糊图,然后通过去模糊的方法得到去模糊的RAW图,然后再加上CRF得到的。图6(b)就是直接对模糊图进行去模糊得到的我们可以发现,图6(a)在边界细节上要明显优于图6(b),图6(b)的边界会出现很多振铃现象。图 6(c)图是对图6(a)和图6(b)画方框区域的放大比较,上面一行是图6(a)的放大,下面一行是图6(b)的放大。被放大后图6(b)的振铃效果可以看的更加突出,可以更明显的发现CRF的影响。

4.2 实际图

除了以上的模拟出的模糊图外,还对实际拍摄的模糊图进行实验如图7、图8所示。首先对模糊图图7(a)和图8(a)分析,估计运动方向,求解CRF的反函数,结果分别如图7(b)和图8(b)所示。因为2幅图是通过同一个相机拍摄得到的,所以2幅图的CRF应该是相同的。可以通过对照图7(b)和图8(b)发现,2个求解的CRF反函数曲线是非常接近的,这也从侧面反映出本文求解的方法是比较准确的。

然后继续对去模糊结果进行了比较。首先根据求解的CRF反函数反向求出模糊图7(a)的RAW图,然后进行去模糊,得到图7(c);直接对模糊图7(a)去模糊,根据求解的CRF反函数反向求出估计的清晰图的RAW,得到图7(d),同样的对图8(a)的模糊图做类似的处理,得到图8(c)和图8(d)。通过比较图7(c)和图7(d)、图8(c)和图8(d)可以发现,对真实的图也一样,不考虑CRF直接去模糊会导致在边界处的振铃效果,在去模糊之前去除非线性的CRF的结果要优于直接去模糊。

图7 实际模糊图的实验结果1

图8 实际模糊图的实验结果2

4.3 实验结果对比

另外,还对图9(a)进行了与Sunyeong Kim方法[13]的对照,得到的对照曲线如图9(b)所示。较粗的曲线是真实的CRF曲线,细的实线和虚线分别是方法和Sunyeong Kim方法求得的CRF曲线。可以发现,在低图像强度范围内,求解的曲线要更加贴近实际的曲线,而在高图像强度范围内,本文方法和Sunyeong Kim的方法相差不多。并且在边界的选取上更加灵活,所以本文的方法在CRF的求解上有一定的优势。

图9 本文方法与Sunyeong Kim方法的实验结果比较

5 结束语

本文根据相机响应函数对模糊图的作用,以及对去模糊过程造成的影响,指出在去模糊的方法中有必要考虑CRF的影响,并将动态映射模糊模型和CRF结合,从真实的模糊图形成的过程逆向求解CRF。通过一幅图的边界强度信息求解CRF方法,并扩展到2幅对应模糊图求解CRF,实验结果表明了该方法的准确性。本文不足主要是限定在均匀的动态模糊中,而实际的运动模糊图的形成并不完全是均匀运动。下一步工作将考虑非均匀的动态模糊以及旋转模糊,并进一步优化CRF求解,以更接近真实的CRF。

[1] Grossberg M D,Nayar S K.What is the Space of Camera Response Functions[C]//Proceedings of IEEE Computer Society Conference.[S.1.]:IEEE Press, 2004:1063-1074.

[2] Wiener N.Extrapolation,Interpolation,and Smoothing of Stationary Time Series[M].Cambridge,USA:Technology Press of the Massachusetts Institute of Technology,1949.

[3] Lucy L.An Iterative Technique for the Rectification of Observed Distributions[J].Astronomical Journal,1974, 79(6):745-754.

[4] Couzinié-Devy F,Sun J,Alahari K et al.Learning to Estimate and Remove Non-uniform Image Blur[C]// Proceedings of Computer Science/Computer Vision and Pattern Recognition Conference.[S.1.]:IEEE Press, 2013:126-132.

[5] Debevec P E,Malik J.Recovering High Dynamic Range Radiance Maps from Photographs[C]//Proceedings of ACM SIGGRAPH’08.[S.1.]:ACM Press,2008: 1-10.

[6] 章卫祥,周秉锋.一个稳健的用于HDR图像的相机响应函数标定算法[J].计算机学报,2006,29(4): 658-663.

[7] 顾正晖.相机响应函数恢复的差分方法[EB/OL]. (2013-02-04).http://www.paper.edu.cn/releasepaper/ content/201302-57.

[8] 江登表,李 勃,陈启美.自动曝光场景下基于相机响应模型的运动检测[J].电子与信息学报,2013,35 (11):2740-2743.

[9] Manders C,MannS.DeterminingCameraResponse Functions from Comparagrams of Images with Their Raw Datafile Counterparts[C]//Proceedings of ISIMP’04. [S.1.]:IEEE Press,2004:256-265.

[10] Takamatsu J,Matsushita Y,LkeuchiK.Estimating Camera Response Functions Using Probabilistic Intensity Similarity[C]//Proceedings of CVPR’08.[S.1.]:IEEE Press,2008:1-8.

[11] Bichsel M,Ohnesorge K W.How to Measure a Camera’s Response Curve from Scratch? [M]. Zurich, Switzerland:ACM Press,1993.

[12] Chen Xiaogang,Li Feng,Yang Jie,et al.A Theoretical AnalysisofCamera Response Functionsin Image Deblurring[C]//Proceedings of ECCV’12.Heidelberg, Germany:Springer,2012:245-256.

[13] Kim Sunyeong,Tai Yu-Wing,Joo Kim Seon,et al. NonlinearCamera Response Functions and Image Deblurring[C]//Proceedings of IEEE Conference on Computer Vision&Pattern Recognition.[S.1.]:IEEE Press,2012:25-32.

[14] Grossberg M D,Nayar S K.Modeling the Space of Camera Response Functions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(10): 1272-1282.

[15] Xu Li,Jia Jiaya.Two-phase Kernel Estimation for Robust Motion Deblurring[C]//Proceedings of ECCV’10. [S.1.]:IEEE Press,2010:157-170.

编辑 索书志

Camera Response Function Estimation Method for Motion Blurred Image

KAN Wei-ran1,FANG Xian-yong1,2
(1.School of Computer Science and Technology,Anhui University,Hefei 230601,China;
2.State Key Laboratory for Novel Software Technology,Nanjing University,Nanjing 210023,China)

Camera Response Function(CRF)appears in the formation of a photo,mapping the irradiance to the image intensity.CRF is nonlinear,thus it has effects on deblurring blurred image.But many current deblurring algorithms do not consider the influence of camera response function.Therefore,this paper discusses the algorithm of deblurring based on a single image with considering the influence of CRF,and presents a model combining the motion blur model with the CRF.This model can describe the forming process of a real blurred image accurately.Further more,it presents a flexible edge selection CRF estimation method based on the motion model.Experimental results prove that the method has advantage in solving CRF method and removes the influence of CRF on deblurring.

Camera Response Function(CRF);irradiance;nonlinear;motion blurred;deblurring;edge selection

1000-3428(2014)10-0232-07

A

TP18

10.3969/j.issn.1000-3428.2014.10.044

国家自然科学基金资助项目(61003131)。

阚未然(1989-),男,硕士研究生,主研方向:模式识别,计算机视觉;方贤勇,教授。

2013-10-17

2013-12-11E-mail:weiran.kan@gmail.com

中文引用格式:阚未然,方贤勇.运动模糊图像的摄像机响应函数估计方法[J].计算机工程,2014,40(10):232-238.

英文引用格式:Kan Weiran,Fang Xianyong.Camera Response Function Estimation Method for Motion Blurred Image[J].Computer,Engineering,2014,40(10):232-238.