相机响应函数定标的正则化方法

王 安 定， 谢 蓄 芬， 邹 念 育

( 大连工业大学 信息科学与工程学院, 辽宁 大连 116034 )

0 引 言

相机响应函数(Camera response function，CRF)表达了图像灰度与真实场景辐射量之间的映射关系[1-3]，是系统成像过程中各个链路环节效应的总和。相机响应函数的标定是图像动态范围延展的基础[4-6]，受随机噪声、系统响应非均匀性和各种随机扰动的影响，相机响应函数的标定结果偏差较大，难以获得精确的结果，因此相机响应函数的标定受到广泛关注。

从20世纪90年代高动态范围图像的提出到近些年来不断发展，越来越多的研究者开始关注高动态范围成像技术，因此出现了很多对相机响应函数进行标定的方法[7-9]。Mann等[10]提出了通过不同曝光图像延展系统动态范围的方法，指出相机响应函数的标定受噪声影响。Mitsunaga等[11]提出用N次多项式近似描述相机响应函数，降低了算法对成像设备的要求，但是算法稳定性欠佳。Debevec等[12]提出利用响应函数的微分对响应曲线相对定标结果进行约束，增加定标结果的光滑性。方华猛等[13]从求解方法上改进了Debevec提出的约束最小二乘法，但是都没有对相机响应函数标定时所存在的病态问题进行详细分析，也没有关联泛函空间，缺少对正则项的形式的分析和论证。章卫祥等[14]在Mitsunaga 和Nayar所做工作的基础上增加限制条件和改进迭代条件提高了算法的稳定性，但只粗略地估计了光圈大小、曝光时间的比值影响标定结果的精确性。Goossens等[15]利用最大信噪比准则构建服从泊松分布的权值函数来消除数码相机中传感器带来的图像噪声，优化相机响应函数的标定结果，但研究没有解决相机响应函数标定存在的病态问题。

本研究针对相机响应函数存在的病态问题，在Sobolev空间[16-18]中，讨论了不同正则算子形式下获得的相机响应函数的稳定性，根据实验结果验证了正则算子的形式。同时通过L曲线法确定了正则参数的选取[19-20]，得到了稳定的相机响应函数。

1 相机响应函数模型

1.1 相机的成像原理

当使用相机拍摄景物时，景物反射的辐射能量进入镜头，当按下快门后，图像传感器曝光，光电探测器受到光子的激发而释放出电荷，生成电信号。电信号经过放大和滤波后被传送至模/数转换器(ADC)，经ADC信号采样、量化将电信号(模拟信号)转换为数字信号，转换后的数字信号被输出到DSP(数字信号处理器)中；为了数据存储与传输的方便，数字信号编码压缩为不同的图像格式[21]，其原理如图1所示。

图1 相机成像原理Fig.1 The principle of camera imaging

1.2 建立数学模型

通过一系列曝光量不同的图像来确定图像传感器所接收的辐射通量Ф与图像灰度Z之间映射关系，建立成像系统响应模型。

Z=f(ΦΔt)

(1)

式中：Z为图像灰度，Ф为成像系统中图像传感器所接受的辐射通量，t为相机的曝光时间，f为图像传感器所接受的辐射通量与图像灰度之间的映射关系，也称之为相机响应函数。相机响应函数是成像系统在实际成像过程中所受到的各种线性与非线性关系(如非线性动态范围的压缩与量化)的总和。

假设f单调，则f可逆，对f逆变换并取对数，为了简化方程，令g=lnf-1

g(Zij)=lnΦi+ln Δtj

(2)

2 相机响应函数标定

2.1 相机响应函数标定的最小二乘法

对于式(2)所确定的相机响应函数模型，采用经典最小二乘法求解，得到公式(3)。

g^(z)=arg min∑i∑jw(Zij)g(Zij)-ln Φi-lnΔtj2

(3)

随着曝光时间的改变，曝光时间较短或较长时获得的图像中存在许多曝光不足或过度曝光的像素点，使得这些像素点的灰度偏小或偏大，所以引入加权函数以减小此类像素点在求解过程产生的影响，如式(4)所示。当图像序列为4幅曝光时间不同的图像时，图2(a)表示各灰度的权值。

(4)

式中：Zmid取图像像素灰度的中间值128，k为图像序列的图像个数，曝光时间的增加或减小会使图像中存在的过度曝光或者曝光不足问题加剧。

由于相机响应函数模型所确定的方程组的条件数为1.25×103(条件数接近1稳定，数值越大稳定性越差)，说明该模型存在较强的复共线性，相机响应函数模型存在病态问题，所以最小二乘法一般不能得到满意的结果，如图2(b)所示。

(a) 权值函数

(b) 最小二乘法获得的相机响应函数图2 权值函数和最小二乘法求解Fig.2 The function of weight and CRF calculated by least squares method

2.2 相机响应函数定标的正则化方法

由于相机响应函数模型存在病态问题，使得最小二乘法不能获得稳定的解。而索伯列夫空间具有良好的收敛性和光滑性，把求解限制在索伯列夫空间则可能解决病态问题，在式(3)中加入索伯列夫空间正则项得到。

g^

(5)

取p=2。λ为正则参数，是一个大于零的实数，通过调节λ的大小可以得到稳定的近似解

g^

(z)λ。mg(Z)称为正则算子，是在Sobolev空间中定义的微分算子(弱导数)。

3 正则算子和正则参数选取

在正则化方法中正则算子和正则参数的选取对相机响应函数的标定结果有着至关重要的作用。实验使用Canon EOS 600D获取图像序列，感光度固定为100，曝光补偿为0，光圈大小为f/8，曝光时间为30、15、8、4、2、1、1/2、1/4、1/8、1/15、1/30、1/60 s。研究共选取了6个室内场景，包括日光环境、电光环境和混合环境，获得6组图像序列。

3.1 正则算子分析

以图像序列的红色通道为例，图3为最小二乘法和正则化方法获得的相机响应函数。由图3可知，正则化方法获得的相机响应函数解决了响应函数模型的病态问题，稳定性得到显著提高。

使用累积相邻点差值绝对值之和描述相机响应函数的光滑性，差越小表示曲线越光滑，如公式(6)所示。

σ=1Zmax∑Zmax-1z=1(g^(Z)-g^(Z-1))

(6)

当正则算子m=1时，6组图像序列获得的相机响应函数的光滑性的平均值为8.20×10-5，表现最稳定且光滑性较好；当m=2时，6组图像序列获得的相机响应函数的光滑性的平均值为12.3×10-5，稳定性和光滑性略差；当m=3时，6组图像序列获得的相机响应函数的光滑性的平均值为13.6×10-5，表现最不稳定且光滑性较差，如表1所示。可见m取值为1时，相机响应函数的光滑性、稳定性最优。

表1 不同正则算子下相机响应函数的光滑性Tab.1 Smoothness of CRF under different regular operator 10-5

3.2 正则参数分析

正则参数决定了相机响应函数的残差和正则项的比例关系。正则参数越大，正则项在求解过程中所占比例越大，反之，残差最小在求解过程中所占比例越大。

(a) 最小二乘法

(b)m=1

(c)m=2

(d) m=3

使用L曲线法确定正则参数，在对数坐标图上以目标函数为横坐标，正则项为纵坐标，得到由一系列点构成的形状类似字母L的曲线。定位L曲线上曲率最大的点，即将其拐点对应的λ作为正则参数的取值。

令

(7)

那么，L曲线的曲率计算公式为：

(8)

图4(a)表示L曲线法所绘制的曲线，曲线曲率最大的点对应的正则参数即为L曲线法所确定的正则参数。图4(b)表示图4(a)中确定的正则参数λ=60时所对应的相机响应函数。

(a) L曲线

(b) 正则化方法

图4 L曲线和正则化方法获得相机响应函数
Fig.4 L-curve and camera response function obtained by regularization method

4 结 论

在Sobolev空间中，对不同正则算子形式下的相机响应函数的稳定性作了分析，确定一阶微分算子作为正则算子时相机响应函数不仅有良好的光滑性，而且表现出良好的稳定性和精确性。在此基础上又通过L曲线法确定了正则参数的选取，结果表明L曲线法可以有效地确定正则参数的选取。在保证相机响应函数精确性的前提下，相机响应函数标定的正则化方法可以有效解决相机响应模型中的病态问题。