一种基于双通道CMOS相机的低照度动态场景HDR融合方法

2020-05-08 02:01金伟其
红外技术 2020年4期
关键词:级数双通道照度

贺 理,陈 果,郭 宏,金伟其

(1.北京理工大学 光电学院 光电成像技术与系统教育部重点实验室,北京 100081;2.91216 部队,辽宁 葫芦岛 125000)

0 引言

现实世界自然场景昼夜光照动态范围高达108∶1以上[1],传统的成像和显示器件的动态范围都难以适应如此大的自然场景光照变化。为此,高动态范围(high dynamic range,HDR)成像和显示技术应运而生,成为当前国内外研究的重要方向。当前,低照度CMOS、电子倍增EMCCD 等新型成像器件已延拓到夜间环境,当场景存在局部灯光(如:城市照明光、各类指示灯光、探照灯光等)时,成像系统往往出现“局部饱和”或其他区域曝光不足的所谓“灯下黑”现象,造成较亮及较暗区域的场景细节信息丢失。

HDR图像通常通过两幅或多幅不同曝光度达到低动态范围(low dynamic range,LDR)图像融合获得。例如使用单台相机通过多次曝光获取多幅同一场景不同曝光度的LDR图像,并通过融合策略获得HDR图像[2-4],从而捕获HDR 场景图像,但这种方法仅适用于静态场景成像,对于动态场景由于分时曝光,融合图像中的运动目标易出现“鬼影”。虽然采用多个成像系统同步采集同一个场景的方法[5-6]可避免场景目标运动造成的鬼影现象,但相对成本较高,系统体积较大。近年来,通过单一相机在一帧曝光周期内取不同的两个积分时间进行两次采样获得双曝光图像技术得到发展,可避免运动目标的“鬼影”现象,例如长春辰芯公司的GSENSE 400BSI 双通道低照度CMOS 探测器在单通道输出模式大约具有60 dB的动态范围,通过双通道输出则可拓展到90 dB的动态范围。另外,也有基于单幅LDR图像延拓出HDR图像的方法研究[7-9],其通过拓展或增强单幅图像获得成像场景的动态范围提升。例如,2005年Reinhard等[10]根据人眼视觉细胞响应机理提出了S形映射曲线拓展方法,相比于线性曲线和Gamma 曲线,具有增强高光、阴影和重要的中间亮度区域对比度的效果。2015年Wang 等[9]利用反S形映射曲线,将一幅正常曝光的图像转化为模拟的多幅不同曝光度图像,进而通过图像融合从而获得更大的动态范围。这类方法主要针对正常曝光图像的拓展,且设置参数较多,不适用于过度曝光或欠曝光图像的动态范围拓展,且存在场景较亮或较暗区域的细节丢失严重,生成HDR图像效果低于多曝光图像融合效果的现象;对于不同积分时间图像的HDR融合,传统基于相机响应函数的融合方法需考虑积分时间等参数,生成的HDR图像细节受到图像压缩、色调映射等因素的影响。因此,基于像素级多尺度图像融合方法受到人们关注,传统的多尺度图像融合方法主要有基于图像金字塔的拉普拉斯金字塔(Laplacian pyramid,LP)[11]、基于小波变换的双树复小波变换(dual-tree complex wavelet transform,DTCWT)[12]、基于几何学的Curvelet 变换(Curvelet transform,CVT)[13]等方法,这些方法能够较好保留图像的特征信息,但未充分考虑不同曝光图像像素值对融合结果的影响。另一种基于曝光适度评价的融合方法(well-exposedness assessment,WEA)[14],利用对图像分成b×b大小的分块,试图通过有限次采样分析不同曝光图像像素值的亮暗变化,估算出场景中每个像素值的最佳曝光适度下的像素值,但是这种融合结果受分块尺寸影响较大。

针对上述问题,本文利用基于GSENSE 400BSI双通道低照度CMOS相机,研究利用简化的反S形映射曲线拓展夜间场景成像动态范围,并在充分考虑不同曝光图像像素值对融合结果影响的前提下采用多尺度图像融合的方法,以在低照度动态场景下获取更佳的HDR 成像质量。

1 双通道低照度CMOS相机及其成像

1.1 双通道低照度CMOS相机

基于长光辰芯光电技术有限公司 GSENSE 400BSI 低照度CMOS 器件,实验研制了双通道低照度CMOS相机(如图1),在HDR 模式下可同时采集多种场景不同曝光级数下的双通道图像。相机探测器规模2048×2048,帧频24 fps,单通道图像动态范围60 dB。表1给出了探测器各曝光级数对应的增益倍数。

图1 GSENSE 400BSI 探测器(左)及研制的双通道低照度CMOS相机(右)Fig.1 The GSENSE 400BSI detector(left) and the developed dual-channel low-light-level CMOS camera(right)

表1 各曝光级数对应的增益倍数Table1 Gain multiples for each exposure level

1.2 双通道曝光图像的选取

通常,相机需进行曝光光圈、曝光时间、ISO 等参数设置。本文双通道低照度CMOS相机的曝光参数可简化为曝光时间,图像像素灰度值取决于相机入射光能量E与曝光时间Δt的乘积:

式中:B为图像像素灰度值;f为相机响应函数(camera response function,CRF)。

假定成像系统具有n+1级曝光级数并以增量曝光方式排序,分别定义Eimin和Eimax为曝光级数为i时,成像系统最低和最高可获取的场景光辐射度。场景中任何光辐射度高于Eimax的区域将记为过曝光区,任何光辐射度低于Eimin的区域将记为欠曝光区。相机在曝光级数i时可获取光辐射度范围εi=(Eimin,Eimax)。图2是曝光级数i时的相机响应曲线,其中纵坐标表示相机获得的像素值(8位),横坐标表示相机拍摄的场景光辐射度。

图2 曝光级数i时相机CRFFig.2 The CRF on exposure level i

图3给出实验用相机各个曝光增益编号对应可获取的光辐射度范围,可以看出:与文献[15]不同,GSENSE 400BSI的增益编号与增益倍数不是单调的;在帧曝光周期内增益倍数越大,传感器积分时间越长,能够捕获更暗区域细节信息,反之增益倍数小可获取场景中更亮区域细节信息。因此,对于低照度HDR 场景成像应用背景,为了最大限度获取场景的较亮区域和较暗区域的场景细节,减少冗余信息,选择低照度高动态场景选取0级和7级曝光级数作为HDR融合图像源,即曝光级数0级获取场景的较亮区域细节信息,曝光级数7级获取场景的较暗区域细节信息。

图3 相机各曝光级数对应的动态范围Fig.3 The dynamic range corresponding to each exposure level of the camera

2 双通道低照度CMOS相机HDR融合方法

2.1 双通道曝光图像动态范围的拓展

Wang 等[9]对一幅曝光图像采用了反S形映射曲线方程进行变换,引入了多个变换参数。本文借鉴反S形映射拓展成像范围的思想,并进一步对映射处理的图像引入反Gamma 校正增强和制定动态范围拓展原则,由低照度CMOS相机输出的两幅LDR图像进行自适应动态范围拓展,实现低照度HDR 成像。

简化的反S形映射曲线方程变换:

式中:Bw为生成的扩展图像的像素值;B(i,j)为输入图像在像素(i,j)处的归一化像素值;η为控制生成拓展图像平均像素值水平因子;Bsmax是常数,实验中被设置为382.5。

引入图像拓展程度系数k,k=1时定义为输入图像拓展的初始图像,上拓展时k=2,3…;下拓展时k=1/2,1/3…。并通过对实际图像实验,定义了图像拓展系数k与调整参数η的关系近似为η=0.2k。图4给出不同拓展系数k时的图像映射曲线图。可以看出:简化的反S形曲线能保持中间范围像素值的条件下,对两端欠曝光区域和过曝光区域的动态范围进行有效的拉伸。

图4 不同k值对应的简化反S形曲线图Fig.4 The simplified inverse s-shaped curves corresponding to different k values

使用式(2)分别对采集的双通道图像进行动态范围拓展:对高曝光图像采用上拓展(Up,模拟增加曝光时间),对低曝光图像采用下拓展(Down,模拟减少曝光时间),得到曝光度由高到低的图像序列,依次定义为图像T1、T2、T3、T4。为了确保拓展图像与输入图像像素值处于同一数量级,且能够最大限度模拟不同曝光程度的图像效果,对经过简化的反S形映射处理图像使用反Gamma 校正(γ=2.2)。以单台相机通过多次曝光获取LDR图像序列为例(如图5所示),图像依据曝光度由高到低编号为1#,4#,将2#和3#图像假设作为双通道采集图像T2和T3,分别应用反S形映射对图像两端欠曝光区域和过曝光区域的动态范围进行拉伸,然后使用反Gamma 校正规范像素值范围,确保处理图像能够在8 bit 显示器有效显示。

图5 动态范围拓展流程Fig.5 Dynamic range expansion process

通过双通道图像动态范围拓展方法,获得的T1~T4的模拟不同曝光图像序列与原曝光图像序列直观对比效果较为一致,说明了方法对图像动态范围拓展的有效性,获得的图像不仅符合增加/降低探测器积分时间的规律,更符合以往构建多曝光图像序列的经验,同时引入噪声少,有利于后续图像的融合。对于实验平台采集的图像,为了合理确定拓展系数k,在输入图像中按直方图分布设置4个区域R1、R2、R3、R4,分别用图像总像素数的0.25、0.50、0.75 作为图像分块像素值,分别为B0.25、B0.50、B0.75,如图6所示。

设像素值z的像素数为nz,z出现的概率为:

式中:n为一幅图像的总像素数。

以z为上限的累计概率为:

图6 依据直方图分块方法Fig.6 Histogram segmentation method

可以看出,这3个划分像素值对应3个累计概率prlow、prmiddle、prmax。如果prz小于prlow,则这些像素位于R1 区域;如果prz大于prlow,小于prmiddle,则这些像素位于R2 区域;如果prz大于prmiddle,小于prmax,则这些像素位于R3区域;如果prz大于prmax,则这些像素位于R4区域。拓展原则为:图像T1相对于图像T2在R1区域像素数比值不大于0.1,图像T4相对于图像T3在R4 区域的像素数比值不大于0.1,通过取最优值的方法确定图像拓展系数k值,进而得到所需要的动态范围拓展图像。

2.2 动态范围拓展后图像融合

选择图像T3作为基准图像,按上节方法划定R1、R2、R3、R4四块作用于新的图像序列,分别使用高斯模型估算出最佳曝光适度下的像素值,然后利用权重函数得到各图像的权重,最终使用拉普拉斯金字塔的多分辨率方法融合图像。

高斯模型为:

式中:GRi,Ti为使用高斯模型计算得到的Ti图像Ri分块像素值的高斯分布;BRi,Ti为Ti图像Ri分块像素值;为Ti图像的中值像素值。各中值像素值为:

式中:N为满足条件的像素数。为保证较理想的人眼视觉感受像素值取值应在0.5附近,估算的最佳曝光适度下的像素值取0.5与中值像素值的加权和:

式中:uTi代表Ti图像的最佳曝光适度下的像素值;β为权重平衡参数,实验中取值0.5。最终得到Ti图像融合权重:

对图像权重进行归一化:

将动态范围拓展后的4 幅图像分别进行拉普拉斯金字塔分解,将式(9)得到的4幅权重图进行高斯金字塔分解,分别得到不同分辨率的图像和权重图。记图

像Ti的第l层拉普拉斯金字塔分解为L{Ti}l,记权重WˆTi的第l层高斯金字塔分解为得到融合式:

最后,将金字塔L{R}l进行拉普拉斯逆变换,得到最终的HDR融合图像R。

3 拓展与融合成像实验及其结果分析

双通道CMOS相机对室内低照度高动态场景(1#场景)在各曝光级数的图像如图7所示。实验环境照度标注在曝光级数为7级的图像上(下同)。对选用曝光级数0级和曝光级数7级增益图像,使用本文的动态范围拓展方法进行处理。

图71 #场景采集各曝光级数图像Fig.7 Eight exposure level imagesin scene 1#

如图8(a)所示,分别为对场景1双通道采集图像动态范围上拓展和下拓展处理图像,拓展系数k分别为4和1/6。为了说明动态范围拓展效果,使用累计直方图估计曝光时间倍率的方法[16],取像素值映射曲线在像素值0处的斜率,分别估算出动态拓展图像相对于原图像的曝光积分时间倍率为2.01和1/2.40。本文简化曝光参数为积分时间一个参数,根据多曝光高动态范围成像原理,得到动态范围拓展后各个曝光级数可捕获光辐射度范围的关系如图8(b)所示,该方法可以对采集的双通道图像的动态范围起到明显拓展作用,降低了因基于两幅LDR图像生成HDR图像带来动态范围偏低的影响。

相同的方法分别获得2#~6#场景的双通道图像及其拓展图像,2#场景在暗室中使用LED 台灯作为高亮目标,3#场景在室外利用路灯、灯字牌作为高亮目标,4#场景在室外将屋内照明作为高亮目标,5#场景在室外利用白炽灯作为高亮目标,6#场景在室外利用路灯、车灯作为高亮目标,如图9所示。为了验证该实验平台的HDR 成像特点,避免因多次曝光图像融合造成“鬼影”问题,3#~6#场景是对动态场景采集图像。图中前两列是利用实验平台采集的曝光级数0级和7级的图像,后两列是对双通道图像动态范围拓展后获得的图像。各场景的拓展系数及估算曝光倍率见表2。

图8 场景1#采集图像动态范围拓展Fig.8 Dynamic range expansion of images in scene 1#

对双通道图像动态范围拓展后分别使用LP 法、CVT 法、WEA 法和本文方法进行的融合结果如图10所示。相比于图9的双通道图像可以看出:融合算法得到的HDR图像在较亮和较暗区域的细节信息可见性提升明显,这说明图像动态范围拓展是有意义的;LP 法和CVT 法因采用多尺度融合策略,能较好保留图像中细节特征,但未充分考虑不同曝光图像中像素值对融合结果的影响,最终融合效果不太理想;WEA法通过曝光适度评价确定各曝光图像融合权重,但因采用单分辨率融合策略,在低照度场景下对过曝光区域效果不理想;本文方法在通过曝光适度评价确定各曝光图像融合权重的同时,采用多尺度拉普拉斯金字塔融合策略,较好保证了欠曝光区域和过曝光区域的成像效果。

实验表明:对双通道图像动态范围拓展,能够降低因基于两幅LDR图像融合带来动态范围偏小的影响,本文融合方法能够更好地凸显过曝光和欠曝光区域的细节信息,使图像视觉效果更加自然。

图9 各场景图像采集及拓展Fig.9 Images acquisition and expansion

表2 各场景的拓展系数k 及估算曝光倍率Table2 The expansion ratio kand estimated exposure ratio of each scene

在客观评价方面,对各场景图像融合结果分别采用均值、信息熵和边缘相关融合质量指数Q,QW,QE(The fusion quality index,The weighted fusion quality index,The edge-dependent fusion quality index)进行的评价结果如表3所示(各指标中最优数值用黑体标出)。均值反映图像亮度的平均水平[17],数值越大,图像亮度平均水平越大;图像信息熵反映图像包含的平均信息量[17],即图像灰度分布的聚集特征;边缘相关融合质量指数是将结构相似理论引出图像融合质量评价所提出的3 项评价指标[18]。从表3可以看出,本文方法在像素均值和信息熵方面占有较大优势,在边缘相关融合质量方面数值指标较为接近。

4 结论

针对当前使用单台相机多次曝光和基于单幅LDR图像获取HDR图像存在的问题,本文基于GSENSE400 BSI型号传感器提出使用两幅不同曝光量图像的场景高动态范围图像融合方法。考虑两幅图像仅能捕获场景有限的动态范围,通过对图像虚拟曝光进一步拓展图像的动态范围。除此之外,本文在图像融合时,通过估算最佳曝光适度下的像素值生成权重图,并采用多分辨率的金字塔分解方式,使得生成的HDR图像效果更好,能够较好解决低照度动态场景中HDR图像融合问题。

图10 各场景HDR图像融合结果Fig.10 HDR image fusion results of each scene

表3 融合结果评价指标Table3 Evaluation of fusion result

猜你喜欢
级数双通道照度
近端胃切除双通道重建及全胃切除术用于胃上部癌根治术的疗效
福建省医保局率先上线省级“双通道”电子处方流转服务
机器视觉的低照度图像缺陷识别方法
求收敛的数项级数“和”的若干典型方法
低照度环境对亲社会行为的影响:促进还是抑制*
无穷级数的柯西和与切萨罗和
一个非终止7F6-级数求和公式的q-模拟
电力信息网络双通道故障自动探测策略探究
几种常用的正项级数审敛法的比较
智典DDR2 800 2GB/4GB