基于双线性滤波器的安防相机低照度去噪研究

夏 嫣，周靖洋

（公安部第三研究所，上海 200031）

引言

安防监控用摄像机广泛应用于道路、住宅小区、单位楼宇及各重点单位重要部位的监控工程项目中。然而，受安装位置、监看范围、恶劣天气（雨雪、冰雹、雾霾）、设备自身原因和光照条件变化（白天、夜晚）等多种因素影响，安防监控用摄像机会在拍摄时产生噪声，尤其在低照度场景下，存在短曝光高噪声、长曝光图像模糊等现象。安防监控用摄像机是以安全防范为目的，是通过图像传感器将视场覆盖范围内客观事物的光信息转换为视频图像信息的采集装置。而图像传感器对环境照度较为敏感，在低照度环境下可视条件较差，噪声更为明显。为此，研究监控摄像机在低照度场景下抓拍图像的去噪优化对提升监控抓拍图像的主观评价及可靠性有着重要的意义。

摄像机噪声的产生原因有很多不同的解释。Asinoff 等[1]研究了噪声模型和不同的曝光设置之间的关系。Brooks 等[2]在此基础上，将噪声表示为散粒噪声（shot noise）和读入噪声（read noise）的叠加。研究者从不同角度进行了摄像机的去噪研究。Liu 等[3]使用可适应的局部噪声值为参数进行去噪。Ehret 等[4]通过对图片进行分块，再对分块的图片单独进行降噪处理和平滑化，得到去噪图片。Arias 等[5]通过计算连续帧之间的光流，再使用卡尔曼滤波器对光流的噪声进行去噪，最后经过平滑化得到去噪的图像。其他研究者有的从不同角度利用视频连续帧进行去噪研究[6-9]，还有的借助深度学习，训练去噪神经网络[10-12]。

但是当前的去噪方法并没有考虑低照度环境对噪声的影响，且无法有效保留边界信息，易产生边缘退化。Buades 等[13]在双线性滤波器[14-15]的基础上，通过研究滤波器的偏微分方程，得到了能更好地保留边缘信息的去噪算法。Wong等[16]也利用双线性滤波器，研究了生物图像的去噪。

因此，本文在双线性滤波器的基础上，通过研究人眼对不同亮度强度的敏感程度，提出了一种针对低照度环境的图像去噪方法，并借鉴Paris 等[17]提出的边缘可知拉普拉斯金字塔滤波器，使用3×3 卷积核构建图像金字塔，以去除低照度图像中的噪点，同时保留图像的边缘信息，提升人眼对图像的主观评价。实验结果显示，本文的自适应去噪方法同基于小波变换的传统去噪算法相比，保留了图像的边缘信息，并更好地提升了低照度场景下图像的主观评价。此外，由于亮度信噪比是衡量摄像机去噪能力的主要指标，且数字摄像机信噪比对其在低照度环境下的拍摄效果有重要影响，因此对摄像机进行了亮度信噪比实验。使用Imatest 软件，在11 阶灰阶卡下，进行亮度信噪比测试，结果显示本文所提方法可提升摄像机的亮度信噪比。

1 相关理论

1.1 图像去噪

传统数字图像去噪方法是将采集到的含有噪声的信号表示为原始信号与噪声信号的叠加，即

式中：f[n] 表示原始信号；W[n] 表示加入的噪声信号；X[n] 表示采集到的带有噪声的信号。

小波变换滤波是先通过建立对原始信号的估计，再进行阈值处理，将噪声所属的高频分量剔除，得到滤波后的图片。但这会造成图像边缘特征退化，出现振铃效应，即图像边缘出现涟漪状的振铃纹理，如图1 所示。

图1 振铃效应Fig.1 Ringing effect

1.2 双线性滤波

由于高斯滤波会使图像的边缘变得模糊，Tomasi 等[14]在高斯滤波的基础上，加入像素值滤波算子，以减弱差异过大的像素值的影响，从而保留图像边缘信息。通过对每个位于 (i,j)（i和j分别代表图片的纵向和横向的索引）像素及其邻域内所有像素进行卷积滤波，得到滤波后的图片，计算式表示为

式中：Wr(i,j)是在空间域中位于 (i,j) 的高斯卷积核函数；Wv(i,j)是在像素值域中位于 (i,j) 的高斯卷积核函数；I是位于 (i,j) 邻域内像素的值。利用Wv(i,j)对像素值进行约束，降低与当前像素的像素值差异过大的分量，使得图像的边缘信息得以保留。如图2 所示，蓝色和红色部分，二者的差异远大于内部的差异，因此双线性滤波将差异大的蓝色和红色两部分对彼此的影响降低，从而保留蓝色和红色部分的边缘信息。

图2 双线性滤波原理示意图Fig.2 Schematic diagram of bilateral filter

1.3 亮度信噪比计算

在 Imatest 软件中，使用11 阶灰阶卡（如图3所示）计算亮度信噪比SNRbw。

图3 灰阶卡示意图Fig.3 Schematic of gray scale chart

通过计算灰阶卡的黑色块（亮度密度最低的一块，对应上一行最左边的黑色部分）和白色块（亮度密度最高的一块，对应上一行最右边的白色部分）之差进而得到SNRbw，计算方法为

式中：Sw是白色块像素值；Sb是黑色块像素值；Nmid是11 阶灰阶卡上中间亮度色块的噪声标准差。

2 低照度图像的去噪

去噪对监控摄像机有着重要意义，尤其是在低照度环境下，噪声更为明显，而目前监控摄像机普遍采用基于固定基底的去噪算法，主要有傅里叶变换和小波变换。前者对瞬时信号的表示不佳，无法获得信号在特定位置上的特征。后者凭借其多分辨率逼近的特性，可以对特定位置的信号进行特征分析。但是这种固定基底的分析方法，无法很好地保留边缘信息，尤其是在图像区域“陡峭”变化时。此外，低照度环境下的图像，有着诸如整体亮度较暗、对比度较低等特点，上述这些方法无法有效地应对这些问题。为此本文针对低照度环境进行了去噪研究。

2.1 人眼对光照的感受

人眼对不同光密度的感知强度不一样：对光密度高（像素值高）和光密度低（像素值低）区域的噪声感知较弱；对光密度处于中间区域的噪声感知较强。因此，人眼对于图片中像素值越高或越低区域的噪声响应越低，而对处于中间像素值区域的噪声响应最强烈。且因噪声的随机特性，当其分布在像素值较大区域时，与周围像素的差值相对较小，像素值差为

式中：G(a,b) 是像素值差；pa是像素点a的像素值；pb是像素点b的像素值。

因此，将噪声对周围像素值的影响用像素值差比率表示

式中：G1，G2分别表示两个像素值差值；Rgd表示像素值差比率，数值越高表示影响越大。

由分析可知，当噪声位于中间区域时，由于像素值差波动较大，导致像素差值比率较大，所以噪声对中间像素值区域的影响更强。在此基础上进一步分析低照度环境下的去噪方法。

2.2 低照度场景图像去噪

低照度场景受限于光照条件，图像的对比度较低，像素值主要集中于较低的区间，如图4所示。

图4 低照度场景下图像的像素值分布Fig.4 Pixel distribution in low illumination images

人眼对不同光照条件的噪声有不同的敏感度，当噪声处于中等光密度区域时，人眼的响应最为灵敏。在低照度环境下，图像像素值普遍较低，需要考虑局部和整体的像素分布。通过计算像素值差的绝对值，并同区域内最大像素值差比较，以判断像素值在区域内的高低；再根据噪声相对于像素值在整体和局部中的分布，综合像素值差，决定噪声的影响大小。因此，先建立多级像素值差的图像金字塔，再通过索引图像金字塔，增加噪声对位于中间区域像素值的影响，以适应低照度环境下的图像去噪。

2.2.1 图像金字塔的构建

使用3×3 卷积核，卷积函数选择输出像素值差绝对值中的最大值式，即

得到像素值差图像（第1 层）再进行下采样（取3×3 区域内最大像素值为输出），得到第2 层像素值差图像（长、宽各是原图像的1/3），依次如此操作得到第3 层像素值差图像，从而得到3 层图像金字塔，如图5 所示。

图5 图像金字塔的构建Fig.5 The construction of image pyramid

2.2.2 低照度去噪卷积核的构建

建立多级像素值差索引的图像金字塔后，通过对不同层级像素值差的索引，分别获取总体和局部的像素值差对当前像素的影响。使用3×3卷积核对图像进行滤波，分别选择卷积核所对应的第1 层、第2 层和第3 层图像金字塔中最大像素值差，得到对应的Gm1、Gm2和Gm3，并结合双线性滤波器，卷积核函数可表示为

式中：Dli(i,j) 是卷积函数；Wr(i,j)和Wv(i,j)同双线性滤波器卷积函数一致；Wg(i,j)是低照度环境下的卷积函数。

式中：σd是用于图像金字塔第1 层与第2 层的方差；σn是用于图像金字塔第2 层与第3 层的方差，以增加噪声对中间像素值区域的影响，整体流程如图6 所示。

图6 低照度场景去噪原理图Fig.6 Schematic of low illumination denoising

3 实验结果

3.1 实验设置

摄像机选择普通枪式摄像机，分辨率为1 920×1 080；Imatest 软件型号为Imatest Master 2 021.1；测试电脑为 Dell-Optiplex 9020；CPU 型号为i7-4790。

3.2 低照度场景下的去噪实验

采用普通枪式摄像机在夜间道路场景下，对道路上的车辆进行抓拍，并使用抓拍到的汽车图片进行实验。从图7 所示的汽车抓拍图中可以看到明显的噪点，车身的细节被噪点遮盖，无法看清汽车的轮廓。

图7 带有噪声的汽车抓拍图Fig.7 Car image with noise

使用基于小波变换的传统去噪算法进行去噪，采用16 级多贝西小波，并用软阈值对汽车抓拍图进行去噪处理，得到多贝西小波去噪的汽车抓拍图，见图8。图像的边缘较为模糊，车身轮廓不够清晰，丢失了部分细节信息。

图8 多贝西小波去噪后的汽车抓拍图Fig.8 Car image denoised with Daubechies wavelet

使用本文算法对相同图片进行去噪处理，得到去噪后的汽车抓拍图见图9。图中噪点被明显消除，图片的细节得到还原，车身的轮廓边缘也变得清晰可见。

结果表明，传统小波变换算法与本文方法去噪的结果相比，图片的边缘较为模糊，车身的轮廓不够清晰，丢失了部分细节，并且在车灯的边缘有明显的振铃效应产生（光晕），无法很好地保留边缘信息，图像的整体平滑性也不如本文方法的。因此，本文方法不仅能将低照度条件下拍摄的图像的噪声去除，还能保留了图像边缘信息，更好地提升了图像的主观评价质量。

3.3 亮度信噪比实验

打开灯箱，将11 阶灰阶卡放置于灯箱前，用对好焦的摄像机对准11 阶灰阶卡，并调整摄像机位置，直至11 阶灰阶卡完全位于摄像机画面正中间。采样得到11 阶灰阶卡图片，再将其输入至Imatest 软件进行亮度信噪比测试，得到其亮度信噪比值为49.1 dB，如图10 所示，图中红、绿、蓝、灰四根折线分别为不同密度下测得的信噪比。对采集的11 阶灰阶卡图片使用本文方法进行去噪处理，得到去噪后的图片并输入至Imatest 软件，以同样的参数配置进行亮度信噪比实验，测得其亮度信噪比值为53.8 dB（如图11 所示）。相对于未去噪的图片，使用本文方法去噪后，亮度信噪比提升了4.7 dB，表明本文方法能有效地提升图片的亮度信噪比。

图10 去噪前的亮度信噪比值Fig.10 SNR value before denoising

图11 去噪后的亮度信噪比值Fig.11 SNR value after denoising

4 结论

本文提出了一种用于低照度环境下的监控摄像机去噪方法，对不同层级像素值差进行分析，建立多级像素值差索引的图像金字塔，并在双线性滤波器的基础上，设计了一种适用于低照度的去噪卷积核。通过对图像金字塔上不同像素值差的索引，增加噪声对中间像素值区域的影响，实现低照度环境下图像噪点的消除。实验中，在夜间拍摄的低照度道路图片上，本文方法将图像中的噪点明显去除，并且与传统基于小波变换的去噪算法相比，更多地保留了图像的边缘信息，提升了图像的主观评价质量。在亮度信噪比实验中，本文方法明显地提升了图片的亮度信噪比。