一种基于时空联合的实时视频降噪算法

高 辉 ，谢永昌，狄红卫,2

(1.暨南大学 光电工程研究所，广东 广州510632；2.光电信息与传感技术广东普通高校重点实验室（暨南大学），广东 广州510632)

视频监控以其直观、方便、信息内容丰富而广泛应用于安防、监控等场合，成为金融、商业、交通乃至住宅、社区等领域安全防范的重要手段，为这些行业的安全防范和环境监控起到了不可忽视的作用。然而受监控环境、光照变化等影响，噪声一直是实时视频监控中不可回避的问题，也成为影响视频质量的重要因素。

目前视频降噪的方法主要分为空域降噪法和时域降噪法两类。空域降噪法一般基于低通滤波的方法，但在视频监控中，由于空域滤波没有充分利用时域信息，效果并不理想。时域降噪法既可以有效去除噪声也可以很好地保护图像的细节，可是单纯的时域滤波会引入运动拖影现象。参考文献[1]提出了一种基于运动补偿的时域自适应视频降噪算法，该算法时间复杂度相对较高，而且为了满足实时性，不能结合多帧数据进行滤波，只考虑了前一帧数据，因而影响了降噪效果。参考文献[2]提出了结合运动检测区分每帧图像的运动区域和非运动区域，再分别对不同的区域采用不同的滤波策略。这种结合了时域、空域的视频滤波降噪算法充分利用了视频的时域、空域信息,能够避免使用单个算法的缺点，得到了不错的效果，然而，这种时空联合去噪方法的效果取决于运动检测的精确度。

针对监控视频图像的特点，本文提出了一种基于时空联合的实时视频降噪算法。通过结合多帧图像进行运动检测，自适应地区分图像的运动区域和静止区域，对静止区域采用时域加权均值滤波，对运动区域采用空域ANL滤波。实验结果表明，该方法能够显著提高视频的信噪比和图像的主观质量，而且没有运动拖影和明显的细节信息丢失，并在视频监控系统中得到了商业化的应用。

1 基于运动检测的时空联合视频降噪算法

1.1 算法流程

基于运动检测的时空联合视频降噪流程如图1所示。

图1 基于时空联合的实时视频降噪算法流程图

具体步骤如下：

(1)以4像素×4像素大小的宏块为基本处理单位，进行噪声方差的估计；

(2)结合噪声方差设置运动检测的阈值T;(3)利用宏块的像素值之和进行运动检测;

(4)针对不同的区域，对运动区域进行ANL滤波，对非运动区域进行时域均值滤波。

1.2 运动检测算法

运动检测算法是本算法的核心，它决定整个算法的性能。运动检测的方法主要有背景差分法、时间差分法和光流法。光流法计算复杂而且抗干扰性差，一般无法做到实时处理。帧间差分法只检测相对运动的物体，因两幅图像之间的时间间隔较短，差分图像受光线变化影响小，检测有效而稳定，但该方法存在忽视两帧间物体重叠部位形成空洞和检测出的物体的位置不精确的缺陷。与帧间差分法相比，背景差分法一般能够提供较完全的特征数据，得到较精确的目标图像，但在实际应用中，由于进行比较的两幅图像摄自不同的时刻，因此容易受光照变化、风等自然因素和其他人为因素的影响，出现许多伪运动目标点，影响目标检测的效果[3]。

在视频监控中，时域降噪的效果远比空域降噪要好，在不造成运动拖影的前提下应以时域降噪为主，使降噪的效果最优，因此运动检测相当关键。参考文献[2]采用帧间差分法，但是参考文献[2]判断运动和静止块的准则是：若当前帧的当前子块与前帧对应子块中超过80%的块满足设定条件，当前子块才被判断为静止区域。这种方法使得很多静止的区域被误判为运动的区域，从而降低了去噪的效果，同时带来过多的使用空域降噪而引起的在视频序列应用上的闪烁问题。本文提出只要当前帧的当前子块与前帧对应子块中有一个子块满足设定条件，当前子块就被判断为静止区域，进而采用加权时域均值滤波[4]。

首先将待处理的视频帧划分成4像素×4像素的宏块。宏块的选取不宜过大也不宜过小，宏块越大检测出来的运动区域越不精细，从而导致运动的区域过多,影响降噪的效果。宏块选取过小会造成运动检测不准确，特别是在高噪声背景下检测。这是因为本文为了进一步减少噪声的干扰，采用宏块的像素值之和作为设置运动检测阈值的判断准则,这相当于做了一次简单的均值滤波。划分宏块后，计算宏块的像素值之和，然后进行比较，若两对应宏块像素值和的差值的平方小于阈值T，则认为是静止状态。具体的步骤如下(记当前帧为k，宏块的横坐标和纵坐标分别为 i、j）：

(1)初始化前L帧的每个宏块的运动状态为静止状态即 M(i,j,k-l)=0，其中 l∈[1,L]，M(i,j,k-l)为 0 时表示静止状态，为1时表示运动状态;

(2)求当前宏块B(i,j,k)的像素值之和SB(i,j,k);

(3)SB(i,j,k)与第k-l帧对应宏块的像素值之和SB(i,j,k-l)比较，若 D(i,j,k-l)=[SB(i,j,k-l)-SB(i,j,k)]2＞T，则将以B(i,j,k-l)为中心的3×3的宏块设置为运动状态，即 M(m,n,k-l)=1,其中 m∈[i-1,i+1],n∈[j-1,j+1];

(4)若 l＞L，则转到步骤(5),否则 l=l+1,并转到步骤(3)进行下一帧对应宏块的检测；

(5)若前L帧对应宏块中有一个宏块的M(i,j,k-l)=0，即为静止状态，则将当前宏块判断为静止区域，令M(i,j,k)=0；若完成所有宏块的检测则转到步骤(6)，否则转到步骤(2)进行下一个宏块的检测;

(6)完成所有宏块的运动检测。

1.3 时域加权均值滤波

对于当前帧中判定为静止区域的块，采用时域加权均值滤波实现降噪。具体如下：

式中：

1.4 空域降噪中的ANL算法

对于当前帧中判定为运动区域的块,采用空域降噪。传统的空域降噪方法有均值滤波、中值滤波、加权均值滤波等，这些方法都会造成明显的细节信息丢失[5]。空域降噪的算法中，Non_local means是一种性能优良的算法，特别是基于Non_local means的邻域自适应算法 (简称ANL算法)降噪效果很好[6]，本文采用 ANL作为时空联合降噪算法中的空域降噪方法。

假设被噪声污染的图像为v={v(x)|x∈I}，则滤波之后的图像表示为 NL[v](x)，对于每一个像素 x，通过计算其加权平均来得到去噪之后的图像：

其中：

式(2)中，w(x,y)是权值，根据像素点 x和像素点 y之间的相似程度来计算，并且满足0≤w(x,y)≤1，Σyw(x,y)=1。这种相似程度并不是简单地对这两个像素点的直接差值进行度量，而是通过比较v(Nx)和 v(Ny)的相似程度以求得权值，v(Nk)表示以像素k为中心的一个矩形区域。像素之间相似程度的判定是根据这个矩形区域内的对应像素相减之后的平方和的大小来度量的，差值的平方和越小，表明像素越相似，则相对应的权值就会越大;相反，差值的平方和越大，表明像素的相似程度越小，相对应的权值就会越小。dis小于阈值T1的像素，可以认为是噪声带来的影响，其区域相对平坦，因此可以直接求其平均，这样就会较好地去除噪声;而对dis大于阈值T2的像素，其权值为0，这样的截断会减少图像模糊现象，较好地保持图像的边缘;而对大于T1小于 T2的像素，可以按照其实际的dis来计算权值。

如图2所示，图中粗线区域中心A表示待处理点，其右上方邻域的点B为要加权平均的点，即虚线区域中心像素点，为了计算此点的权值，以待处理点A为中心的3×3的矩形窗口和B点为中心的 3×3矩形窗口内像素点对应相减的平方和，即(1-1′)2+(2-2′)2…来度量权值。本文采用9×9大小的搜索范围，相似矩形区域为3×3。

图2 对应像素示意图

2 实验结果与分析

为了说明算法的有效性，本文对添加了高斯噪声的bridge-far测试序列进行了仿真实验，实验结果如图3所示。

从图3(c)和图3(d)的背景可以发现图3(d)的去噪效果比图3(c)的要好，说明本文提出的运动检测算法对运动和静止区域的判断更合理。对于图3(e)和图3(f)两种空域降噪算法，ANL算法明显要比空域自适应降噪算法好很多。从图3(g)和图3(h)中可以看出，本文提出的时空联合降噪算法比参考文献[3]中的算法更好，而且从快速飞入的小鸟和缓慢前进的大船可以看出本算法可以准确地检测出运动区域，同时不会造成运动拖影；从湖面的波纹可以说明本算法没有造成明显的细节信息丢失。表1给出了相应的实验数据。

图3 实验结果

表1 实验数据PSNR比较

针对监控视频图像的特点，提出了一种基于时空联合的实时视频降噪算法。通过结合多帧图像进行运动检测，分别对非运动区域做时域均值滤和对运动区域做空域ANL滤波。实验结果表明,本文提出的降噪算法不仅可以实时有效地去除噪声，而且没有造成运动拖影和明显的细节信息丢失。该算法已在视频监控系统中得到商业化的应用。

[1]李岩,乔彦峰，高丰端，等.一种基于运动补偿的时域自适应视频降噪算法[J].电子器件,2007,3(5)：166-169.

[2]张文杰.一种基于运动检测的智能视频序列降噪算法[J].电 子 工 程 师,2007,33(12)：37-39.

[3]Chen Zihui,Wang Li,Yu Youjian.Algorithm study of motion detection based on background difference and time difference[J].Journal of Tianjin Institute of Urban Construction 2009,15(4)：298-300.

[4]DABOV K,FOI A,EGIAZARIAN K.Video denoising by sparse 3D transform-domain collaborative filtering[A].Proc.15th European Signal Processing Conference.EUSI-PCO 2007,Poznan,Poland,September 2007.

[5]崔建伟，谷源涛，唐昆.采用背景提取和自适应滤波的视频降噪算法[J].电视技术,2009,30(S2)：75-78.

[6]BUADES A,COLL B,MOREL J M.A non-local algorithm for image denoising[A].IEEE Proceeding of Computer Society Conference on Computer Vision and Pattern Recognition.San Diego,USA,2005,2：60-65.