基于降采样块匹配的数字视频3D降噪算法

谷元保，余康为，姚洪涛

（长春理工大学　计算机科学技术学院，长春　130022）



基于降采样块匹配的数字视频3D降噪算法

谷元保，余康为，姚洪涛

（长春理工大学计算机科学技术学院，长春130022）

摘要：针对数字视频图像的高斯白噪声，提出了一种基于降采样块匹配的3D降噪算法。该算法先进行边缘检测并分块噪声估计，根据噪声强度设置阈值，然后利用图像的自相似特征，对搜索块内部像素降采样，再进行块匹配运算以降低算法复杂度。在自适应阈值筛选阶段，对选出的刚体运动块和非刚体运动块分别统一进行处理，对刚体运动区域进行时域加权滤波，对非刚体运动区域用改进的双边滤波器进行系数自适应滤波，减少了单独对每个块进行处理所产生的块效应，对细节处理更好。仿真结果表明，该算法能明显改善图像主观质量，提高信噪比。

关键词：边缘检测；噪声估计；降采样；运动检测；双边滤波

由于摄像设备的内部结构与外部环境等因素，在获取、存储和传输视频的过程中，都会不可避免的引入噪声，噪声不仅会严重影响视频图像的主观质量，而且会带来额外的高频分量，浪费更多的比特来保留这些无用信息。此外，噪声的存在还会影响到图像增强、目标识别等。因此降噪是视频图像处理系统中最为关键和共同的处理之一。

目前，视频降噪算法基本上可以分为时域降噪（1D降噪），空域降噪（2D降噪）和转换域降噪几种算法［1，2］。这些算法中，时域滤波较空域滤波在保护边缘和细节方面更具有优势，但是时域滤波处理运动物体会引入拖影现象，空域滤波只用到了视频图像空间上的相关性，处理较为简单，比较典型的有高斯滤波、中值滤波、双边滤波和Non-local means filter［3-6］，但是单纯的空域滤波容易引起帧间闪烁，模糊边缘和纹理。典型的转换域降噪算法如傅里叶变换滤波和小波变换滤波等［7，8］，通过对信号变换后系数的分析和筛选，去除掉噪声，保留有用信号，在保留图像边缘和细节上有较好效果，但是在选择小波基上比较困难，应用受到一定限制［9，10］。参考文献［11］提出了一种基于运动估计的视频3D降噪算法。该算法能够根据噪声标准差自动调整运动强度检测阈值，同时根据运动的强度自适应的选择时域滤波或空域滤波。该算法结合了时域滤波和空域滤波的优点，是一种典型的3D滤波器，有较好的参考意义［12-14］，但该算法块搜索时间复杂度较高，有明显的块效应，同时模糊了边缘。

针对以上问题，本文以参考文献［11］中算法为参考算法，提出了一种基于降采样块匹配的降噪算法，本算法主要从以下几个方面进行改进，首先引入了边缘检测机制，根据边缘检测的结果去除含有强边缘的子块，然后进行噪声估计，避免了子块噪声过估计。然后引入了降采样块匹配［15］，降低了块匹配算法时间复杂度。最后空域滤波结合边缘检测结果进行自适应调整。实验结果表明，本方法能够减少块效应，改善视频的信噪比和主观质量，具有较好的降噪效果。

1　算法流程与原理

本文提出的基于降采样块匹配的数字视频降噪算法的流程如图1所示。按以下步骤进行：

图1　本文算法流程图

（1）提取输入视频连续三帧图像：前一帧、当前帧和后一帧。

（2）对当前帧图像进行简单边缘检测，然后分块噪声方差估计，并根据噪声方差设定运动检测的阈值T。

（3）分别对前一帧图像和当前帧图像、后一帧图像和当前帧图像降采样后进行运动估计，以最小SAD（Sum of Absolute Difference）准则，得到前向匹配块和后向匹配块。

（4）根据前向匹配块与后向匹配块对采样前的块进行运动检测，若匹配块与当前块的MAD （Mean Absolute Difference）值小于阈值T，则对刚体运动区域进行时域加权滤波；若匹配块与当前块的MAD值大于阈值T，则认为该块是非刚体运动，然后根据边缘检测结果进行自适应空域滤波。

（5）对步骤（4）中滤波的结果加权平均，同时输出作为下次滤波的前一帧，参与到递归滤波中。

1.1边缘检测和噪声估计

噪声估计是阈值设置中关键的一步，它的大小直接决定了运动判断的好坏。传统的噪声估计容易造成噪声过估计，从而将运动的物体判断为静止的，影响降噪结果。本文先利用Sobel算子进行边缘检测并记录下边缘点的坐标值，然后将图像分成16* 16像素互不重叠的子块，如果子块Bmn中含有连续N个边缘点，则排除Bmn对剩下的子块进行噪声估计。噪声估计方法采用基于块内邻域相关度的方法计算。块内邻域相关度最高的块，其平滑程度越高，此时其像素间的突变可认为是由噪声引起的。计算方法如下：分别计算块内每一个像素点与其所有相邻像素点差的绝对值的平均值，然后求得所有平均值的和得到ψ，ψ即为块内邻域相关度，从所有块中选出最小ψ的块，该块均值和方差即可作为噪声的均值和方差，阈值T即为该块方差。实验结果如表1所示。

表1　噪声方差估计值与真实值比较

1.2基于降采样块匹配的运动估计

常见的运动估计方法有以下几种，考虑到计算复杂度和实时应用，本文采用的算法是一种基于降采样的块匹配三步搜索改进算法［15］。该算法是利用图像的局部相似性特征，对搜索块内的像素采用交叉采样方式（如图2所示）做块匹配的运算。降采样后的块用改进后的新三步法分别在前后两帧中搜索匹配块。由于减少了块内参与运算的像素点，每个块计算运算量也减少。在匹配准则的选取上，由于MAD准则不需要乘法运算、实现简单方便并满足实时性要求，便于硬件实现，因此使用最多。实际中通常使用绝对误差之和SAD准则代替MAD准则，其定义如下：

式中，（m，n）表示像素在图像中的坐标位置，k表示图像在视频中的帧数，（i，j）为像素（m，n，k）与（m+i，n+j，k -1）间的位移矢量，f（m，n，k）与f（m+i，n+j，k-1）分别是当前fk帧与参考帧fk-1像素（m，n，k）与（m+i，n+j，k -1）的灰度值。若某个位移矢量（i0，j0）处，SAD（i0，j0）值达到最小，则该矢量即为所求的最佳块匹配运动矢量。

图2　降采样的方式图（黑点方块表示采样点）

1.3运动检测

视频图像中的物体运动可以分为刚体运动和非刚体运动，所谓刚体运动是指物体在运动过程中几何特征（例如体积、形状、灰度等）保持不变；而非刚体的几何特征随时间而变化（例如边缘的旋转、缩放等）。对于刚体运动部分，由于其时域上具有高相关性，因此可以根据运动估计的结果，沿着运动轨迹进行时域滤波。对于非刚体运动部分，其时域上相关性低，搜索到的匹配块也不够准确，此时需要利用二维帧平面中的空域相关性才能较好的抑制噪声。为了区分出当前块是否进行刚体运动，根据噪声估计设定一个阈值T进行运动检测，当搜索到的匹配块与当前块的MAD大于这个阈值时，则认为当前块是非刚体运动，否则，则认为当前块为刚体运动。这就是该运动检测算法的主要思想。

1.4时域滤波

通过运动检测，若判定当前块运动为刚体运动，则对该块进行基于运动估计的时域平滑滤波。滤波器结构如公式（3）、（4）所示：

式中p（t-1）和p（t+1）分别表示前一帧和后一帧上采样恢复后的结果，p（t）表示当前帧上采样恢复后的结果，pout1表示前一帧和当前帧时域加权滤波的结果，pout2表示后一帧与当前帧时域加权滤波的结果。w为权系数，本文取值为0.6［11］。

1.5改进的双边滤波

对于非刚体运动块，采用双边滤波器滤波，对滤波窗口采用自适应机制处理，双边滤波器权系数如公式（5）所示。本文利用边缘检测的结果来调节滤波窗口大小，设滤波半径为N，则滤波窗口为（2N + 1）*（2N +1），判断在当前要处理像素点滤波窗口内边缘点的个数，当边缘点的个数小于5%时，滤波半径N +1，并再次判断滤波窗口内的边缘点个数是否还小于5%，重复此过程，直到边缘点的个数大于5%时返回上一步的滤波半径；当滤波窗口内边缘点的个数超过50%时，滤波半径N缩小一半。

其中wd（i，j）为空间邻近度因子，它的设置与普通的平滑线性滤波器的权系数的设置相同，表达式如下：

式中，wr（i，j）为亮度邻近度因子，由于指数函数曲线与倒数函数曲线变化趋势几乎一样，都随着亮度差值的增大而减小（如图3所示），且倒数函数运算量较小，并能得到更高信噪比［16］，便于硬件实现，故用倒数函数简化，表达式为：

式（6）、（7）中σd和σr分别表示像素之间的距离差和亮度差，它们共同决定了双边滤波器的权系数，其中σr为自适应滤波系数，它的值为噪声估计方差δ的两倍。

图3　倒数函数与指数函数对比曲线图

1.6加权平均输出

当前帧需要分别与前一帧和后一帧进行滤波处理，因此将得到两个滤波结果，对这两次滤波结果需要加权平均才能得到最终的输出。加权平均能够更好的利用图像间的相关性，信噪比更高。最后，将滤波结果输出，同时将滤波结果作为下一次滤波的前一帧参与到递归滤波中去。加权平均的公式如下：

其中pout1和pout3分别表示当前帧与前一帧时域滤波和空域滤波的结果，pout2和pout4分别表示当前帧与后一帧时域滤波和空域滤波的结果，||表示或，0.6 和0.4为加权系数，由于前一帧已参与过滤波，所以系数适当增加，p0表示最终输出结果。

2　实验结果分析

本文实验结果在Matlab平台下采用两种方案进行仿真，第一种方案采用foreman视频测试序列不同帧进行对比，第二种方案采用soccer、akyio、city、foreman前100帧作为测试序列进行对比，测试视频均为YUV格式，噪声模型为0均值的高斯白噪声。对foreman序列第17帧处理结果如图4所示。

本文从主观客观两方面对降噪效果进行评判，主观方面采用人眼直接对比观察图像降噪效果，客观方面采用PSNR对比研究。PSNR公式如下：

式中，fmax是图像信号的峰值，通常取255，MSE为均方误差，K为视频帧数，WH为图像大小。

图4　foreman序列第17帧降噪效果图

如图4所示，（a）为foreman序列第17帧原图，（b）是高斯白噪声强度为δ=10的加噪图像，（c）和（d）分别为参考算法和本文算法去噪结果图。从图4（c-d）中发现，参考算法在帽子边缘的滤波效果不够，在脸部部分存在块效应，影响主观感受，而本文算法在帽子边缘和脸部表现较好。

如表2所示，基于运动估计的视频3D降噪算法能自适应区分刚体运动块和非刚体运动块，以此算法为参考算法，由图4可以发现两者都有较好的去噪效果，但是参考算法以块为单位单独处理，不可避免的引入了些许块效应，影响主观效果，同时本文算法将所有非刚体运动区域和刚体运动区域多块一起进行处理，避免了块效应的产生，具有更高的峰值信噪比。此外本文算法采用了交叉采样块搜索方法，在平均搜索点数上都比参考算法小，因此具有更快的搜索速度。

从表3中可以看出本文降噪算法能够适应多种噪声强度，而参考算法在噪声强度较小时，损失了边缘和细节，导致图像模糊，原因在于参考算法引入了块效应且未能较好估计噪声强度。本文降噪算法在噪声较小时能很好的估计噪声强度，较为准确的设定滤波系数，同时采用了改进后的双边滤波，比经典滤波器具有更强的滤波能力。City和soccer视频测试序列中边缘细节较多，本文算法比参考算法PSNR平均提高了0.73dB。对于平坦区域较多的akyio测试序列，本文采用的时域滤波与参考算法滤波效果相当，而在脸部变化较为剧烈的视频序列foreman中，本文算法较为准确地估计噪声，能够更好的区分刚体运动块和非刚体运动块，不会带来运动拖影，PSNR值比参考算法平均提高了0.64dB。

表2　同一噪声方差下不同帧的PSNR/dB

表3　不同噪声方差下测试序列的平均PSNR/dB

3　结论

本文提出了一种基于降采样块匹配的视频3D降噪算法，该算法首先进行边缘检测并估计出噪声强度，然后通过降采样和运动估计等技术得到像素点的运动信息和局部结构，根据这些信息自适应选择不同的滤波策略。实验结果表明该算法既能较好的去除噪声分量，减少块效应，又能保留高频部分的细节，提高主观视觉感受。

参考文献

［1］Chen G Y，Bui T D，Krzyzak A，et al. Adaptive video denoising using block matching 3-D filtering ［C］. IEEE Canadian Conference on Electrical & Computer Engineering（CCECE），2012（25）：1-4.

［2］Ren J，Zhuo Y，Liu J Y，et al. Illumination-invariant non-local means based video denoising［C］. IEEE International Conference on Image Processing （ICIP），2012（19）：1185-1188.

［3］Lu J，Zou Y，Ye Z. Enhanced fractal-wavelet image denoising［C］.ISECS International Colloquium on Computing，Communication，Control，and Management，IEEE，2008（1）：115-119.

［4］陈立.微光ICCD数字图像去噪的研究［D］.长春：长春理工大学，2013.

［5］周占民.背景提取与前景滤波相结合的时空联合视频降噪［J］.电子测量技术，2015，38（6）：68-72.

［6］Lu Q B，Lu Z B，Tao X Q，et al，A new non-local video denoising scheme using low-rank representation and total variation regularization［C］. International Symposium on Circuits and Systems（ISCAS），2014：2724-2727.

［7］Eric J Balster，Yuan F Zheng，Robert L Ewing.Combined spatial and temporal domain wavelet shrinkage algorithm for video denoising［J］.IEEE Trans Circuits Syst Video Techn，2006，16（2）：220-230.

［8］吴万正.基于小波变换的视频去噪系统的FPGA实现［D］.广州：华南理工大学，2014.

［9］杨文波，马天玮，刘剑.非局部变分修复法去除高密度椒盐噪声［J］.中国光学，2013（6）：876-884.

［10］李明辉.基于小波分析的图像降噪算法研究［D］.长沙：中南大学，2012.

［11］龙红梅，田逢春，谭洪涛，等.一种基于运动估计的3D视频降噪算法［J］.计算机与数字工程，2009，236（6）：122-124.

［12］唐权华，雷金娥，周艳，等.一种时空联合的视频去噪方法［J］.计算机工程与应用，2010，46（6）：163-165.

［13］高辉，谢永昌，狄红卫.一种基于时空联合的实时视频降噪算法［J］.微型机与应用，2011，30（16）：36-38.

［14］白瑞广，金湘亮，徐杰.一种基于运动估计的视频降噪算法［J］.红外与激光，2014（4）：443-446.

［15］许海峰，赵文庆，孙峥，等.一种基于降采样的块匹配三步搜索改进算法［J］.复旦学报：自然科学版，2010 （12）：653-659.

［16］陈潇红，王维东.基于时空联合滤波的高清视频降噪算法［J］.浙江大学学报：工学版，2013（5）：853-859.

A Digital Video 3D Denoising Algorithm Based on Down Sampled Block Matching

GU Yuanbao，YU Kangwei，YAO Hongtao
（School of Computer Science and Technology，Changchun University of Science and Technology，Changchun 130022）

Abstract：For the Gauss random noise of digital video. An improved 3D denoising algorithm based on the down sample block matching is proposed. Firstly the new 3D denoising algorithm carries on the edge detection and the block noise estimation，according to the noise intensity setting threshold. Then，by using local similarity of image，the pixels in the search block are used to do crossing sampling block matching in order to reduce th-e complexity of the algorithm. In adaptive threshold selection stage，the selected rigid moti-on blocks and the selected non-rigid motion blocks are unified processed respectively with d-ifferent methods. The temporal weighting filtering method is applied to the rigid motion area. Of non rigid motion area using the improved bilateral filter coefficients adaptive filter，reduces the individually for each piece of block effect produced by processing，bet-ter for details. The simulation results show that the proposed algorithm can significantly improve the subjective image quality，improve the signal-to-noise ratio.

Key words：edge detection；noise estimation；down sampled；motion detection；bilateral filtering

中图分类号：TN911.73

文献标识码：A

文章编号：1672-9870（2016）02-0098-05

收稿日期：2015-10-12

作者简介：谷元保（1976-），男，副教授，E-mail：570766073@qq.com