基于彩色边缘与十字型加权模板的马赛克检测

易宇晖，林志贤，郭太良

(福州大学 物理与信息工程学院，福建 福州 350002)



基于彩色边缘与十字型加权模板的马赛克检测

易宇晖，林志贤，郭太良

(福州大学 物理与信息工程学院，福建 福州 350002)

为了解决高分辨率视频马赛克检测识别率不高的问题，提出了一种基于彩色边缘与十字型加权模板的视频马赛克检测算法。该算法先通过基于CIELab色彩空间的彩色边缘检测检出更多马赛克边缘，再采用十字型加权模板进行模板匹配以识别出马赛克块。采用本文算法以及传统算法对高分辨率视频进行马赛克检测，实验结果表明本文算法对视频中马赛克检测的识别率高达98.2%，相比于传统算法识别率提高了7.1%。

马赛克；彩色边缘检测；CIELab色彩空间；模板匹配

马赛克异常是人眼可感受到的一种严重的视频质量异常。随着人们对视频质量的重视，越来越多的学者对马赛克异常进行了研究，涌现出许多优秀的马赛克检测算法。目前大多数马赛克检测算法可以较好地检测出普通分辨率的马赛克异常，但随着2K、4K分辨率的普及，更好的视频编码方式层出不穷，当前视频马赛克检测算法在通用性、识别率、误检率方面已经不能满足需求。其中，识别率不高是影响高分辨率视频马赛克检测的关键问题之一。主要的马赛克异常检测算法可以分为以下3类：1)基于边缘特征与色差分量特征的检测方法，这类方法依赖特定的视频格式，例如基于MPEG-2[1-2]、基于H.264[3]。它们实现起来简单、高效，但是容易丢失边缘信息而造成漏检，并且受到视频格式的限制，通用性不高。2)基于区域分析和网络扩张的检测方法[4]，这类方法识别率较高，但算法复杂，计算量大，不利于实时处理。3)基于模板匹配的检测方法，这类方法通用性高。一般采用直角模板[5-6]或者T型模板[7-8]，算法简单，但识别率不高。4)基于神经网络的检测方法，这类方法用神经网络的方法进行边缘检测，识别率不高。以上4种方法中，基于模板匹配的检测方法在马赛克检测中是目前应用得比较多并且效果也较好的方法。

本文针对高分辨率视频马赛克检测识别率不高的问题，提出一种基于彩色边缘与十字型加权模板的视频马赛克检测算法，该算法先通过彩色边缘检测检出更多马赛克边缘，再采用十字型加权模板进行模板匹配以识别出马赛克块，从而提高高分辨率视频马赛克异常检测的识别率。

1 传统的马赛克异常检测算法

1.1 马赛克特征

包含马赛克异常的图像具有以下特征：1)在形状上，马赛克块表现为大小相对一致的矩形；2)在颜色上，马赛克块内部颜色较为单一，马赛克块内外颜色有较大突变[9]。这两个特征是检测视频中是否含有马赛克的主要依据。

1.2 传统的马赛克异常检测算法流程

传统的马赛克异常检测算法流程如图1所示。

图1 传统的马赛克异常检测流程

具体检测流程如下：

1)Canny算子[10]灰度边缘检测。通过边缘检测，对视频帧图像进行预处理，提取马赛克边缘信息。

2)模板匹配。使用4个直角模板分别匹配出马赛克块的4个直角，得到4幅匹配结果图，为确定一个马赛克块做准备。

3)匹配点抑制。对匹配结果进行二值化处理，排除非匹配点，将匹配点用灰度值255表示，非匹配点用灰度值0表示。

4)滑动窗口马赛克检测。设定一个M×N的小矩形窗口，在4幅匹配结果图中同步滑动，每次滑动后，判断小矩形窗口内的直角模板匹配点是否能确定一个马赛克块。待该帧图像滑动处理完毕，在结果中去除重复判断的马赛克块。若该帧图像中马赛克块数目超过设定的阈值T，则判断该帧存在马赛克异常。

1.3 传统的马赛克异常检测算法的缺陷

传统的马赛克检测算法采用灰度边缘检测，由于灰度边缘检测只利用了图像的亮度信息，因此会丢失许多边缘，造成马赛克块边缘的漏检；使用直角模板匹配，需要至少3个直角才能判定一个马赛克块，这对于呈“田”字型的4个马赛克块只检测到中间“十”字型边缘的情况会判定为无马赛克块。这些都是造成马赛克检测识别率不高的重要原因。本文针对传统马赛克检测算法的缺陷，提出了基于彩色边缘与十字型加权模板的马赛克检测算法以提高马赛克检测的识别率。

2 基于彩色边缘与十字型加权模板的马赛克检测算法

为了解决高分辨率视频的马赛克检测识别率不高的问题，本文采用基于CIELab色彩空间的彩色边缘检测，充分利用马赛克块间的色差信息，检测出更多马赛克块边缘，并且用十字型加权模板进行模板匹配，解决“田”字型4个马赛克块缺少边缘的情况，有效地提高了马赛克检测的识别率。本文的算法流程如图2所示。

图2 本文算法流程图

2.1 基于CIELab色彩空间的彩色边缘检测

灰度边缘检测的过程是先将RGB彩色图像灰度化再边缘检测。该方法只使用了RGB彩色图像的亮度信息而忽略了色度信息，因此造成马赛克块部分边缘的漏检，导致马赛克检测的识别率不高。本文提出的基于CIELab色彩空间的彩色边缘检测算法流程如图3所示。

图3 基于CIELab的彩色边缘检测流程图

2.1.1 平滑图像

对视频帧图像f(x,y)的三通道分别进行卷积运算，采用式(1)所示的二维零均值离散高斯滤波函数G(x,y)作为卷积函数，得到平滑图像I(x,y)。

G(x,y)=e-(x2+y2)/2σ2

(1)

I(x,y)=f(x,y)*G(x,y)

(2)

式中：σ是高斯函数的方差，σ越大平滑程度越好。

2.1.2 色彩空间转换

把图像I(x,y)从RGB色彩空间转换到CIELab色彩空间，得到转换图像I′(x,y)。

CIELab色彩空间是一种以人眼视觉观察为基础的标准色彩模型，它是在CIEXYZ色彩空间的基础上提出来的。彩色CIELab图像每个像素点有L，a，b三个通道，其中L为亮度分量，a和b为色度分量。L表示亮度，取值范围为0～100，0为黑色，100为白色；a和b取值范围为-128～127，a=-128为绿色，a=127为红色，b=-128为黄色，b=127为蓝色[11]。

从RGB色彩空间转换到CIELab色彩空间如式(3)～(6)所示。

(3)

(4)

a=500×[f(X/X0)-f(Y/Y0)]

(5)

b=200×[f(Y/Y0)-f(Z/Z0)]

(6)

其中，X0，Y0，Z0表示CIE标准照明体的三刺激值，X0=95.047，Y0=100，Z0=108.883；L为亮度；a和b为色度。

2.1.3 计算色差及色差方向

计算彩色图像的梯度比较复杂，并且梯度幅值不能很好地描述人眼对颜色差别的感知，而CIELab色彩空间是描述人眼可见的所有颜色的完备色彩模型，基于CIELab色彩空间的色差能反映人眼对颜色差别的感知，所以使用彩色图像基于CIELab色彩空间的色差和色差方向来代替梯度的幅值和方向。

在CIELab色彩空间中，两个像素x1(L1,a1,b1)和x2(L2,a2,b2)之间的色差CD可由它们在CIELab色彩空间中的空间距离计算得到，如式(7)所示。

(7)

本文采用Sobel色差算子来计算色差幅值和方向。计算式如式(8)～(11)所示

Dx=CD(xi-1,j+1,xi-1,j-1)+2CD(xi,j+1,xi,j-1)+

CD(xi+1,j+1,xi+1,j-1)

(8)

Dy=CD(xi+1,j-1,xi-1,j-1)+2CD(xi+1,j,xi-1,j)+

CD(xi+1,j+1,xi-1,j+1)

(9)

(10)

φ=arctan(Dy/Dx)

(11)

其中：Dx是水平方向的色差分量；Dy是垂直方向的色差分量；CDS是色差幅值；φ是色差方向。

2.1.4 非极大值抑制

对色差幅值CDS进行非极大值抑制，寻找局部最大值，将非极大值点所对应的值置为0。用3×3的核在8邻域对色差幅值CDS的所有元素沿色差方向进行插值。对每个点都将中心元素色差幅值CDS与沿色差方向的2个色差幅值插值结果比较，如果色差幅值CDS的值小于色差方向上的2个插值结果，就将色差幅值CDS对应的边缘标志位置为0。

2.1.5 双阈值提取边缘

设定两个阈值，高阈值Hth和低阈值Lth，将经过非极大值抑制的色差幅值与设定的阈值比较，若色差幅值小于设定的阈值则置幅值为0，分别得到两个边缘图像H(x,y)和L(x,y)。先采用高阈值图像H(x,y)中的边缘，连接成轮廓，然后在轮廓端点的8邻域处寻找低阈值图像L(x,y)的边缘，根据高低阈值图像的强弱边缘使整个图像的边缘闭合。

2.2 十字型加权模板匹配

直角模板匹配到的结果是4种直角类型，只有当含有至少3个直角才能判为一个马赛克块，会对“田”字型4个马赛克块缺少边缘的情况造成漏判。本文提出的十字型加权模板匹配到的结果有5种类型，可以识别“田”字型4个马赛克块缺少边缘的情况。所使用的十字型加权模板如图4所示。

图4 十字型加权模板

模板中像素的值如模板中数字所示，其中没有标数字的像素值为0，模板大小为15×15。模板匹配过程如下：

1)使模板从图像的原点，即图像的左上角开始匹配，按式(12)计算该区域的值。

(12)

其中，f(x,y)是计算得出的匹配值，(x,y)是该块匹配区域的中点；fs(i,j)是边缘图中匹配区域的任一点；ft(x,y)是模板的任一点。

2)在任意情况下，由1)得出的匹配值都不同。在模板的“十”字上是否有像素点，可由一个28位的数按位表示，把该28位如图5所示分成4份。

图5 匹配值按位表示

其中：6～0位代表十字型模板左边7个点；13～7代表右边7个点；20～14代表上边7个点；27～21代表下边7个点，这些位的值为1则表示在此处有边缘像素点存在，为0则表示边缘像素点不存在。若每边匹配到4个点则表示该边存在。

(1)若右边和下边存在，表示匹配到马赛克块的左上直角，把该匹配块中点标记为1，称为1型。

(2)若左边和下边存在，表示匹配到马赛克块的右上直角，把该匹配块中点标记为2，称为2型。

(3)若右边和上边存在，表示匹配到马赛克块的左下直角，把该匹配块中点标记为3，称为3型。

(4)若左边和上边存在，表示匹配到马赛克块的右下直角，把该匹配块中点标记为4，称为4型。

(5)若有3条边和4条边存在，表示匹配到了4块马赛克块，把该匹配块中点标记为5，称为5型。

3)最后平移模板，重复1)和2)的操作，匹配边缘图像除上下7行和左右7列外的所有点。

2.3 滑动窗口马赛克检测

设定一个滑动窗口W，设大小为M×M，从匹配结果图的左上角开始滑动。在滑动窗口内，若检测到3个点，且满足关系：1型3型点在2型4型点左边，1型2型点在3型4型点上边，并且1型2型的距离、3型4型的距离大于最小马赛克块边长，则表示匹配到一个马赛克块。若检测到2个点，其中一个是5型点，另一个是另外4种类型的点，则匹配到4个马赛克块。

最后，计算一帧图像中检测出的马赛克块数量，若数量大于设定的阈值，则表示该帧图像存在马赛克异常。

3 实验结果及分析

为了验证本文方法的效果，本文采用新闻节目视频、高清电影视频、监控视频、动画视频、体育节目视频等多个场景的视频进行验证。测试视频中的马赛克异常分两种：人为添加的马赛克异常和原本存在的马赛克异常。

3.1 彩色边缘检测实验结果和分析

为了验证基于CIELab色彩空间的彩色边缘检测方法的效果，分别采用了Sobel边缘检测、Canny边缘检测，以及本文的彩色边缘检测来对比实验。在高清电影视频中随机截取一帧，并打上马赛克，马赛克图像如图6a所示。对图6a进行3种边缘检测，得到Sobel边缘检测、Canny边缘检测、本文彩色边缘检测的检测结果分别如图6b、图6c和图6d所示。

图6 马赛克图像边缘检测对比

从边缘检测结果图对比可以看出，本文检测方法的马赛克边缘检出数量明显增加。其中，Sobel边缘检测效果最差；Canny边缘检测效果有所提高，但仍不够理想；本文的彩色边缘检测效果提高明显。为了更好地验证本文算法的优点，再用这3种检测方法对模拟马赛克的合成彩色图像进行边缘检测。合成彩色图像如图7a所示，Sobel边缘检测、Canny边缘检测、本文彩色边缘检测的检测结果分别如图7b、图7c和图7d所示。

图7 合成彩色图像边缘检测对比

合成彩色图像4种颜色对比明显，但Sobel边缘检测、Canny边缘检测却不能很好地检测出这种人眼认为明显的边缘，分别只检测出了1条和2条边缘；而本文的检测方法可以检测出这种色差明显的边缘，4条边缘全部检出。

3.2 马赛克检测算法实验结果与分析

本文算法在硬件为Intel(R) Core(TM) i5-3230M CPU @ 2.60 GHz，4 Gbyte内存的PC，软件为Visual Studio 2013的环境下，利用opencv2.4.10图像处理函数库里的函数实现。实验视频为新闻节目视频、高清电影视频、监控视频、动画视频、体育节目视频，每个视频人工添加100帧马赛克异常，分辨率为1 280×688；另外还有一个原本存在56帧马赛克异常的视频，分辨率也为1 280×688。测试结果如表1所示。其中，识别率=检出马赛克帧数/视频马赛克帧数，误检数表示把正常帧判定为马赛克帧。检出马赛克帧数为含有马赛克异常的帧数，不包括误检的帧数。

表1 马赛克检测算法测试结果

从测试结果可知，本文算法的识别率比传统模板匹配算法更高，误检数也稍微比传统匹配算法高。误检数会稍高是因为误检的视频帧里含有大量类似马赛克的块，本文算法检出而传统算法没有检出。

漏检和误检的情况分析如下：

测试视频中造成漏检的画面有：1)新闻节目视频中马赛克出现在海洋画面中；2)原本存在异常的视频中马赛克出现在树叶密集的森林画面中；3)监控视频中马赛克出现在画面四侧。总的来说，漏检的原因有3种：1)马赛克与正常区域的对比不够明显，造成马赛克块边缘不完整，且画面中含有马赛克块数量较少，造成漏检；2)在边缘密集处产生马赛克，且马赛克块内部边缘也很密集，马赛克块形成的边缘被判定为正常图像的边缘，造成漏检；3)马赛克块产生在视频帧的四侧，由于本文所用的模板不能检测图像帧四侧7个像素内的马赛克块，所以也会造成漏检。

测试视频中造成误检的画面有：1)高清电影视频中有画面是房屋里背景含有马赛克墙；2)动画视频中有画面是含有大量窗户的楼房；3)体育节目视频中有画面是俯视围棋比赛的围棋棋盘。总的来说，误检的情况是因为正常视频帧中有大量正好符合马赛克块大小的小正方形，且小正方形的两边正好与画面平行，因此造成误检。

4 小结

本文针对传统马赛克检测算法中识别率不高的问题，提出了一种基于彩色边缘与十字型加权模板的马赛克检测算法。该算法先用基于CIELab色彩空间的彩色边缘检测处理图像，可以比传统的灰度边缘检测检测更多马赛克块的边缘；再通过十字型加权模板对图像进行模板匹配，再对匹配结果统计分析，可以识别传统方法无法识别的“田”字型4个马赛克块缺少边缘的情况，有效地识别马赛克块，从而检测出含有马赛克异常的视频帧。通过对含有马赛克异常的视频进行测试，传统算法的识别率为91.1%，而本文算法的识别率为98.2%，相比传统算法提高了7.1%，表明本文算法能有效提高高分辨率视频马赛克检测的识别率。

[1]司文丽，朱镇林. 马赛克故障图像的分析与检测[J]. 有线电视技术，2008，15(5)：113-116.

[2]林洁. 低码率视频质量评价与检测[D]. 北京：华北电力大学，2013.

[3]李汪洋. 带有视频客观质量检测功能的流媒体播放器的设计与实现[D]. 北京：北京邮电大学，2013.

[4]宁方美，叶峰. 基于网格扩张的视频图像马赛克检测算法[J]. 计算机与现代化， 2011 (10)：63-65.

[5]杨金伟. 视频质量损伤的检测与修复[D]. 北京：北京邮电大学，2008.

[6]计岑. 数字图像和视频修复[D]. 西安：西安理工大学，2010.

[7]章化冰，凌坚，练益群. 基于模板匹配的马赛克视频检测方法研究[J].中国有线电视， 2010(11)：1254-1256.

[8]梁志敏. 视频图像质量检测技术研究与实践[D].北京：北京邮电大学，2013.

[9]HAN Y H， LEOU J J. Detection and correction of transmission errors in JPEG images [J]. IEEE transactions on circuits & systems for video technology， 1998， 8(2)：221-

231.

[10]CANNY J. A computational approach to edge detection[J].IEEE transactions on pattern analysis and machine intelligence，1986(6)： 679-698.

[11]Wikipedia. Lab color space[EB/OL]. [2015-04-24]. http：//en.wikipedia.org/wiki/Lab_color_space.

易宇晖(1989— )，硕士生，主研光电信息处理；

林志贤(1975— )，博士，教授，主要从事平板显示器驱动技术、图像处理、信息显示技术等研究工作；

郭太良(1963— )，研究员，博士生导师，主要从事FED显示器方面的研究工作。

责任编辑：闫雯雯

Mosaic detection method based on color edge and crossed weighted template

YI Yuhui， LIN Zhixian， GUO Tailiang

(CollegeofPhysicsandInformationEngineering，FuzhouUniversity，Fuzhou350002，China)

In order to solve the problem of low recognition rate of mosaic detection in high resolution videos， a mosaic detection method based on color edge and crossed weighted template is proposed. The algorithm first detects more mosaic edges through the color edge detection based on CIELab color space， and recognizes the mosaic pieces by template matching with crossed weighted template. The mosaic detection to high resolution videos is conducted through the algorithm proposed here and traditional algorithm. The result of experiment shows that the recognition rate gained through the algorithm proposed here is up to 98.2%， which is 7.1% higher than that of traditional algorithm.

mosaic； color edge detection； CIELab color space； template matching

易宇晖，林志贤，郭太良.基于彩色边缘与十字型加权模板的马赛克检测[J]. 电视技术，2016，40(11)：121-125. YI Y H， LIN Z X， GUO T L. Mosaic detection method based on color edge and crossed weighted template[J]. Video engineering，2016，40(11)：121-125.

TP391.4

A

10.16280/j.videoe.2016.11.025

国家“863”重大专项(2013AA030601)；福建省资助省属高校专项(JK2014002)；福建省科技重大专项(2014HZ0003-1)

2015-12-19