基于LBP 特征与图像显著性的散焦模糊区域检测

李浩伟， 刘 洪， 梁建娟， 刘本永

（贵州大学 大数据与信息工程学院， 贵阳 550025）

0 引言

散焦模糊是图像成像过程中较为常见的一种退化现象。 散焦模糊的形成是由于相机镜头存在景深限制，景深范围内的成像是清晰的，景深范围外的成像则是模糊的。 局部散焦模糊图像可以看作聚焦前景和模糊背景的叠加，其中聚焦前景区域纹理较为丰富，图像细节较多，而散焦模糊区域纹理较为平坦，图像细节较少，只有大体的轮廓。 有效和准确地检测出局部散焦模糊图像中的模糊区域在图像信息的进一步获取和利用方面发挥着重要作用，如景深估计［1］、图像局部去模糊［2］、图像再聚焦［3］、图像质量评价［4］、图像分割［5］、模糊放大［6］等领域。

依据散焦模糊区域和聚焦清晰区域在空域及变换域中的差异，学者们提出了多种局部模糊区域检测方法。 Su 等学者［7］利用清晰像素块和模糊像素块在奇异值分解后的系数差异来构造模糊特征。Shi 等学者［8］使用图像梯度分布特征、图像频谱特征和局部滤波器来训练贝叶斯分类器，并在多尺度框架下进行模糊区域检测。 Yi 等学者［5］提出一种基于局部二值模式（Local Binary Pattern， LBP）的散焦模糊度量，并将其应用于模糊区域的分割。Golestaneh 等学者［6］对图像梯度进行离散余弦变换，通过对其高频系数进行多尺度融合来构造模糊特征进行模糊区域检测。 Tang 等学者［9］提出了一种基于对数频谱残差的模糊度量，利用相邻图像区域的内在相关性来得到模糊图。 上述方法通过提取和构造模糊特征来对图像中的每个像素点的模糊程度进行度量，进而得到最终的模糊图。 然而，这些模糊检测方法在纹理平坦区域的判别和图像边缘细节的保持方面尚有不足。

聚焦清晰区域可以分为纹理丰富区域和均质清晰区域［10］。 其中，纹理丰富区域像素模糊响应较低，对其进行检测相对容易，而均质清晰区域较为光滑，模糊响应较强，容易被误判为模糊区域，其检测是散焦模糊区域检测中的一个难点。 LBP 特征能够快速准确地检测出纹理丰富区域像素，但对处于均质清晰区域的像素检测能力较弱，这也是很多模糊特征共有的不足。 本文利用图像的LBP 特征和显著性特征来构造三元标识图，借助于KNN（K Nearest Neighbors）抠图［11］来实现散焦模糊区域的检测，即将图像分割成2 个区域：模糊区域和清晰区域，进一步利用形态学运算和边缘保持的平滑滤波细化检测结果。 此方法能有效克服传统模糊区域检测方法对于均质清晰区域容易误判的问题，并且在图像的边缘细节保持方面具有一定的优势。

1 模糊检测及图像显著性

1.1 SLBP 模糊图提取

模糊图反映图像中像素的模糊程度，本文基于LBP 特征来提取SLBP 模糊图［5］。 LBP 特征可以有效提取图像的局部纹理，对光照转换造成的灰度变化具有较好的鲁棒性，并且计算简单，速度较快。像素（xc，yc） 处的LBP 值定义为：

其中，nc是中心像素（xc，yc）的灰度值；np是以（xc，yc）为中心，半径为R的圆上的P个相邻像素的灰度值；TLBP是一个小的灰度敏感阈值。 将标准的LBPP，R进行旋转，选取LBP值最小的那一个来表示中心像素点， 可得到旋转不变的局部二值模式在P ＝8，R ＝1 的情形下，通过结合旋转不变性，LBP 模式还可以进一步简化为9 种均匀局部二值模式（类型编号由0 到8）和1 种非均匀局部二值模式（类型编号为9）［12］。 对于散焦模糊区域而言，由于其较为平滑，多数邻域像素灰度np与中心像素灰度nc较为接近，类型编号较小的模式出现的频率相对较高，类型编号较大的模式出现的频率相对较低。 图1（a）中，红色方框内为散焦模糊区域，蓝色方框内为聚焦清晰区域，分别对方框区域内像素的LBP类型分布进行统计，结果如图1（b）所示。 可以看出，散焦模糊区域像素的LBP 类型主要为低编号类型。

图1 散焦区域和聚焦区域的LBP 分布Fig. 1 LBP distribution in blurred and sharp regions

基于以上分析，定义模糊特征QL BP为：

其中，U（LBPP，R） 为均匀模式的度量因子；n为模式i的数目；N是选取的像素块中像素总数目。

利用模糊特征QLBP对输入图像进行处理可以得到LBP 模糊图。 然而，LBP 模糊图中邻近像素之间联系相对较弱，即便是相邻很近的像素，其模糊响应也可能有较大差异。 为了更好地利用区域内其它像素的模糊信息，本文不再以单个像素的模糊度作为度量，而是以某一区域内所有像素模糊响应的均值作为该区域所有像素的模糊度量。 利用SLIC（Simple Linear Iterative Clustering）算法［13］对输入图像进行分割，依据分割结果来对LBP 模糊图进行处理，进而得到SLBP 模糊图。 SLBP 模糊图HSLBP计算方法如下：

其中，HLBP为LBP 模糊图；Ai为SLIC 算法分割后得到的超像素；M为超像素总数目。

图2 给出了一个SLBP 模糊图提取示例。 由图2 可以看出，输入图像在经过SLIC 超像素分割后，其轮廓和边缘信息得到了较好的保持。 依据分割结果重新计算LBP 模糊图中像素的模糊度，从而得到SLBP 模糊图。

图2 SLBP 模糊图估计Fig. 2 Estimation of SLBP blur map

1.2 图像显著性

图像中能够优先被人类视觉系统所注意到的区域称为显著性区域，显著性检测模拟人眼的视觉注意机制对像素的显著性进行度量得到显著图。 本文利 用 DRFI （ Discriminative Regional Feature Integration）算法［14］来获取图像的显著图。 该方法首先在不同尺度下对图像进行分割，然后结合区域对比度（Regional Contrast）、区域属性（Regional Property）和区域背景（Regional Backgroundness）三种特征得到关于分割区域的一组86 维的特征向量，该特征向量通过随机森林映射为显著值，最后将不同尺度下得到的多个显著图进行融合来获取最终的显著图。

对于散焦模糊图像来说，由于镜头聚焦的区域通常也是视觉上较为突出的区域，所以图像显著性一定程度上也具备区分聚焦清晰区域和散焦模糊区域的潜力。 图3（a）中，聚焦区域为光滑的花瓣区域，包含有大量的均质清晰区域。 分别利用模糊特征QLBP和DRFI 算法对其进行检测，得到图3（b）和图3（c）。 可以看出，模糊特征QLBP仅仅能检测到部分边缘像素点，无法准确区分均质清晰区域和散焦模糊区域，而在DRFI 显著图中，由于均质清晰区域和散焦模糊区域的显著性差异较大，所以这两部分区域能够得到有效的区分。

图3 LBP 模糊图与DRFI 显著图的比较Fig. 3 Comparison between LBP blur map and DRFI saliency map

然而，DRFI 算法不能直接用于模糊区域检测，像素的显著性和模糊度之间并无直接的联系。 图4（a）中，黄色方框区域显著性明显低于同处在聚焦前景区域的蓝色方框区域显著性，却非常接近处在模糊背景中的红色方框区域显著性。 针对这类图像进行检测时，DRFI 显著图同真实标记的模糊图差异较大。

图4 不同聚焦区域的显著性Fig. 4 Saliency in different focal regions

2 散焦模糊区域检测

2.1 散焦模糊检测流程

本文提出的散焦模糊检测算法流程如图5 所示。 由图5 可知，首先利用LBP 特征和SLIC 超像素分割算法对输入图像进行初步的散焦模糊区域检测以得到SLBP 模糊图，利用DRFI 算法得到DRFI显著图，然后依据均质清晰区域和散焦模糊区域在显著性上的差异，结合SLBP 模糊图和DRFI 显著图来构造三元标识图，进而利用KNN 抠图算法来得到散焦模糊区域检测结果，最后借助于形态学处理和平滑滤波来细化检测结果。

图5 模糊区域检测流程图Fig. 5 Blur region detection flowchart

2.2 三元标识图的构造

三元标识图、即trimap，由确定的前景、确定的背景以及待确定区域三部分构成。 利用KNN 抠图算法检测散焦模糊区域，需要构造合理的三元标识图。 三元标识图的前景应当处在聚集清晰区域，背景应当处在散焦模糊区域。 有别于通过设置双阈值［5］或者借助于形态学的腐蚀膨胀方法［15］构造三元标识图，这里将图像的SLBP 模糊图和DRFI 显著图结合起来构造三元标识图。 三元标识图的构造方法代码具体如下。

算法代码中的Ts为显著性敏感阈值，控制着待确定区域的大小。 在抠图前景确定的情况下，Ts越小，背景区域越大，待确定区域越小。 然而Ts过小时，待确定区域可能会无法包含均质清晰区域，导致算法对均质清晰区域的检测能力下降。TC为自适应分割阈值，用以二值化SLBP 模糊图，该阈值通过OTSU 算法［16］得到。 OTSU 算法又称为最大类间方差算法，是一种自适应阈值的图像分割算法。 相比于固定灰度阈值分割，其鲁棒性更好，但是直接使用OTSU 算法来对SLBP 模糊图中的超像素进行分割，效果往往并不理想，主要表现在均质清晰区域像素误检严重。

图6 给出了一个对应算法1 的三元标识图构造示例。 图6（a）中，黑色区域像素对应输入图像中的纹理丰富区域像素，这部分像素作为抠图前景被保留。 均质清晰区域像素显著性较高，多集中在待确定区域，即三元标识图TR 中的灰色区域，这部分像素在KNN 抠图后能获得较低的模糊响应，较好地克服了1.2 节所提到的问题。

图6 三元标识图的构造示例Fig. 6 Example of generating a trimap

2.3 形态学运算和平滑滤波

通常情况下，散焦模糊区域中存在较小的非模糊区域是不合理的，这部分区域在KNN 抠图得到的模糊图中常常以小的孤立像素块的形式存在，可以使用形态学方法来处理。 孤立像素块的产生主要是由于模糊背景中存在着灰度变化较为剧烈，且有着较低模糊响应的伪清晰区域［10］。 形态学处理的方法如下：首先取分割阈值Tseg将KNN 抠图后得到的模糊图二值化，然后选取结构元素对背景进行先膨胀、后腐蚀的闭运算操作，去除像素数目小于G的孤立黑色像素块，将得到的二值图作为掩膜，保留模糊图中对应掩膜位置上的像素。

邻近区域内像素的模糊程度应当是相近的，进一步利用边缘保持的平滑滤波［17］对模糊图进行局部平滑处理，可以使局部区域内的模糊分布更为合理。

3 实验结果及分析

本文在Shi 等学者［8］提供的模糊数据集上进行实验。 该模糊数据集包含1000 张局部模糊图像及对应的Ground Truth，其中散焦模糊图像704 张，其余为运动模糊图像。 本文只选取散焦模糊图像进行模糊区域检测。 仿真实验中，将灰度敏感阈值TLBP设置为0.016，选取的图像块中像素总数目N设置为25，分割后的超像素个数M设置为500，显著性敏感阈值Ts设置为0.89，用于形态学处理的Tseg设置为0.88，结构体为半径为3 的平面圆盘型结构元素，G为3 个超像素块的大小。

3.1 定性实验

在Shi 等学者［8］提供的数据集上选取5 张图像，将上述参数设置下得到的散焦模糊检测结果同部分主流算法得到的结果进行比较，结果如图7 所示。 由图7 中可以看出，文献［8］容易受到伪清晰背景区域的影响，检测结果较为粗糙。 文献［9］考虑了相邻区域的相关性，在图像边缘信息的保持和均质清晰区域的检测方面表现相对较好，但模糊区域和聚焦区域交界处的差别不够显著。 文献［5］和文献［6］在边缘保持和均质清晰区域检测方面也有一定的不足。

图7 模糊图比较Fig. 7 Blur map comparison

通过引入图像显著性，本文算法能有效地检测出散焦图像中的均质清晰区域。 第一张图像中黄色的水果区域，第二张图像中绿色的叶片区域和第三张图像中白色的卡片区域都包含有大量的均质清晰区域，多数算法会将其误判为散焦模糊区域，从而得到误差较大的检测结果，而本文算法则实现了较为准确的检测。 此外，即便模糊背景有着同聚焦前景较为相近的颜色（第四张图像），或者聚焦前景区域内存在着显著性较低的区域（第五张图像），本文算法仍然可以获得较为准确的检测结果。

由于SLIC 算法和KNN 抠图算法都有同输入图像的交互，本文算法在图像边缘定位的准确性方面具有一定的优势。 利用本文算法对图8（a）进行模糊检测，得到图8（b），依据检测结果对输入图像进行分割得到图8（c）。 由图8（c）可以看出，本文算法得到的模糊检测结果较好地保持了原图像的边缘细节信息。

图8 模糊区域分割Fig. 8 Blur region segmentation

3.2 定量实验

为了定量地研究本文算法的检测性能，选取Shi等学者［8］提供的数据集上总计704 张散焦模糊图像进行实验，使用精度查全率（Precision－Recall，PR）作为算法性能的评价指标。 精度、查全率的计算方法如下：

其中，R为模糊图经过分割后的模糊像素集合（分割阈值由0 取到255），Rg为对应的Ground Truth的模糊区域像素集合。

针对模糊检测过程中部分流程进行消融性实验，得到的P － R曲线如图9 所示。 在图9 中，图例中的QLBP表示仅利用模糊特征QLBP进行模糊检测；QLBP＋KNN 表示利用模糊特征QLBP和KNN 抠图算法进行模糊检测（未使用SLIC 超像素分割算法）；QLBP＋SLIC 表示利用模糊特征QLBP和SLIC 算法来进行模糊检测（未使用KNN 抠图算法）；DRFI 表示直接利用DRFI 算法进行模糊检测。 由图9 可以看出，直接使用模糊特征QLBP或者DRFI 算法进行模糊检测，检测结果较差；通过结合SLIC 算法，模糊特征QLBP检测能力得到了提升；进一步借助于图像显著性和KNN 抠图算法能够获得最佳的检测效果。

图9 不同处理方式下的P－R曲线Fig. 9Precision－Recallcomparison for diffierent processing methods

将本文方法同部分主流算法进行定量的比较，对比结果如图10 所示。 实验结果表明，当查全率处在0.77和0.94 区间时，相比于其它模糊区域检测算法，本文方法获得的检测结果在精度和查全率上表现最佳。

图10 不同算法P－R比较Fig. 10Precision－Recallcomparison for diffierent algorithms

4 结束语

本文提出了一种简单有效的散焦模糊区域检测算法，在较好地保留了图像边缘细节的同时，实现了对均质清晰区域的有效检测。 LBP 特征可以准确检测纹理丰富区域像素，图像显著性可以用来区分均质清晰区域和散焦模糊区域。 将LBP 特征同图像显著性相结合，并利用KNN 抠图算法实现散焦模糊区域的有效检测，同时形态学运算和平滑滤波进一步提高了模糊区域检测的准确性。 构造更为有效的模糊特征，提高检测速度和精度，将是后续工作的重点。