焦炭光学组织离焦显微图像去模糊算法研究

刘怀广， 董 渊， 汤 勃， 黄千稳

（武汉科技大学机械传动与制造工程湖北省重点实验室， 武汉 430081 ）

0 引 言

随着钢铁工业的不断发展，高炉炼铁也对焦炭的冶金性能提出了更高的要求［1］。 研发提升焦炭质量的新技术是中国焦化科研的长期任务，而寻求快速有效的焦炭质量评判与分析方法是其中重要内容。 现已有研究表明［2］，焦炭的微观组织结构与其质量有着十分密切的关系。 为观察到焦炭微观组织结构，工业上使用偏光显微镜放大焦炭光片400 至600 倍后获得组织图像。 制备焦炭光片过程中，利用不饱和的树脂和专用模具将粉焦固化，通过人工磨制抛光后切割获得焦炭切片［3-4］。 由于这种特殊的制备光片过程，使焦粉不能完全在同一焦平面，显微镜观察时目标对象有不同的景深，并且由于显微镜头的特殊性，造成焦炭光学组织图像存在局部离焦模糊。 如图1 所示，图1（b）中白色为非模糊区域，灰色为模糊区域。 然而焦炭光学组织显微图像是分析研究焦炭不同组织成分的重要依据，局部模糊降低了焦炭光学组织图像的质量，造成主体图像局部纹理细节缺失，使得人工分析研究困难和成分分割算法的准确性降低。 因此，需要对局部模糊的焦炭光学组织图像进行局部去模糊处理，对图像进行修复增加图像质量。

图1 焦炭光学组织图像Fig. 1 Images of coke optical tissue

胡小平等［5］以圆盘函数作为模糊核，通过Laplacian 算子求微分自相关图像，根据自相关图像的暗环直径估计模糊核半径，然后利用改进的二次Wiener 滤波器对离焦模糊图像进行修复。 李喆等［6］提出一种基于改进霍夫变换圆检测的去模糊算法，通过对模糊图像频谱预处理，根据霍夫变换圆检测求出零点暗圆半径，然后利用混合特征正则化算法对图像进行迭代复原。 但是这些算法只能解决空间离焦程度相同的全局离焦模糊，对于局部模糊的焦炭图像的去模糊效果较差。 孙绍祖［7］等提出一种改进的点扩散函数（PSF）模糊估计方法，通过Canny 算法筛选出边缘信息多的图像子块进行倒频谱变换，然后进行Radom 变换求解PSF 参数，最后使用维纳滤波进行复原。 但是，这种方法只对单方向的运动模糊图像有效。 对于空间变化的离焦图像去模糊，Xinxin Zhang［8］等利用模糊图像的边缘信息，通过KNN 抠图插值算法估计出模糊程度图像，根据局部模糊程度求出局部模糊核，采用BM3D［9］反卷积对图像进行去模糊处理。 该算法虽然考虑了图像的空间离焦程度，但是对于纹理信息复杂的图像，在插值形成模糊程度图时，容易造成错误的检测，导致复原效果差。 汪陈跃等［10］通过使用固定的模糊核组，利用截断约束最小二乘法算法对图像进行复原，对复原后的图像组进行像素级图像质量评价，然后比较评价参数，将多幅复原图像中最佳像素组合为最终复原图像。 由于该方法去模糊效果十分依赖图像质量评价方法，而质量评价方法对图像内容十分敏感，影响了最终效果。

焦炭离焦模糊图像的去模糊修复是一个具有挑战性的问题。 首先，在修复过程中，基于传统的模糊模型，在缺少先验知识时，圆盘（或高斯）模糊核的求解是个复杂的问题；其次，焦炭显微图像在空间上模糊程度的不同，若使用统一的模糊核去模糊造成图像复原效果欠佳；最后，对于局部模糊的焦炭图像，国内外的相关研究工作较少，应用已有的去模糊方法去模糊效果较差。

综上所述，为了提升焦炭图像的图像质量，本文提出了一种针对焦炭图像局部变化离焦模糊的分步式去模糊算法。

1 焦炭图像的分步式去模糊算法

局部模糊图像进行去模糊处理时，因为图像中不同区域的模糊程度不同，用整体的去模糊算法会造成清晰区域过处理，导致图像修复方法不仅没有提高图像质量反而失去清晰区域更多的细节。 本章结合局部模糊检测、模糊分割和图像去模糊算法的相关知识，对焦炭图像去模糊进行了相关的研究，提出了一种针对焦炭图像局部变化离焦模糊的分步式去模糊算法，来复原单幅空间可变化的局部模糊焦炭图像。

首先，使用LBP 纹理检测算子，对焦炭光学组织图像进行模糊检测，在得到初步模糊程度度量图像后，利用Alpha-matting 算法进行区域性分割获得α模板矩阵；然后，通过IFAN 去模糊网络对图像进行处理，得到全局处理的去模糊图像；最后，以α模板矩阵作为融合比列，对原图和全处理图像进行线性融合，得到最终的去模糊图像。 算法流程如图2所示。

图2 焦炭图像去模糊的算法流程Fig. 2 Algorithm flow of coke image deblurring

1.1 焦炭图像局部模糊分割

由图1 可见，焦炭显微图像主要由组织主体和背景组成，而主体越靠近图像边缘模糊程度就会越大，如果按照统一的标准进行去模糊处理，会导致清晰部分的失真，易造成误判。 因此，本文提出了基于LBP 模糊度量标准的模糊区分割方法，先对模糊部分进行度量和提取。 该方法依据模糊而造成纹理细节的变化，对不同纹理特征进行模糊程度的表征，形成一幅模糊程度的映射图像，然后应用分割方法对焦炭局部模糊区域进行分割。

1.1.1 基于LBP 的模糊度量

LBP （Local Binary Patterns）［11］是一种用来描述图像局部纹理特征的算子，已成功用于计算机视觉问题。 如：纹理分割、人脸识别、特征检测和三维纹理表面识别等等。 原始的LBP 算子定义为：在3×3 的窗口内，以窗口中心像素为阈值，将相邻的8 个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3x3 邻域内的8 个点经比较可产生8 位二进制数（通常转换为十进制数即LBP 码，共256 种），即得到该窗口中心像素点的LBP 值，并用这个值来反映该区域的纹理信息。

在焦炭光学组织图像中，由于其结构信息复杂，在进行LBP 特征检测时，模糊区域的一些细微纹理特征会被识别成噪点，不方便统计区分模糊与非模糊区域，使模糊检测时造成误检。 因此，本文在相邻像素与中心像素比较时加入一个阈值，通过该阈值控制对局部纹理的敏感程度。 所以，在模糊检测中，中心像素点（xc，yc） 的LBP 值可以用公式表示为：

式中：nc表示中心像素点（xc，yc） 的像素值大小，np是以中心像素点（xc，yc） 为圆心，半径为R的圆上第P个像素值大小，T是决定中心像素对局部纹理敏感程度的阈值，可以通过该值大小控制基于LBP 模糊度量对模糊区域的敏感性。

为减少局部纹理特征的数量，方便统计模糊区域与非模糊区域的纹理特征差异，采用Uniform Pattern LBP 通过计算循环二进制数的跳转次数，把跳转次数大于2 的归为一类，小于等于2 次的不同纹理特征分为不同的类。 相比于半径为1 个像素的传统LBP，Uniform Pattern LBP 把256 种不同的纹理特征减少到了58 种，最后再按照旋转不变性，将58种纹理特征减少到有1 种非等价模式LBP 和9 种等价模式LBP（如图3），图中红色的点表示该位置像素值与中心像素值的差大于敏感阈值。

图3 9 种旋转不变性的等价模式纹理Fig. 3 Nine Uniform Pattern LBP textures with rotation invariance

由于LBP 对噪声比较敏感，处理后的特征图有非常多的干扰点（如图4（a））。 本文通过设置阈值，可以控制对纹理的敏感程度（如图4（b））。

图4 基于LBP 模糊检测Fig. 4 Fuzzy detection based on LBP

有研究证明，LBP 的第6、7、8 和9 种纹理特征数量在模糊区和非模糊区有明显的差别［12］。 因此，可以通过统计焦炭图像每个像素点邻域范围内的这4 种特征数量，来表征该像素点的模糊程度，用公式表示为

式中：N为中心像素局部区域内的像素点个数，n(LBP8，1i) 是半径为1 个像素的圆上第i种纹理特征的数量，归一化后使模糊度量mLBP∈ [0， 1] 。

本文通过对焦炭光学组织图像进行LBP 特征检测，筛选标记出第6、7、8 和9 种纹理特征，对其进行公式（3）的计算，得到焦炭光学组织图像的模糊程度映射图，如图5 所示。 由5（b）可知，非模糊区域的度量值大于模糊区域的值，可以用于模糊区域与非模糊区域的检测。

图5 焦炭的模糊程度度量图Fig. 5 The blurred metric map of coke

1.1.2 基于Alpha-matting 的模糊图像分割

在模糊映射图中，由于每个像素点的值是LBP特征图邻域内特殊纹理的数量，使得模糊映射图对图像边缘十分敏感，导致主体模糊区域与背景的边缘处度量值偏高，仅仅使用简单的阈值对模糊映射图像分割会存在大量前景与背景边缘误分且不连续（如图6）。 因此，本文使用Alpha 抠图算法对模糊映射图像分割，区分模糊区域与非模糊区域。

图6 阈值分割与人工分割对比（红色方框内为误分）Fig. 6 Comparison of threshold cut and manual segmentation （red boxes are misclassified）

Alpha-matting 算法是通过把图片表示成由前景，背景和未知区域组成，所以一张图片可以由公式表示为

式中：I（x，y） 表示（x，y） 点像素值大小，F（x，y）表示前景像素值，B（x，y） 表示背景像素值，α表示（x，y） 点的前景透明度。 当像素点为图像前景时α＝1，像素点为背景时α＝0。

通常，为求解抠图模板矩阵α， 需要通过交互式涂鸦的方法标记图像。 然而在模糊映射图中，模糊区域为背景，非模糊区域为前景，并且越模糊像素值越小，因此可以通过双阈值的方式标记前景、背景和未知区域。 图7（a）所示为初始涂鸦图，初始α涂鸦图可以表示为：

图7 基于Alpha 抠图算法的模糊区域分割Fig. 7 Alpha-matting algorithm based fuzzy region segmentation

然后，通过闭合型抠图（Closed-form matting）的方法［13］拟合模型，最小化代价函数，获得最优抠图模板矩阵α：

式中：L是拉普拉斯矩阵（matting Laplacian matrix），α＾是上一步迭代的抠图模板，初始α＾矩阵为α涂鸦图。 图7（b）为抠图模板矩阵α（α∈ [0，1] ），非模糊区域像素值为1，模糊区域像素值为0。

1.2 基于深度学习的局部离焦图像去模糊

在局部离焦图像中，因为离焦模糊在空间上的程度不同，导致传统的图像复原方法。 如维纳滤波，在模糊核的计算上比较困难，在缺少先验知识的情况下，传统方法复原的效果不佳。 目前，深度学习在图像去模糊方面优势明显。 其中，DPDNet（Dual-Pixel Data Network）利用双像素数据集训练的精度较高，但是该网络去模糊时需要两张图片作为输入且容易产生振铃和伪影现象，因此本文选择改进型的IFAN（Iterative Filter Adaptive Network）网络，对离焦焦炭图像去模糊。

1.2.1 IFAN 网络

IFAN 网络是由Junyong Lee 等［14］提出的一种新颖的端到端学习网络，应用DPDD（Dual-Pixel Data）数据集［15］专门用于离焦图像的去模糊。 如图8 所示，该网络的主体结构由特征提取模块（Feature Extractor）、特征重建模块（Reconstructor）和自适应滤波模块（IFAN）构成。 其中，自适应滤波模块又由特征提取模块（Filter Encoder）、视差估计模块（Disparity Map Estimator） 和去模糊核预测模块（Filter Predictor）组成。 自适应滤波模块通过视差估计模块，对不同的双像素图像估计不同的去模糊核，然后经过可迭代的自适应卷积（Iterative Adaptive Convolution）生成去模糊图像，专门解决离焦图像空间模糊变化的复杂性，改善了普通网络对变化的离焦空间的不适应问题，减少了振铃和伪影现象。

图8 IFAN 去模糊网络的主体结构Fig. 8 The main structure of IFAN network

由于IFAN 网络的自适应滤波模块对离焦空间的适应性，对于焦炭图像的局部模糊区域有着不错的去模糊效果。 但是，对于焦炭图像的清晰部分，因缺少焦炭图像数据训练，存在对清晰部分过度处理的问题，如图9 所示。 因此，仅仅对局部模糊区域去模糊处理，可以大大减少图像过处理问题。

图9 焦炭图像直接处理前后对比Fig. 9 Comparison before and after direct processing of coke images

1.2.2 基于矩阵α的图像融合

为解决IFAN 去模糊网络对局部清晰区域的过处理问题，需要通过图像模糊程度，确定不同区域的处理程度。 本文提出以抠图模板矩阵α作为融合比例，对全局处理的焦炭图像和原图像融合，获得以模糊程度生成的模板矩阵决定的去模糊图像。 这样，模糊区域就进行了IFAN 网络去模糊处理，非模糊区域得以保留原有的纹理特征，避免了非模糊区域的过处理问题。 处理的图像可以通过公式表示为

式中：α为融合矩阵，F（x，y） 为原局部模糊图像，B（x，y） 为全处理图像。 处理结果如图10 所示。

图10 焦炭处理结果图Fig. 10 Coke processing results graph

2 实验结果与分析

本次实验图像来自宝武集团中央研究院提供的焦炭光学组织图像，图像通过偏光显微镜放大500倍拍摄，图片大小为1 300×1 030。

在局部模糊区域检测算法中，LBP 算子的半径R设置为1 个像素，P设置为8，模糊敏感阈值T设置为10，计算特殊纹理数量的局部邻域设置为21×21。在Alpha-matting 的模糊区域分割中，通过设置T1为0.3，T2为0.01 生成初步迭代的涂鸦图。

图11 为原局部模糊焦炭图像，图片大小为1 300×1 030。 图中蓝色方框为局部模糊区域，后续将对这些区域进行实验结果对比。

图11 拍摄获得的4 张焦炭图像Fig. 11 Four images of coke acquired

2.1 处理前后对比

为分析本文算法对焦炭光学组织图像的复原效果，采用4 种不同评价标准的无参考图像质量评价方法进行图像复原效果衡量，验证本文算法的实用性。

质量评价标准如下：

（1）基于边缘的评价标准

累加概率（ Cumulative Probability of Blur Detection， CPBD）［16］的评价方法，是通过计算边缘块的局部对比度求出恰好可觉察模糊（JNB）宽度，然后与边缘宽度的比值求出边缘块的模糊概率，累加小于JNB 概率的值表示模糊程度。 公式表达为

式中：PBLUR为边缘块的模糊概率，PJNB为63%，CPBD 越大图像越清晰。

（2）基于频域的评价标准

改进的交流系数平方和（Sum of Squared AC coefficients of DCT， SSAD）［17］的评价方法，通过SIFT 检测出显著性边缘块，计算出边缘块的SSAD。为消除图像内容的影响，通过局部信息熵和局部标准差进行归一化求得质量分数。 公式表达为

式中：Ey为SSAD，σx为方差，hx为信息熵，wx为加权系数，r取0.1，score越大图像越清晰。

（3）基于再模糊的评价标准

再模糊结构相似度（Structural Similarity，SSIM）［18］的评价方法，通过再模糊理论（模糊区域再模糊后特征变化小的原理），对计算图像再模糊前后的SSIM 进行评价。 公式表达为

式中：I为原图像，IREblur为再模糊图像。score越小，模糊前后图像相似度越小，图像越清晰。

（4）基于奇异值的评价标准

奇异值（SVD）分布比值［19］的评价方法，是通过计算图像前k项奇异值所占的比值进行评价。 公式表达为

式中：σ为图像分解后的奇异值，score越小，图像越清晰。

为了比较不同算法处理图像前后模糊区域的差别，本文通过对获得的4 张焦炭图像进行不同算法处理，专门针对焦炭局部模糊进行比较，如图12 所示。

图12 不同算法模糊区域处理前后对比Fig. 12 Comparison of different algorithms before and after blurred area processing

为了方便数据进行比较，对SSIM 和SVD 进行取倒，通过对8 张处理前后的局部离焦焦炭图像进行4 种无参考图像质量评价计算，得到的数据见表1，图13 为图11 中4 张图的柱状图比较。 从表1 及图13 中可以发现，在质量评价上，经本文算法处理后的焦炭图像，在4 种不同的评价标准上都体现出更好的图像质量（加粗的数值表示图像质量更高）。

表1 无参考图像质量评价对比Tab. 1 Comparison no-reference image quality evaluation

2.2 与不同算法的对比

由图12 对比结果可知，相比于维纳滤波［5］方法和BM3D［8］算法，本文算法去模糊效果更好。 通过比较表2 和图14 中3 种算法的图像质量评价数值表明，本文算法的累加概率（CPBD）和交流系数平方和（SSAD）都更高，表明本文算法模糊区域的纹理增强更明显；其结构相似性（SSIM）和奇异值（SVD）更低，倒数更大，表明本文算法去模糊后模糊区域的相似性更低，结构细节更多，并且在4 种评价方法下都体现出更好的图像质量，鲁棒性更强。

表2 无参考图像质量评价对比Tab. 2 Comparison no-reference image quality evaluation

图14 不同算法的柱状图对比Fig. 14 Histogram comparison of different algorithms

3 结束语

针对焦炭光学组织图像拍摄过程造成的局部离焦问题，本文提出一种局部离焦图像的去模糊算法。为解决焦炭图像局部离焦模糊，本文采用基于LBP的模糊检测方法，分割出模糊区域与非模糊区域；对于模糊区域的离焦空间的变化性，应用先进的IFAN去模糊网络结构，解决了传统去模糊算法对复杂离焦空间的模糊核估计的困难；通过alpha 抠图算法得到模板矩阵α，融合原焦炭图像与全处理图像，解决了IFAN 网络对非模糊区域的过处理问题。 经过本文算法的处理，焦炭图像局部模糊区域结构纹理得到增强，图像在4 种无参考质量评价下图像质量分数更好。