戴万富, 滕奇志, 何海波, 刘豫璋, 张豫堃
(1 四川大学 电子信息学院, 成都 610065; 2 成都西图科技有限公司, 成都 610014)
在岩石薄片的全幅面偏光图像采集中,由于薄片本身的不平整性、系统硬件的不稳定性或者自动聚焦算法的局限性,部分视域采集的图像会存在离焦模糊的现象,影响科研人员对岩石薄片性质的进一步观察研究。 因此,需要将这些模糊的图像筛选出来,再做进一步处理。 传统方法是通过人工浏览所有采集的图像,从中筛选出模糊的视域,由于显微镜下一张薄片往往会采集几百甚至上千张图像,人工方法费时费力,因此岩石薄片全幅面采集图像的自动模糊检测具有重要实际意义。
对于模糊检测,学者们主要从图像清晰度评价和局部模糊区域分割两个方面进行了研究。 图像清晰度评价通常是对整幅图像进行质量评价以得到一个分值,该分值代表了人眼的锐度感知情况。 如,谢小甫、王红玉、Wang 等将再模糊后的图像和原图 的 结 构 相 似 度 作 为 模 糊 评 价 值; Ferzli、Narverkar等则从边缘扩散程度,衡量模糊评价值;Vu 等将变换域的频谱、能量等作为模糊评价指标。 该类模糊评价方法通常对于全局模糊具有较好的效果,但对于存在局部模糊的自然图像则效果不佳。 对于图像的模糊区域分割,主要是对图像中所有像素进行分类,以检测出图像中的模糊区域。 如,Xin等采用局部二值模式和一种稳定的分割算法来分割模糊区域;Alireza、Ma、Xiao等则从变换域角度分析局部的模糊情况,再采用封闭式抠图算法得到图像的模糊区域;Karaali 等先在图像边缘进行模糊分析,然后采用引导滤波扩散到整幅图像,以得到模糊区域。 该类模糊分割方法往往假定图像中只存在局部模糊,因此对全局模糊图像效果较差。
由于岩石薄片采集的图像中既可能存在全局模糊图像也可能存在局部模糊图像,因此本文方法借鉴上述两类研究思想,先分块对图像进行模糊评价得到模糊度图,然后由模糊度图的统计特性,来整体划分图像为清晰、局部模糊或全局模糊,以此筛选出存在模糊的视域,同时该模糊度图还可直接用于模糊区域分割。
岩石薄片采集的若干图像中,在一部分视域内会同时存在标本和背景。 为了避免背景区域的干扰,有必要先提取出图像中的标本目标区域。 在偏光显微镜中,岩石薄片的分析会从单偏光和正交偏光两个方面进行。 正交偏光下背景区域呈黑色,标本区域的颜色则随着矿物颗粒和偏光角度的不同而不同;而单片光下整个视域呈亮色,如图1 所示,图1 中第一行左上角为背景区域。 因此,在正交偏光下可以直接通过亮度阈值来得到目标区域,而对于单偏光图像,可以综合正交偏光多角度的掩膜,将其求并集即可。
式中,表示图像的亮度;表示正交偏光二值化的阈值(本文通过对大量背景区域的亮度统计,并考虑到人眼对亮度的感知情况,取20);表示正交偏光的二值化掩膜;表示在正交偏光角度为时的图像掩膜;表示单偏光的掩膜。
图1 第二行显示了对一个位置各角度提取目标区域的结果。 从图中可见,单一正交偏光图像得到的掩膜难以完全表述单偏光下的目标区域,综合多个角度的正交偏光掩膜可以准确表述单偏光下的目标区域。
图1 目标区域提取Fig. 1 Target area extraction
图像的模糊可以看成原始图像与一个点扩散函数的卷积,在实际中,离焦模糊通常把建模为高斯函数,即:
式中,表示模糊图像;表示原始未失真图像;表示高斯函数的标准差。
研究表明,对一幅清晰的图像进行模糊,比对一幅已经模糊的图像进行再次模糊所损失的信息要多。 如图2 所示,第一行为模糊程度逐渐加深的失真图像,第二行分别为第一行进行相同高斯再模糊所得到的图像。 由此可见,对于第一幅较为清晰的图像,其再模糊图像与原图像存在较大的不同,而对于最后一幅较为模糊的图像,其再模糊图像与原图像几乎看不出变化。 为定量衡量这种差异,本文计算了再模糊图与原图的均方误差(Mean Squared Error,MSE)值,用以衡量原图像与再模糊图像的误差大小。 其计算公式如下:
其中,、分别表示图像的高和宽;表示原图像;表示再模糊图像。
从结果可见,若原图像越清晰,则再模糊前后的值越大,图像损失细节越多,而原图像越模糊,则再模糊前后的值较小,图像变化不大。 基于此,对于一幅待测图像,可以通过再模糊构造参考图像,由再模糊图像与原图像的差异来判断待测图像的模糊程度。
图2 图像再模糊Fig. 2 Image re-blur
值虽然可以反映出图像再模糊前后的差异,但其受图像内容影响较大,不能直接用于模糊评价中。 考虑到图像的失真会导致梯度幅度的衰减,即梯度幅度的变化可以反映图像的失真程度。 因此, Xue 等将梯度幅值相似度( Gradient Magnitude Similarity, GMS)应用于有参考图像质量评价中,并取得了较好的效果。 本文将引入无参考模糊评价中,先通过对待评价图像做高斯再模糊构造参考图像,利用和的来衡量图像的模糊程度。计算方法如式(4)所示,
式中,是一个小的正常数用于避免分母为0,和分别表示失真图像和再模糊图像的梯度幅值图。 由于Sobel 算子对噪声具有较好的抑制作用,因此本文使用Sobel 算子来计算图像梯度。
逐像素计算原图与再模糊图的值,即可得到一幅图像的矩阵。 图3 显示了清晰图像与模糊图像在矩阵上的差异,其中第一行表示清晰图像,第二行表示模糊图像,列是由列经3 的高斯滤波得到的再模糊图像。 比较、列梯度图可见,清晰图像再模糊前后其梯度幅值变化较大,而模糊图像的梯度幅值变化则较小,因此列中清晰图像矩阵的灰度值比模糊图像更低。
图3 清晰图像与模糊图像GMS 的比较Fig. 3 Comparison ofGMS between clear image and fuzzy image
为了定量衡量图像模糊程度与的关系,定义大小矩阵均值为空间域的模糊评价指标:
由以上分析可知,图像越模糊,其再模糊图梯度幅值变化越大,值越接近于1;反之,图像越清晰,值越接近于0。 因此,可以从空间域角度有效衡量图像模糊程度。
图像的模糊在空间域体现为梯度的衰减,在频率域则体现为高频系数的减少。 考虑到离散余弦变换(Discrete Cosine Transform, DCT)对能量具有较好的集中性,对图像模糊具有更好的响应,并且计算复杂度较低,因此本文从变换角度构造频率域评价指标。
对于的图像,其二维变换如下:
图4 显示了清晰图像与模糊图像在系数上的差异,第一行表示清晰图像,第二行表示模糊图像。 其中列是由列经3 的高斯低通滤波得到的再模糊图像,图、列分别表示其图。 比较、列可见,清晰图像经再模糊后损失大量高频系数,而模糊图像经再模糊后其系数变化较少,因此再模糊前后系数的变化可以有效衡量图像的模糊程度。
图4 清晰图像与模糊图像的DCT 系数比较Fig. 4 Comparison ofDCT between clear image and fuzzy image
为了定量衡量图像模糊与系数的变化关系,频率域的模糊评价指标定义如下:
由上述分析可知,图像越模糊,再模糊前后系数差异越小,值越接近于1;反之,图像越清晰,值越接近于0。 因此,值可以从频率域角度有效衡量图像的模糊程度。
仅仅从空间域或者频率域难以准确衡量图像的模糊程度,本文综合空间域和频率域方法,定义其加权和作为模糊评价值:
其中,0 ≤≤1(本文中取0.5 时效果最佳),S表示对图像块的模糊评分值。
在显微镜采集的图像中,即存在因为聚焦失败导致的全局离焦模糊,也有因为景深不够而导致的局部离焦模糊,若直接对整幅图像进行评价,则局部模糊图像会受到清晰区域的影响而产生错误结果,因此需要对图像进行分块处理。 同时,考虑到多尺度在模糊评价中的广泛应用,小尺度块对边缘具有较好的保留效果,但在灰度平坦区域易产生误判;而大尺度块虽然对边缘有一定平滑,但其对灰度平坦区域响应较好。 本文综合多尺度的影响,采用滑动窗口机制,在每个窗口上取大小为16、32、64 3 种大小的尺度块,最后采用加权求和的方式得到每个窗口位置的最终评分值:
其中,、、表示各尺度块的权重,且1。 考虑到岩石薄片显微图像中灰度平坦区较多,因此本文取∶∶2 ∶3 ∶5。的最终取值范围为0~1。越接近0,图像块越清晰,越接近1,图像块越模糊。 求得所有窗口的分值,即得到图像的模糊度图。
图5 显示了清晰、全局模糊、局部模糊的薄片图像以及其所对应的模糊度图,图、中红色框大致标出了局部模糊所在的区域。 从图中可以看出,清晰图像所在区域的分值较低,而模糊区域的分值较高;从图、和中还可以看出,图像中背景区域与模糊区域呈现相近的模糊程度,因此有必要排除背景区域以得到正确的目标区域模糊分布情况。
图5 清晰、局部模糊和全局模糊图像的模糊度图Fig. 5 Fuzziness map of clear, locally blurred and globally blurred images
为了将图像分类为清晰、全局模糊和局部模糊,本文计算了模糊度图中目标区域的标准差σ和均值μ。 可以预见的是,局部模糊图像中模糊度分布不均匀,其应具有较大的标准差,而清晰和全局模糊图标准差相对较小,但清晰图像应具有更低的均值。因此可以通过标准差阈值σ和均值阈值μ来判断图像类别。 若σ>σ,则图像为局部模糊,否则继续判断均值;若μ<μ,则图像为清晰,否则μ>μ,为全局模糊图像。 图5 展示了部分图像的标准差和均值,本文通过实验,验证了σ的合适值为0.06,而μ的合适值为0.72。
本文实验数据由课题组“岩石薄片偏光采集系统”采集所得,从中随机选择不同薄片部分图像用于验证本文算法。 其中包括清晰图像126 幅,局部模糊图像109 幅,全局模糊图像86 幅,共321 幅岩石薄片图像。 提前标记好图像真实类别,然后用本文算法预测其类别。 在统计分类任务中,常采用准确 率()、 精 确 率() 和 召 回 率() 来对算法进行评估。
其中,准确率衡量算法的整体性能,精确率衡量算法检测的准确性,而召回率则衡量算法检测的全面性。 其计算方式如下:
式中,表示真正例,即正类中正确预测的样本;表示假反例,即正类中被错误预测为反类的样本;表示真反例,即反类中正确预测的样本;表示假正例,即反类中被错误预测为正的样本。 对321 幅样本图像进行预测,得到其混淆矩阵见表1。
表1 三分类混淆矩阵表Tab. 1 Confusion matrix table with three class
表中横轴表示预测值,纵轴表示真实值。 从混淆矩阵中可以看出,在所有图像上的准确率达到93.15%,清晰、局部模糊和全局模糊各自分类的精确率分别为90.97%、93.45%、96.29%,召回率分别为96.03%、91.74%、9.69%,平均精确率达到93.57%,平均召回率达到92.82%。 算法在具有较高精确率的同时也能保持较高的召回率,说明对模糊图像具有较好的分类能力。 在算法完成分类预测后,全局模糊图像和存在局部模糊的图像即为所要筛选的离焦模糊图像。
在岩石薄片图像采集中,全局模糊一般是由于自动聚焦失败而导致,对于此类图像只需回到相应位置重新对焦采集即可;而局部模糊图像一般是由于成像系统景深不够导致,对于此类图像则需要进行再处理,如采用去模糊算法或多聚焦图像融合等算法。 由上述分析可知,在算法得到的模糊程度图中,模糊区域具有较高的评价值,清晰区域具有较低的评价值,因此直接在模糊度图上采用自适应二值法即可提取图像的模糊区域。 将本文提取的模糊区域与其它算法进行比较,部分结果如图6 所示。 其中,第一列图片中的红色方框大致标出了模糊区域,图中灰色区域表示通过正交偏光特性提取出的背景区域,白色区域表示分割的模糊区域。 从图中可以看出,本文算法在提取模糊区域时具有更好的连续性,不易受平坦区域影响而产生误判,具有更高的准确性。
图6 模糊区域分割效果对比Fig. 6 Comparison of Fuzzy area segmentation
本文提出的针对岩石薄片显微图像的自动模糊检测算法,首先通过岩石薄片的偏光特性提取图像中目标区域,然后对目标区域进行再模糊,并结合空间域和频率域方法对在模糊前后的差异进行考量,以衡量图像局部区域的模糊程度,最后采用模糊度图的统计特性来将图像分类为清晰、局部模糊和全局模糊。 实验结果证明,该方法可以从岩石薄片采集的大量图像中有效筛选出模糊图像,并且也能对图像中的模糊区域进行分割便于对其再处理,具有一定的实用性。