陆俊羽, 郭康乐, 严 飞, 马骁昱, 程玉柱
(南京林业大学机械电子工程学院,江苏 南京 210037)
室内家庭装修中,地板是重要的主材之一。地板表面质量的好坏直接影响家装的质量和美观。地板主要分为实木地板和复合地板,而实木地板中节子是存在的重要缺陷之一。提高实木地板检测效率可通过对实木地板中死节缺陷的大小及位置自动检测来实现,而且有助于降低人工劳动强度。采用机器视觉和图像处理的算法实现实木地板缺陷检测是目前的简易手段之一。实木表面缺陷图像分割是该技术中的难点,实木地板表面的花纹会使图像的分割质量下降[1-4]。目前,在实木地板上主要利用图像灰度化、二值化等[5-6]对表面缺陷图像进行分割。主动轮廓图像分割算法之一的CV模型[7],已在农林图像等图像分割中被广泛应用,而且此算法还在不断完善中[8]。Otsu是一种阈值算法,根据类间方差最大化准则,寻找图像最优阈值,实现图像分割。本文针对实木地板表面中有复杂花纹情况提出一种基于Otsu与加权CV模型的检测算法进行木材死节缺陷图像分割,完成实木地板缺陷提取。
本文将大津法(Otsu)与加权无边区域主动轮廓模型(ACM)相结合,提出一种Otsu初次分割与加权ACM最终分割的组合检测方法,能解决家庭装饰物中木质地板表面的节子缺陷自动检测问题,提高了检测效率,算法流程图如图1所示。首先,在室内木地板表面上采集节子缺陷RGB彩色图像,然后进行灰度图提取RGB彩图,对三通道灰度图分别进行Otsu分割,得到加权分割结果,并确定水平集同时获得初始分割,然后通过加权的ACV模型进行演化并最终确定木地板死节缺陷。
图1 算法流程图
最大类间方差法为著名的Otsu算法,其是由日本学者大津(Nobuyuki)于1979年提出的,是一种自动化的阈值确定方法。这个算法通过设定阈值与图像像素点进行比较从而将图像分成前景和背景多个区域,然后通过定义这多个区域区分度最大的阈值即为所求的最佳阈值。定义组内方差,使得组内方差最大:
uc2(t)=E0(t)(α0-αt)2
+E1(t)(α1-αt)2
(1)
取输出值β=1/uc2(t),通过选择输出值β最小化的阈值t即为优化解,其中:
E0(t)=i=0t-1δ(i),E1(t)=i=tL-1δ(i)
(2)
其中E0(t)为分类后像素值小于等于t的所有像素点数占图像的百分比,E1(t)为像素值大于t的所有像素点数占图像的百分比,用δi来表示直方图的各个分量。图像中所有像素平均值αt=i=1 256iδi,α0为分开后图像中像素值小于等于t的所有像素点的平均灰度,α1为分开后图像中像素值大于t的所有像素平均灰度。
主动轮廓模型(ACM)已经用于图像和视频的分割和检测中,主要分为边缘型和区域型两大类。边缘型侧重为灰度边缘检测,检测像素值的跳变。区域型侧重于区域的均值和方差参数的计算。因此,两种类型都有自己的优缺点,边缘型敏感于噪声,区域型弱于非均匀性分割。有很多改进将边缘和区域相结合使用,将全局和局域进行组合,提高算法性能。CV模型是无轮廓区域的模型,定义曲线运动能量:
ECV(C,c1,c2)=α·length(C)+β·area(inside(C))
(3)
最小化能量泛函:
∂φ∂t=δ(φ)αdiv(▽φ▽φ)-β-γ1(u-c1)2+γ2(u-c2)2c1(φ)
=ΩuH(φ)dΩΩH(φ)dΩc2(φ)=Ωu(1-H(φ))dΩΩ(1-H(φ))dΩ
(4)
通常α≥0,β≥0,γ1=1,γ2=1,可人工预先设定,也可以最优化求解得到,c1与c2为目标和背景的均值,u为灰度图像,φ为水平集。CV模型与Otsu是不同的算法,有各自的特点,Otsu是求不同类的组内均值与总均值的方差之和最大所对应的阈值;CV模型是构建方差泛函,使得泛函最小时,求解对应最大方差的隐含分割阈值。假定目标水平集为正值,背景水平集值为负,当像素值接近目标均值时,水平集演化是朝着正值移动,当像数值属于背景值时,演化朝着负值移动。曲线演化主要由数据项控制,正则化保持曲面局部光滑,提高演化精度。两种方法有相似之处,手段不同,本质等价。
CV模型通常是对灰度图进行处理,将RGB三通道的数据项进行加权,再与正则化项求和,得到总的能量值。首先令α=1,β=0,γ1=1,γ2=1,简化式(4)得到:
∂φ∂t=δ(φ)div(▽φ▽φ)-(u-c1)2
+(u-c2)2
(5)
进一步拓展至三通道,得到水平集进化:
∂φ∂t=δ(φ)div(▽φ▽φ)-λR(k*u-c1R)2+λR(k*u-c2R)2
-λG(k*u-c1G)2+λG(k*u-c2G)2-λB(k*u-c1B)2+λB(k*u-c2B)2c1I(φ)
=ΩIH(φ)dΩΩH(φ)dΩc2I(φ)=ΩI(1-H(φ))dΩΩ(1-H(φ))dΩ
(6)
式中:λR、λG、λB为三通道数据项的权重值;c1I为各通道目标均值;c1R、c1G、c1B,c1I为各通道背景均值;c2R、c2G、c2B,k为卷积核。其中,如何选择最优的权重值是算法的关键。
地板是室内装修时需要选用的主材之一,通常有实木地板和复合地板,其中实木地板利用实木加工而成,价格贵且板材本身就存在一定的缺陷,最常见的节子缺陷包括活节、死节等。针对室内木地板死节缺陷,选取两张死节缺陷图像进行检测。Otsu初始分割、RGB彩图经三通道分解、加权CV图像分割等取得缺陷最终检测结果。图2是木地板死节缺陷的彩图,可以看出,实木地板图片中死节目标非常明显,图2(a)有一个大的死节目标,但目标和背景差异不大,且节子周围和背景地板存在过渡带;图2(b)有1个死节目标,目标和背景差异明显,但是地板具有一些花纹,使得对图像分割的难度加大,阙值法不能一次性完成对权限目标的提取。
图2 木地板死节缺陷
将彩图2进行三通道分解,分别得到R通道、G通道、B通道,然后对三通道进行Otsu分割,用函数graythresh实现分割阈值,用imbinarize函数获取二值图。图3为图像Otsu三通道分割图,第一列为R通道分割图,第二列为G通道分割图,第三列为B通道分割图。第一行为图2中第一幅图对应的三通道分割图,第二行为图2中第二幅图对应的三通道分割图。从图中可以看出,地板的深色花纹与节子的像素值接近时会产生误分割。
图3 Otsu初始分割图
为了与CV模型进行比较,将彩图2进行三通道分解,分别得到R通道、G通道、B通道,然后对三通道进行CV模型分割,用函数activecontour实现分割,获取二值图。图4为图像三通道CV模型分割图,第一列为R通道分割图,第二列为G通道分割图,第三列为B通道分割图。第一行为图2中第一幅图对应的三通道分割图,第二行为图2中第二幅图对应的三通道分割图。从图中可以看出,地板的深色花纹与节子的像素值接近时会产生误分割,但CV模型的分割效果优于Otsu。
图4 分割结果
式(1)和式(2)处理结果如图3所示,将RGB三通道的二值图求或,得到初始水平集,作为Mask,利用代入到式(8)进行计算,最终得到测试结果,如图5所示。左上图为对应图2第一幅图分割图,左下图对应图2第一幅图分割图,右上图和右下图分别为两幅图的参考标准图,由人工分割。
图5 分割结果及人工参考标准
为了对图像分割质量进行精确评估,已有监督客观评价方法,对理想目标施行人工分割[9-11],以人工为对照组,如图5(b)。利用Matlab2019软件的三个评价函数来实现计算,三函数为Jaccard、Dice、Bfscore,定义为:
JAC相似度定义为:
JAC=TPTP+FP+FN×100%
(7)
Dice定义为:
Dice=2×TP2*TP+FP+FN×100%
(8)
BFScore定义为:
BFScore=2*precision*recallrecall
+precision×100%
(9)
式中:TP为判断正确的正像素,TN为判断正确的负像素,FP为判断错误的负像素,FN判断错误的正像素,precision为精确率,recall为召回率。
利用式(7)~式(9)对图3~5进行计算,分别得到Otsu方法、CV方法、加权CV方法的性能指标值,见表1、表2和表3。
表1 Otsu分割
表2 CV分割
表3 加权CV分割
Otsu的平均值JAC为93.535%、Dice为96.645%、BFScore为94.045%;CV的平均值JAC为94.47%、Dice为97.145%、BFScore为96.14%;加权CV的平均值JAC为95.36%、Dice为97.27%、BFScore为98.47%。CV方法优于Otsu方法,更能检测出地板死节,利用加权的思想,可以进一步改进CV模型[12-14],加权CV方法优于Otsu和CV方法[15-17]。如何选取最优权重λR、λG、λB是加权算法的关键,当λR=1、λG=0、λB=0,模型退化为R通道CV分割;当λR=0、λG=1、λB=0,模型退化为G通道CV分割;当λR=0、λG=0、λB=1,模型退化为B通道CV分割。试验表明R通道的分割性能优于G通道和B通道,因此如何确定最优的比重是此研究的难点和重点。
(1)多通道分解与Otsu能有效地粗定位待分割的室内装修中木地板节子,为家装木地板缺陷图像检测提供一个有效的预定位方法。
(2)将加权的思想用于RGB彩色图像三通道是可行的,能进一步提升CV模型的分割能力,通过选择不同的权重实现木地板的死节图像分割功能。
(3)提出的算法检测功能性强,可达成自动化分割,图像分割性能较高。利用自然启发优化算法全自动确定权重是今后的研究方向。