基于深度学习的木材优选锯视觉检测算法

邵明伟 董军宇

(1.青岛理工大学信息与控制工程学院 青岛 266520； 2.中国海洋大学信息科学与工程学院 青岛 266100)

在木料加工行业，需要对木材优劣进行判断，以发挥木材的最大价值，其中，木材缺陷剔除和木材等级分类是不可或缺的重要环节，二者的工作效率和准确程度直接关系到木料出材率。在这种情况下，一种名为优选锯的机械自动化设备应运而生。典型的优选锯主要由2部分组成，即工业控制系统和机械执行机构。优选锯的基本工作流程如下： 首先，工人根据木材等级和缺陷位置在木材表面用特制的荧光笔划线，划线位置即木材需要截断的位置； 接着，木材由传动机构送入荧光探测器，荧光探测器探测荧光线位置，将信号传递给工业控制系统，工业控制系统确定木材截断位置后依据不同规则(如等级优选、长度优选、价值优选等)计算木材最终切除位置，并将最终切除位置列表传递给机械执行机构，由机械执行机构对木材进行切除(图1)。

图1 典型优选锯工作示意Fig.1 Schematic representation of the traditional optimizing cross-cut saw

典型优选锯的出现，增加了木材出材率，降低了人工成本，并提高了工人作业安全系数。但是，优选锯并未实现完全自动化生产，在工作过程中仍需人工对木材进行划线，尤其当木材较笨重时，划线操作更加困难。此外，工人长期工作后不可避免会出现视觉疲劳，进而难以准确识别木材位置。

计算机视觉是一门以“看”为基础的科学(马颂德等，1998)，其主要通过摄像机或电脑代替人眼对目标进行识别、跟踪和测量等(Shaoetal.， 2020a)，并进一步做图像处理，返回更适合人眼观察或传送给仪器检测的图像。深度学习(deep learning)是一门利用计算机模拟人类智能行为对被测物体进行分类、识别和检测等的科学，其通常以人工神经网络为基础，采用监督或无监督学习方法在不同学习框架下建立学习模型，完成相应任务，常用的深度学习网络有卷积神经网络、循环神经网络和递归神经网络等。近年来，深度学习在越来越多领域得到了广泛应用，如语音识别、图像识别和自然语言处理等(章毓晋， 2000)。

本研究提出一种基于深度学习的木材优选锯视觉检测算法，由摄像机获取木材表面图像，通过图像处理和深度学习相关算法，自动对木材缺陷和等级进行识别，根据图像平面与木材物理平面之间的单应关系，确定木材缺陷和等级的实际位置，并依据相关原则确定最终切除列表，传递给机械执行机构对木材进行切除。本研究提出的视觉检测算法运行速度快、识别准确率高、鲁棒性强，可最大限度增加木材出材率，提高木材价值，并进一步提升木材加工行业自动化水平。

1 原理与性质

1.1 深度学习

深度学习是机器学习的一个重要分支，可分为有监督学习、半监督学习和无监督学习等，不同学习框架下建立的模型不同。常用的深度学习算法，如R-CNN、Fast R-CNN和Faster R-CNN (Wuetal.， 2020; Renetal.， 2016; Dongetal.， 2016)，区域网络提名是不可或缺的步骤，其可将任意尺寸图像作为输入，并输出一系列具有投票得分的矩形区域。每类样本(图像)选择充足数量进行训练，通过提取每个样本(图像)特征，得到每个样本的特征矩阵。特征矩阵导入全卷积网络进行训练，可获得相应的分类网络，由分类网络即可完成对目标物体的检测。

1.2 单应矩阵

单应矩阵(homography matrix)是透视投影几何中2个平面之间映射关系的一种矩阵表示。在计算机视觉中，单应矩阵常用来描述空间物理平面与图像平面对应点间一一对应的几何关系。如图2所示，Oc-XcYcZc为摄像机坐标系，o-uv为图像坐标系，在摄像机坐标系下，摄像机原点和光轴为Z轴。空间平面Π中的点P投影到图像平面π中，在空间平面建立世界坐标系，定义P点的齐次坐标为P=(Xw,Yw,Zw,1)T，对应图像平面点的齐次坐标为p=(u,v,1)T。在透视几何投影中，可以得到如下关系(Mitchell, 2012)：

(1)

式中：fx、fy、u0、v0为摄像机内部参数；R、t为摄像机外部参数；s为系数(Zhang, 2000; Shao, 2020)。

设

(2)

则式(1)可被重写为：

sp=MP。

(3)

由于世界坐标系建立在空间平面Π上，因此式(3)可表示为：

sp=HP。

(4)

式中：H=[M1,M2,M4]，即单应矩阵表示空间平面Π到图像平面π的映射关系(Hartleyetal.， 2003)。

图3 木材缺陷示意Fig.3 Images of wood defects

图2 单应矩阵空间原理Fig.2 Principle of homography matrix

1.3 木材挑选规则

1.3.1 木材缺陷 对于一根木材，缺陷是最先应该被处理的部分。缺陷主要包括节疤、虫眼和裂纹等，其存在会降低木材局部强度，增加木材开裂概率。木材缺陷种类较多，如图3所示。

1.3.2 木材等级 去除缺陷后，需对无缺陷木材进行等级分类。不同厂家的分类标准各异，通常情况下木材被分成4个等级，即直纹木板(straight grain,SG)、花纹木板(wavy grain,WG)、色差木板(color difference,CD)和色变木板(wood strain,WS)，每一等级又可被细分为更多等级。基础等级图像如图4所示。

图4 木材等级分类示意Fig.4 Images of wood grade classificationa.直纹木板Straight grain; b.花纹木板Wavy grain; c.色差木板Color difference; d.色变木板Wood strain.

图5 木材图像感兴趣区域提取结果Fig.5 Extraction of wood images from region of interestA为原始图像A is the original image; B为感兴趣区域B is the region of interest; C为最终提取结果C is the extracted image.

2 木材优选锯视觉检测系统

基于深度学习的木材优选锯视觉检测系统，其具体工作流程如下： 1)将木材置于传送带上，确保其能在传送带上正常传送； 2)木材通过优选锯视觉检测系统，确保其能在视觉检测系统中清晰成像，通过视觉检测系统后，会得到一系列木材图像； 3)由训练得到的用于区分缺陷和无缺陷图像的识别网络，即可确定缺陷木材在图像中的位置； 4)对于无缺陷木材，由训练得到的木材等级识别网络进行分类，即可确定木材等级分类在图像中的位置； 5)根据图像平面与木材物理平面之间的单应关系，即可由步骤3、4中的图像坐标得到需截断位置的物理坐标(Huang, 2015; Shaoetal.， 2020b)，进而确定整个木材切除位置列表。

2.1 图像处理

木材测量环境较为复杂，视觉检测系统难免会捕捉到除木材外的其他图像(Steger, 1998)，因此在图像检测前需对捕捉到的木材图像进行感兴趣区域(region of interest,ROI)分割。具体算法如下： 1)基于大津法确定图像灰度直方图的全局阈值，应用全局阈值对图像进行分割； 2)选择最大区域，应用形态学闭操作对最大区域内部孔洞进行填充； 3)选择包含区域的最大矩形，该矩形即为木材图像的感兴趣区域。

为便于操作，在获取到感兴趣区域后，对图像进行缩放，使每个图像大小相同。获取到的图像以及相应的处理结果如图5所示。

2.2 特征提取

选取一系列合适的卷积核对图像进行卷积操作。一个卷积核对图像进行卷积，可获取一副卷积图像，一系列大小不同的卷积核对图像进行卷积操作，可获取一系列卷积图像，称为特征图谱(Razavianetal.， 2014; Shiuetal.， 1989)。图像卷积，即卷积核在图像X和Y方向上进行点乘加和操作。当选择卷积核函数时，有可能出现负值，对于图像而言，负值是不能存在于图像中的。因此，定义如下非饱和激活函数：

(5)

该函数在不影响接收域的前提下，可增加决策函数的非线性特性。通常情况下，特征图谱较大，图像的计算效率较低，需对特征图谱进行降采样，并提取主成分，该过程称为池化(Zheng, 2009; Ismailetal.， 2015)。用于池化的函数很多，最为常用的是最大池化函数：

f(x)=max(0,x)。

(6)

当用于卷积操作的一系列卷积核函数在图像X和Y方向上进行卷积时，被卷积区域的最大值将被用来作为输出值。特征提取过程如图6所示。

图6 特征提取流程Fig.6 The flowchart of feature extraction

2.3 训练

将获取到的木材图像分为有缺陷和无缺陷图像2类，并用全卷积网络进行处理。每类样本(图像)选择充足数量进行训练，通过提取每个样本(图像)特征，得到每个样本的特征矩阵。特征矩阵导入全卷积网络进行训练，可获得能够区分有缺陷和无缺陷图像的分类网络，定义为网络1； 同样，应用全卷积网络训练可获得对于无缺陷图像进行木材等级识别的网络，定义为网络2 (Heetal.， 2019; Jietal.， 2012)。

3 试验结果

采用DAHENG MER-050-200GM工业相机进行检测，图像分辨率为800像素×600像素，帧频为200FPS，计算得到摄像机图像平面和木材物理平面之间的单应矩阵(Safaee-Radetal.，1992)为：

(7)

计算机采用Intel I7-6700八核处理器，处理速度为3.4 GHz，显卡采用NVIDIA GTX 1050Ti，其GPU计算能力为6.1。由于采用的工业摄像机为黑白相机，因此在木材类别训练和分类过程中，仅对直纹和花纹木材进行分类。

3.1 训练结果

每类木材选取5 000副图像作为样本，其中4 000副用于训练、1 000副用于验证。样本验证错误概率与迭代次数的关系如图7所示。

图7 网络训练结果Fig.7 The result of training

3.2 检测结果

首先应用网络1获取缺陷在木材图像上的位置(图8)，根据图像平面与木材物理平面之间的单应关系计算木材缺陷在物理尺寸上的位置； 然后应用网络2对无缺陷木材图像进行识别，进而确定木材等级的分类位置(图9)。

对1 000幅木材图像进行缺陷检测和等级分类，结果如表1所示。

图8 木材缺陷位置检测结果Fig.8 Results of defect detection

图9 木材等级分类结果Fig.9 Results of grade classification

表1 检测算法结果Tab.1 Results of detection algorithm

4 讨论

在木料加工行业，如何最大限度发挥木材价值、提高工作过程的安全性和效率一直是人们研究的主要目标。根据此目的，本研究将深度学习中的卷积神经网络与计算机视觉相关知识结合，应用于木材缺陷识别和等级分类。结果表明，在本研究试验条件下，基于深度学习的木材优选锯视觉检测算法单幅图像缺陷检测时间为123 ms，缺陷检测正确率为95.8%，单幅图像等级分类识别时间为55 ms，分类识别正确率为97.1%，平均检测时间为86 ms，平均正确率为96.5%。相比现下人工检测过程，精度和效率均显著提升。与目前绝大多数优选锯检测工艺相比，该方法可进一步提高木材的出材率和准确性，在提升工作效率的同时，能够保证生产安全，实现全自动木材优选工作。

5 结论

本研究提出一种基于深度学习的木材优选锯视觉检测算法： 1)通过充足样本训练获得木材缺陷和木材等级识别网络； 2)视觉传感器获取需检测木材图像，由木材缺陷识别网络确定木材缺陷的具体位置； 对于无缺陷木材，由木材等级识别网络确定视觉传感器视场内木材的具体等级； 3)根据图像平面与木材物理平面之间的单应关系确定木材最终切除位置列表。基于深度学习的木材优选锯视觉检测算法运行速度快、识别准确率高、鲁棒性强，可克服传统优选锯分类不佳且需要人工干预的缺点，自动化程度高，能够满足木材优选锯实时、准确检测要求。