摘 要:【目的】破竹分片是影响竹材出材率的重要基础工序。针对竹段的直径大小跨度大、壁厚不等、圆度不一的个体化特性,提出基于机器视觉的智能分片方法,以提高竹材的出材率。【方法】基于竹段的天然特性和破竹工艺要求,以竹段的真实截面轮廓为基础,以刀盘可分片的数量为约束,建立出材率计算模型。通过工业相机采集竹段的截面图像,在Canny算子的基础上引入多尺度细节增强算法来消除竹材图像内、外径间的干扰信息,并通过融合迭代阈值与梯度直方图分析法自适应获取双阈值,以提升竹段截面轮廓提取的鲁棒性。采用边界排序生长算法快速计算剖分竹片的最大内接矩形。在智能破竹机上开展生产试验验证。【结果】改进的轮廓提取算法,有效去除了竹材截面图像的伪边缘特征,能获得完整的边缘轮廓特征,计算获得的竹材内外径与真实尺寸的平均误差为0.9%。同一随机剖分角度下,本研究方法计算的出料率与最大出材率相比平均偏差为1.3%,小于圆模型的6.3%和椭圆模型的1.6%。通过生产试验,验证了基于机器视觉的破竹机智能分片系统的出材率平均可达73%,高于传统破竹机出材率。【结论】设计的基于机器视觉的智能分片系统,能快速获取竹段的真实截面轮廓,精准确定剖分份数,有效提高了竹材的利用率。
关键词:机器视觉;竹材剖分;智能破竹;竹轮廓提取
中图分类号:S781.9;TS64 文献标志码:A 文章编号:1673-923X(2024)08-0159-09
基金项目:福建省自然科学基金项目(2023J01929);福建省科技计划创新资金项目(2022C0063);福建省科技计划对外合作项目(2023I1013);福建省财政厅(自科)项目(KY030456)。
Design and verification of intelligent bamboo fragmentation system based on machine vision
YE Jianhuaa, LIU Guanfeia, LIU Bolinga, LUO Fenxianga, WEI Tiepinga, LIN Jizongb(a. School of Mechanical and Automotive Engineering; b. School of Materials Science and Engineering, Fujian University of Technology, Fuzhou 350118, Fujian, China)
Abstract:【Objective】The process of bamboo splitting is a crucial step that affects the yield rate of bamboo materials. To address the individual characteristics of bamboo segments, such as varying diameters, uneven wall thickness, and inconsistent roundness, we propose an intelligent splitting method based on machine vision to improve the yield rate of bamboo materials.【Method】Based on the natural characteristics of bamboo segments and the requirements of bamboo breaking technology, the calculation model of wood yield was established on the basis of the real cross-section outline of bamboo segments and the number of cutter segments as constraints. By using an industrial camera to capture cross-sectional images of bamboo sections, a multi-scale detail enhancement algorithm was introduced based on the Canny operator to eliminate interference information between the inner and outer diameters of the bamboo image. The dual thresholds were adaptively obtained by integrating iterative thresholds and gradient histogram analysis to improve the robustness of bamboo section contour extraction. Using boundary sorting growth algorithm to quickly calculate the maximum inscribed rectangle of sliced bamboo. Conduct production testing and verification on intelligent bamboo breaking machine.【Result】The improved contour extraction algorithm effectively removed pseudo-edge features from bamboo material images and obtains complete edge contour features with an average error between calculated inner/outer diameters and actual sizes at 0.9%. Under random initial splitting angles, our method showed an average deviation from maximum yield rate at 1.3%, which was lower than 6.3% for circular model or 1.6% for elliptical model. Through production experiments, it is verified that the average yield of the intelligent segmentation system based on machine vision can reach about 73%, which is higher than the yield of traditional breaking machines.【Conclusion】The intelligent segmentation system based on machine vision designed can quickly obtain the true cross-sectional profile of bamboo segments, accurately determine the number of segmentation parts, and effectively improve the utilization rate of bamboo.
Keywords: machine vision; bamboo splitting; intelligence breaks bamboo; bamboo contour extraction
我国竹类资源丰富,竹种种类、竹林面积和竹材蓄积量均位于世界前列[1–3]。竹材作为天然可快速再生、绿色环保的生物质纤维材料,具有高强度、良好的韧性及硬度等优势,应用十分广泛。近年,随着“以竹代木”“以竹代塑”的兴起,竹材加工产业获得了高速发展[4–6],也促进了我国的竹材加工装备的不断成长[7-8]。破竹是将竹段通过机械剖分得到单元化、规格化竹条的过程,是竹材加工的基础工序。竹材的剖分决策方法直接决定着竹材的利用率。
为了提高竹材的利用率,诸多学者开展了相关研究。如,郝景新等[9]建立了制备矩形竹片的竹筒剖分模型,分析了加工余量等因素对材料利用率的影响。刘嘉诚等[10]进一步建立了不同竹筒直径、加工余量、开片数与加工矩形竹片之间的数学模型,提升了竹材利用率。随着视觉检测技术的发展,一些学者开展了基于机器视觉的竹材直径检测与剖分算法的研究。韩伟聪等[11]利用Sobel算子提取竹子内外轮廓,建立原竹尺寸测量系统,获得原竹内外周长、厚度等参数。柴华等[12]将Sobel和蚁群算法相结合提取出连续且粗细均匀的竹材截面的内外轮廓,获得竹材端面的内外面积、厚度的数值。周美佳等[13]建立了基于椭圆分段拟合的竹材剖分模型,结合机器视觉技术设计了剖分刀具自动选择方法。目前学者建立剖分模型时,对竹段的形状进行了不同程度的简化,未全面地考虑竹段的壁厚不等、圆度不一等差异化因素对竹材出材率的影响,导致实际应用时存在偏差。
为此,本研究以提高竹材出材率为目标,提出一种基于机器视觉的智能破竹分片系统,规划竹材最佳剖分分数。具体来说,本研究建立基于真实轮廓剖分模型的剖分份数的计算方法,根据截面轮廓竹材出材率的计算模型,提出基于视觉检测竹材剖分决策方法:首先,通过相机采集竹材截面图像;其次,利用改进的Canny算子提取竹材截面真实边缘;接着,根据提取的真实轮廓,以出材率的最大化为准则,以刀盘可分片的数量为约束,选取不同分片数对竹材等分,分别计算剖分后每块竹片边缘和最大内接矩形所包含像素点个数,并带入出材率计算模型得到对应出材率数值;最后,根据计算的出材率数值选取最优剖分份数所对应刀具实现在线智能分片。基于研发的自动破竹系统样机,对智能换刀算法的性能与效果进行试验。
1 材料与方法
1.1 破竹工艺分析
竹段的实物如图1a所示,不同竹段存在壁厚不等、圆度不一、直径大小跨度大等特点,竹段的截面形状如图1b所示,呈现明显的阴暗面壁厚不等、截面轮廓不规则的特性,难以通过标准圆或椭圆等规则几何图形来表征。
竹段的破竹剖分工艺流程如图2所示,其工序大致可分为:上料、截面测量、剖分数决策、刀盘选择、推送剖分、拉拔到下料分堆等。具体工艺过程为:自动上料装置将标准长度的竹段运转至截面测量工位,截面测量装置对竹段的截面尺寸进行测量。然后,根据测量的结果,以竹材利用率最大化为准则,以刀具可分片的数量为约束进行分片数的计算。接着,根据计算的分片数量,选择对应的刀具到剖分工位,通过推送机构进行竹段的剖分,在推送的同时拉拔机构进行竹段已剖分端的夹持拉拔。最后,将剖分好的竹片根据片宽、壁厚进行自动分堆。竹段剖分工艺过程中最为关键的步骤是竹段截面的测量和剖分数的决策计算,测量的准确性和剖分数直接影响竹材出材率,进而影响经济效益。因此,竹段的截面测量和剖分数的决策方法成为决定剖竹系统性能的重要影响因素,也是剖竹系统研究的重点所在。
1.2 出材率模型设计
由于竹子具有中空、弯曲等特性,破竹剖分后的竹片在后续加工利用时并不能全部使用,通常将竹材出材率定义为可用于加工竹制品的规格化竹条的矩形面积之和与生产该产品所消耗的竹材总面积的比值[14]。为了计算和控制的方便,传统方法是将竹材截面轮廓近似拟合成圆形或椭圆,再进行剖分数的等分计算。这类方法没有考虑竹材横截面的不规则对成材率的影响。
如图3所示,部分竹材的截面内外轮廓呈现不规则形状,以及厚度分布不均匀和边缘轮廓凹凸不平的现象,若按传统竹材剖分计算模型直接将竹材截面轮廓近似拟合成圆形或椭圆,会导致拟合所得内外轮廓偏离竹材真实轮廓,使得基于剖分模型计算的出材率偏离实际值,如图4所示。
为了获得更加准确的出材率,本研究提出基于竹材截面边缘轮廓的竹材剖分模型。基于竹材截面的边缘轮廓对出材率的影响,本研究定义截面轮廓竹材出材率η为:
1.3 基于改进Canny的竹材边缘检测算法
Canny算法的核心是计算图像的梯度幅值与方向的极大值来提取边缘特征[15]。Canny算子主要步骤包括:1)利用高斯滤波器对图像降噪;2)计算梯度幅值和方向;3)非极大值抑制消除冗余点;4)利用双阈值抑制弱边缘,提取真实边缘。对于竹材截面图像边缘轮廓提取,由于竹材截面存在大量黑色干扰点,且竹材内径与邻域对比度低,直接采用Canny算法会导致边缘提取结果存在大量与内径粘连的干扰边缘难以剔除。另外在双阈值筛选边缘点时,高、低阈值需要手动设置,不具备自适应性,难以适用实际情况。
为此,本研究针对传统Canny算子难以提取竹材边缘特征信息,基于多尺度图像细节增强算法[16-17]对原始Canny算法中高斯滤波后的图像进行细节增强;引入基于直方图分析法与迭代法[18]获取最佳阈值,以解决原始Canny算法依赖人为选取双阈值的弊端,改进后的算法流程如图5所示。
1.3.1 竹材截面图像的多尺度细节增强
1.3.2 基于直方图分析法与迭代法的自适应阈值选取方法
阈值的选取是Canny算子提权边缘信息的重要影响因素。为了解决传统Canny算法无法自适应选取合适的阈值,本研究结合梯度直方图分析方法与迭代法实现自适应获取双阈值[19]。图7为竹段横截面图像增强后的边缘梯度直方图,由图可得非边缘像素的梯度幅值较小且数量较多,边缘像素的梯度幅值较大且边缘像素数量非常少。根据梯度直方图的信息,本研究进一步采用迭代法选取高低阈值,计算方法为:1)选取梯度直方图的平均值作为初始阈值T;2)计算梯度小于等于T的像素点的梯度平均值T1与大于T的梯度平均值T2;3)选取新梯度阈值T′等于(T1+T2)/2;4)若新梯度阈值T′等于原梯度阈值T,则返回T,即为迭代阈值,否则令T等于T′,重复1)至3)。
1.4 最大内接矩形检测方法
目前不规则物体的最大内接矩形计算方法有很多,如遍历中心扩散法、基于改进遗传算法的任意图形最大内接矩形求解法等。本研究采用文献[20]提出的边界排序生长算法。其算法的思想是以最快的速度选定一个最有可能成为最大内接矩形的初始矩形,对其超出的部分进行收缩,不足的部分进行扩张,从而达到又快又准的效果。主要分为选择初始矩形、逆生长和正生长三个步骤,如图8所示。
首先,如图8所示的竹条截面图像,遍历图像轮廓所含像素点并计算各像素点横、纵坐标之和与之差,选取其中横、纵坐标之和与之差为最值的4个像素点,并按升序对像素点横、纵坐标进行排序,选取排在第二位像素点的横、纵坐标作为初始矩形的左上角点P1(x1,y1),排第三位像素点的横、纵坐标作为初始矩形的右下角点P3(x2,y2),进而得到初始矩形的其余两点P2(x2,y1)、P4(x1,y2)。由于竹片截面的上下边缘呈弧状,因此P1点与P2点的连线包含在竹片区域之外的像素点,即初始矩形不完全在竹片区域内,故需先进行“逆生长”操作。具体为:按顺时针循环遍历初始矩形四条边上的所有点,其中包含超出竹片区域像素点的边向内收缩一个像素单位,直至四条边都落入竹片区域内,得到过渡矩形 1 2 3 4PP P P′′′′。由于过渡矩形并未达到最大值,故需对过渡矩形进行“生长”操作,即过渡矩形的边向外扩张直至4条边碰到竹片区域边界,最终得到矩形 1 2 3 4PP P P′′′′。
2 结果与分析
为验证基于机器视觉得智能剖分方法的有效性,第一组试验,在结合多尺度细节增强后,对传统Canny算法、文献[5]所提算法和本研究方法的边缘检测结果进行比较分析;第二组试验对本研究边缘检测方法所提取边缘的准确性进行分析;第三组试验对圆剖分模型、椭圆剖分模型和本研究的基于轮廓的剖分模型进行出材率的计算与比较分析。采集大小为945×945的不同竹材端面图片,包括端面趋近于标准形状、厚度不均等。本研究的试验环境为:操作系统Windows 10 64位系统,CPU AMD Ryzen 5 5600U with Radeon Graphics,16 GB内存。编程语言为C++ 8.1.0、Opencv-cpp-4.5.2。
2.1 图片边缘检测结果分析
为了验证本研究算法的竹材截面边缘轮廓提取效果,分别采用传统的Canny算法、文献[5]算法和本研究改进后的Canny算法对竹材截面边缘图像进行了边缘轮廓提取对比试验,其中传统Canny算法与本研究算法的高斯滤波核大小取3,传统Canny算法分割阈值取(45,25)。如图9所示,为三种边缘检测算法提取竹材截面图像边缘轮廓试验结果。
由图9可知,传统Canny算法与文献[5]算法可以完整提取竹材截面内外径轮廓,但存在较多伪边缘,部分伪边缘与外边缘粘连,难以通过后续图像处理去除。通过对比可以看出,本研究算法有效去除了竹材截面图像的伪边缘特征,同时完整的保留了真实的边缘轮廓特征。
2.2 尺寸检测与误差分析
不规则竹材的边缘轮廓实际面积难以测量,本研究使用竹材截面内、外径的尺寸测量值与实际值的误差来评价边缘提取算法的精度。为了得到竹材截面内、外径尺寸的测量值,需将检测得到的像素距离转换为物理空间距离,采集多组原竹截面图像,利用上述算法得到内外径尺寸。视觉测量结果及其与实际测量值误差对比如表1所示。
由表1数据可知,图像处理测得竹材内外径与真实尺寸的最大误差为1.3%,最小误差为0.1%,平均误差为0.9%。因此,本研究提出的边缘提取算法能有效的提取竹材内、外轮廓,可以有效的运用于基于边缘轮廓的竹材剖分模型。
2.3 轮廓剖分模型结果及分析
由于竹材端面的形状各异,为了更直观地对比本研究剖分模型分别与圆剖分模型和椭圆剖分模型,采集竹材截面图像分别计算三种模型下的出材率以及出材率最大值进行比较。采用圆剖分模型与椭圆剖分模型计算出材率时,在竹截面轮廓提取的基础上,对竹材图像进行拟合处理,以获得竹材端面理想化为圆与椭圆。
在出材率最大剖分份数下,设置的初始剖分角度相同,但随机确定,用三种剖分模型进行计算,图10所示给出了部分竹段的计算结果。图中,红色虚线为竹段的最大出材率。由图可知,与竹段的最大出材率相比,圆模型的偏差最大,平均偏差为6.3%;椭圆模型的偏差次之,平均偏差为1.6%;而本研究基于轮廓的模型偏差最小,平均为1.3%。进一步分析可知,只有当竹材截面接近标准圆形时,如图10的图片7,三种模型计算的出材率相近且与出材率的最大取值误差较小;当竹材截面接近标准椭圆时,如图10的图片4,以椭圆剖分模型计算的出材率具有较小的偏差,其实是因为该模型忽略了壁厚对出材率的影响,计算的出材率偏高,使得从结果上更接近于最大出材率;而采用圆剖分模型,则会导致较大的偏差。上述两种类型的竹段在实际生产中的占有一定比例,其他更普遍的情况下,本研究模型的效果最好。
2.4 破竹机智能分片系统生产测试结果
为了验证基于机器视觉的破竹机智能分片系统的有效性,选取部分竹材按直径尺寸分为三组进行试验验证,相关参数如表2所示;破竹机智能分片系统试验样机及试验现场如图11所示。
破竹机智能分片系统生产试验结果如表3所示。整理试验数据可得出竹材的实际出材率平均可达73%,高于传统破竹机出材率,同时实际生产中由于加工余量等因素导致实际出材率低于理论最大出材率。基于机器视觉的破竹机自能分片系统满足生产要求,针对不同竹材选取最优剖分参数,提高竹材出材率,为破竹机的进一步改进提供了技术支持。
3 结论与讨论
3.1 结 论
针对现有竹材分片系统在剖分大小不一或厚度不均竹材时效果不佳的问题,本研究研究设计了基于机器视觉的竹材智能剖分系统。本研究建立基于竹材截面边缘轮廓的剖分模型,相比于传统剖分模型,本研究剖分计算模型考虑了竹材厚度分布不均等特性,计算所得结果相较于传统模型具有更高的准确性。针对所采集竹材截面图像存在的干扰因素,利用改进的Canny算子对采集所得竹材图像进行边缘特征提取,该算法采用多尺度图像融合增强竹材图像边缘信息,及结合梯度直方图与迭代法选取双阈值,使得本研究算法拥有更强的鲁棒性。结合本研究剖分计算模型和边缘提取算法,进行实际生产试验,竹材出材率高于传统破竹机出材率,满足生产要求。结果表明:本研究设计的基于机器视觉的智能分片系统,可以适应不同类型竹材的剖分和选择更加合理的刀具,提高竹材利用率。
3.2 讨 论
尽管本研究提出的自能破竹分片方法在竹材剖分任务中取得了不错的效果,但还是存在着一些局限。本研究所提出的竹材剖分计算模型依赖于图像的边缘提取结果,而不同的作业场景下所采集到的竹材图像是不同的,可能包含更多的干扰噪声,如竹屑等。因此,在后续的工作中需要继续改进该方法,使得该方法能适用包含更多干扰信息的场景,提高算法的泛化性。
参考文献:
[1] 李岚,朱霖,朱平.中国竹资源及竹产业发展现状分析[J].南方农业,2017,11(1):6-9. LI L, ZHU L, ZHU P. Analysis on the development status of bamboo resources and bamboo industry in China[J]. South China Agriculture,2017,11(1):6-9.
[2] 任明亮,宋维明.国内外竹产业研究的现状与未来[J].林业经济,2008(6):33-37. REN M L, SONG W M. Global bamboo industry research: present and future[J]. Forestry Economics,2008(6):33-37.
[3] XU X X, XU P Y, ZHU J J, et al. Bamboo construction materials: carbon storage and potential to reduce associated CO2 emissions[J]. Science of The Total Environment,2022,814: 152697.
[4] ZHOU J B, FU W S, QING Y, et al. Fabrication and performance of a glue-pressed engineered honeycomb bamboo (GPEHB) structure with finger-jointed ends as a potential substitute for Wood Lumber[J]. BioResources,2015,10(2):3302-3313.
[5] LIU T H, WEN Y L, LI G Q, et al. Optimization and experimental study of an intelligent bamboo-splitting machine charging manipulator[J]. Journal of Robotics,2020(3):1-10.
[6] BINFIELD L, BRITTON T L, DAI C P, et al. Evidence on the social, economic, and environmental impact of interventions that facilitate bamboo industry development for sustainable livelihoods: a systematic map protocol[J]. Environmental Evidence,2022,11(1):33.
[7] 刘延鹤,雷永杰,周建波,等.竹材自动定段设备的设计与样机试验[J].林业工程学报,2022,7(4):128-134. LIU Y H, LEI Y J, ZHOU J B, et al. Design and prototype test of bamboo automatic segmental equipment[J]. Journal of Forestry Engineering,2022,7(4):128-134.
[8] WANG R J, GUO Z W, CAI C J, et al. Practices and roles of bamboo industry development for alleviating poverty in China[J]. Clean Technologies and Environmental Policy,2021,23(6): 1687-1699.
[9] 郝景新,刘文金,吴新凤.基于制备矩形竹片的竹筒剖分优化研究[J].中南林业科技大学学报,2012,32(11):177-180. HAO J X, LIU W J, WU X F. Optimal model for lengthwise cutting bamboo tube to prepare rectangle strip[J]. Journal of Central South University of Forestry Technology,2012,32(11): 177-180.
[10] 刘嘉诚,谢力生,李婷,等.矩形竹片剖分模型在竹筒开片中的应用[J].东北林业大学学报,2021,49(9):106-111. LIU J C, XIE L S, LI T, et al. Bamboo tube lengthwise cutting by using rectangular strip splitting model[J]. Journal of Northeast Forestry University,2021,49(9):106-111.
[11] 韩伟聪,鲍光海.基于机器视觉的竹材尺寸测量系统设计[J].中国测试,2016,42(7):74-78. HAN W C, BAO G H. Design of measurement system of bamboo size based on machine vision[J]. China Measurement Test, 2016,42(7):74-78.
[12] 柴华,任洪娥,张俊卿.利用Sobel算子结合蚁群算法提取竹材的内外轮廓[J].哈尔滨理工大学学报,2014,19(1):54-58. CHAI H, REN H E, ZHANG J Q. The extraction of bamboo’s inner and outer contours using Sobel operator to ant colony algorithm[J]. Journal of Harbin University of Science and Technology,2014,19(1):54-58.
[13] 周佳美,刁燕,田兴国,等.基于椭圆截面剖分模型的原竹剖分刀具自选方法研究[J].林产工业,2022,59(10):28-33. ZHOU J M, DIAO Y, TIAN X G, et al. Research on self-selection method of bamboo splitting tool based on splitting model[J]. China Forest Products Industry,2022,59(10):28-33.
[14] 杨春梅,包玉莹,马岩,等.竹材四面铣削三面剖分加工方式的出材率分析[J].西北林学院学报,2015,30(5):230-234,240. YANG C M, BAO Y Y, MA Y, et al. Outturn rate of all side milling and three side splitting of bamboo timber processing[J]. Journal of Northwest Forestry University,2015,30(5):230-234,240.
[15] KIM J, LEE S. Extracting major lines by recruiting zerothreshold Canny edge links along Sobel highlights[J]. IEEE Signal Processing Letters,2015,22(10):1689-1692.
[16] 黄梦涛,连一鑫.基于改进Canny算子的锂电池极片表面缺陷检测[J].仪器仪表学报,2021,42(10):199-209. HUANG M T, LIAN Y X. Lithium battery electrode plate surface defect detection based on improved Canny operator[J]. Chinese Journal of Scientific Instrument,2021,42(10):199-209.
[17] QIN Y Y, CUI W, LI Q, et al. Traffic sign image enhancement in low light environment[J]. Procedia Computer Science,2019,154: 596-602.
[18] 吴涛,刘卫华,张旺,等.基于改进Canny算法和Hough变换的脉冲氩弧焊坡口边缘提取研究[J].热加工工艺,2024(9): 23-27. WU T, LIU W H, ZHANG W, et al. Study on groove edge extraction during pulsed argon arc welding based on improved Canny algorithm and Hough transform[J]. Hot Working Technology,2024(9):23-27.
[19] 杜春洋,郭俊杰,李昌非.基于改进Canny算子的焊缝图像边缘提取研究[J].激光杂志,2023,44(4):74-79. DU C Y, GUO J J, LI C F. Research on edge extraction of weld image based on improved Canny operator[J]. Laser Journal, 2023,44(4):74-79.
[20] 邹哲康,朱铮涛,陈映谦,等.基于机器视觉的最大内接矩形快速检测算法[J].计算机测量与控制,2021,29(6):194-198. ZOU Z K, ZHU Z T, CHEN Y Q, et al. A fast detection algorithm for maximum inlined rectangle based on machine vision[J]. Computer Measurement Control,2021,29(6):194-198.
[本文编校:罗 列]