基于三维图像处理的车刀磨损缺陷检测方法研究

张杨，高兴宇，党艳阳，黄扬

(1.桂林电子科技大学机电工程学院，广西桂林 541000；2.特变电工股份有限公司，新疆昌吉 831100)

0 前言

制造业决定了一个国家和民族的经济发展水平，而车刀的磨损程度又是影响机械加工的一个重要因素。研究表明：刀具刃口与加工零件之间的摩擦是不可避免的，且加工过程中6%～20%的停机时间是由刀具磨损和刀具断裂引起的[1-4]。传统车刀的替换策略是：(1)靠人工经验决定；(2)按时间更换。车刀受主观因素影响太多，对刀具的磨损量进行有效计算既可以提高刀具的利用率，又能降低工具成本和时间成本。

早期，车刀的磨损只是对单个信号进行检测，通过对收集的信号进行不同的理论和方法处理完成特征提取，最终确定车刀的磨损状态[5]。近年来，三维图像技术广泛应用于人工智能、工业检测、车辆自动驾驶技术、生物医学等各种领域。三维图像技术不仅可以感知物体的存在，还可以感知物体的距离，将它应用在刀具磨损领域不仅可以定位磨损区域的空间信息，还可以对磨损的深度进行量化。何翔、任小洪[8]采用数字图像分割等图像处理技术对刀具磨损边界的磨损量进行了标准比较。滕瑞等人[9]通过数字图像分析和CNN(Convolutional Neural Network)卷积神经网络对刀具磨损值进行在线监测。周俊杰、余建波[10]通过子边缘检测的方法提取刀具磨损区域。李聪波等[11]通过数字孪生和卷积神经网络相结合的方式对刀具磨损进行精确的预测。

目前对于车刀磨损的检测大都采取二维图像处理的方法，二维图像中只能根据磨损区域的形状和磨损区域大小分析车刀磨损的状态，得到的磨损缺陷信息比较单一，缺失车刀磨损的深度信息，同时也缺少对车刀磨损的具体量化。为了检测车刀磨损的具体数值，本文作者提出一种基于三维图像处理的磨损程度检测的方法，相对于其他方法，该方法操作简便，成本相对较低。此外，结合CCD相机和工业投影仪构成的结构光成像系统可以检测车刀具体磨损深度且具有较高的测量精度。

1 三维图像重建技术

为获取物体的三维信息，对相机进行标定实验，采用张正友标定法目的是获取相机的畸变参数矩阵和相机的旋转、平移矩阵，然后将光栅条纹图通过投影仪投射在标定板表面，获取标定板的角点坐标和角点的相位信息后，通过求解相位信息和高度信息的转化关系完成整个结构光系统的标定。

(1)

通过公式(1)得到3个不同频率下12幅不同相位的光栅图，然后通过标定板上的角点坐标(u，v)和该点的相位值结合八参数法进行求取该点的世界坐标。

(2)

公式(2)变形可得：

a1X+a2Y+a3Z+a4-a5ΦX-a6ΦY-a7ΦZ-

a8Φ=0

(3)

齐次方程表达式为

(4)

式中：X、Y、Z分别为像素点在相机坐标系下的坐标；Φ为该像素点的相位值。由于角点位于标定板表面，而世界坐标系是建立在标定板表面的，所以位于标定板上点的z坐标可以看作0。可以通过像素坐标转化成相机坐标，再经过预先得到的旋转、平移矩阵和相位值就可以计算出a1-a8的数值，完成结构光系统的标定[12]。表1所示为此实验系统的标定参数。

表1 三维重建标定参数值Tab.1 3D reconstruction calibration parameter values

2 实验整体设计

2.1 实验思路

文中采取单视角对车刀进行磨损检测实验，将垫片点云进行平面拟合后与刀头缺陷部分点云拟合的平面进行最大距离求解，即得最大磨损量；然后用标准量块换算出实际物理高度，求出车刀的磨损量。实验装置简图如图1所示，对磨损车刀进行图像采集和光栅投影工作。

图1 实验简图Fig.1 Experimental diagram：(a)machine vision detection device；(b)schematic of the tool detection

如图1所示，将面结构光系统搭建在机床上，让车刀刀头部分在CCD相机视野内，然后将12幅不同相位的光栅图投射在车刀表面，结合已经标定好的系统参数求取车刀点云信息。

此实验具体流程如图2所示，完成结构光系统标定后，采取点云分割的方法将垫片点云进行最小二乘拟合平面处理，最后利用刀头缺陷部分点云与最小二乘拟合平面的差值计算出缺陷的具体信息，然后将它和标准量块点云进行转化，最终计算出实际磨损量。

图2 实验流程Fig.2 Experimental flow

2.2 点云获取

此实验选取3个不同磨损程度的刀头进行对比，图3(a)为全新标准刀头，图3(b)(c)为带有已知磨损信息的刀头。

图3 车刀结构光投影Fig.3 Structured-light projections of turning tool：(a) standard tool；(b)tool with slight wear；(c) tool with severe wear

图4(a)是由CCD相机拍摄的12幅不同的光栅图打在物体表面的图像，图4(b)是由相同频率不同相位的光栅图求解得出的对应频率下的包裹相位图像，图4(c)是由3幅包裹相位图像求解得出的绝对相位图像[13]及绝对图像与a1-a8参数三维重构求解得到的点云信息图。

图4 投影光栅Fig.4 Projected grating：(a)four-step phase-shift projection；(b)wrapped phase；(c)point cloud after 3D reconstruction

2.3 点云分割处理

为了更直观地展示三维点云的样貌，采用CloudCompare模块进行可视化展示。获取点云信息后，首先将点云进行分割处理，由于结构光成像系统会将背景噪声一起成像，所以需要将背景点云和车刀点云分割开来；然后对车刀点云进行等二次分割处理，将三角垫片和刀头部分分割开来，如图5所示。

图5 点云图Fig.5 Point cloud：(a)detection scene；(b) segmentation of the cutting tool；(c) fitting of the worn surface

图5(a)中的点云是完整点云，包括背景和单视角车刀磨损表面点云；图5(b)中的点云是对图5(a)中的点云进行切割，只保留了车刀表面的点云信息。图5(c)是将图5(b)中的点云再一次进行分割，其中蓝色点云模块为刀片磨损区域点云，绿色点云模块为三角垫片点云，红色为车刀其余部分点云。获取三角垫片点云后文中基于RANSAC平面拟合算法将三角垫片点云进行拟合[14]。该算法随机从点云数据中抽取3个点进行一个平面拟合，然后推算出符合该平面最多样本数量的平面为拟合平面，如公式(5)所示。

Ax+By+Cz+D=0

(5)

为了给系统点云信息转化为数值信息提供标准参考，文中选取3个不同磨损程度的刀头进行对比实验，验证此方法的精确程度，如图3所示。

3 实验

获取3个不同程度磨损的刀头垫片点云后，结合公式(5)求取A、B、C、D的参数进行拟合平面。此实验求取的数值如表2所示。

表2 平面拟合参数Tab.2 Plane fitting parameters

获得垫片的平面拟合方程后，将车刀刀头点云分割出来与拟合后的平面进行最大距离求解，最终确定最大距离。

(6)

(7)

式中：H为预估磨损深度；HL为量块高度；dmax为缺陷区域点云到三角垫块拟合平面的最大值；h为量块点云拟合平面到标定板平面的距离。

根据公式(6)求得磨损区域点云与三角垫片点云拟合平面的最大距离。通过叠加2个标准量块的高度并拟合其上表面的点云平面，求取2个平面的平均距离。通过游标卡尺对标准量块进行厚度测量，最后将测量的厚度与量块上表面拟合平面的距离进行比例换算。

为了减少其他因素对标准量块的测量误差，此实验将2量块叠加摆放，然后分别求取其上表面平面拟合参数，最后求2个拟合平面的高度。

如图6所示，通过标定卡尺测得量块的物理高度为9.08 mm，然后将2个量块上表面分别进行多次拟合处理，通过求多次距离均值求得最终量块相差的高度，然后得到点云距离和实际物理距离的换算比例。取得实际比例后，将图5(c)中的绿色点云进行平面拟合处理，然后将蓝色点云上所有点和绿色点云拟合的平面进行距离求解，得到最大距离及最大磨损深度信息。

图6 标准量块Fig.6 Standard gauge block：(a)camera captured image； (b)3D reconstructed result

对图5(c)所示点云求解缺陷刀头点云到垫片拟合平面距离如图7所示。根据统计得知最大距离为1.88 mm。利用上述步骤分别对图3中的3个对象进行处理，得到数据如表3所示。可知：该方法求得的预估磨损量与实际测量的磨损量误差较小，可应用于实际生产加工当中。

图7 点云距离分布Fig.7 Point cloud distance distribution

表3 车刀磨损量 单位：mmTab.3 Tool wear Unit：mm

4 结束语

以Python语言和Open3D为开发平台，基于三维图像处理技术方法，利用CCD相机和投影仪获取车刀三维信息。通过点云分割和点云平面拟合对原始数据进行挖掘，并对比刀头的三角垫片和刀头的平行性，将刀头的三角垫片拟合的平面与刀头的点云集进行最大距离比较，然后与标准量块进行对比得到高度信息，最终将车刀的预估磨损量转化成实际磨损量。该方法检测精度较高，成本较低，可应用于实际生产当中。