连铸坯三维测量多线结构光的中心条纹快速提取

孙传富， 彭 涛， 陆永刚， 徐 锟， 张之江*

（1.上海大学 特种光纤与光接入网重点实验室，上海 200444；2.中冶宝钢技术服务有限公司，上海 201999）

1 引 言

在连铸坯的生产过程中，由钢水凝固产生的连铸坯受到高温的影响，通常会产生许多表面质量问题，不利于后续的生产加工与处理，因此，需要对连铸坯边缘进行倒角来提高连铸坯的质量。连铸坯的倒角工序是在连铸坯的边缘位置利用火焰吹扫枪切削边缘，需要一套高精度的测量系统来测量连铸坯边缘所在的位置，进而配合执行机构上的火焰清理完成连铸坯的倒角工序。

近年来，结构光三维测量系统因测量速度快、精度高而得到了广泛应用[1］。结构光测量方法主要分为面结构光测量与线结构光测量。其中，面结构光测量是利用投影仪将预先编码的图案投影到被测物体上，并通过相机记录包含三维形状信息的畸变图案[2］，然后利用相移算法等方式提取相位图以重建对象的轮廓[3］。线结构光测量系统主要由线结构光发生器以及工业相机组成。基于光学三角法的原理，由线结构光发生器向待测物体表面投射线结构光，线结构光条纹受到待测物体表面轮廓的调制会产生形变。再由工业相机采集线结构光图像并分析线结构光条纹的形变信息，进而获得待测物体的三维信息[4］。

在连铸坯测量现场中，被测连铸坯尺度较大，单个结构光发生器无法实现高精度测量；且测量环境中存在高温、粉尘等影响，若选用功耗较大的多个投影设备进行现场测量，难以保证系统的稳定性且成本较高，因此，通常选用功率较低的多个线结构光发生器进行连铸坯的三维测量。

在线结构光视觉测量中，线结构光条纹中心的提取尤为重要，直接影响最终的测量精度[5］。传统的线结构光中心条纹提取方法根据提取精度的不同主要分为像素级和亚像素级两大类。其中，像素级提取方法有极值法[6］、阈值法[7］以及骨架细化法[8］等。这些方法获得的光条中心精度较低，在高精度视觉测量中应用较少。亚像素级方法包括灰度质心法[9］、Steger算法[10-11］等。其中，灰度质心法是利用图像中光条分布区域内的灰度信息计算质心并将它作为线结构光的中心，该方法能够减少条纹灰度分布不对称引起的误差且计算速度较快。Steger算法是利用Hessian矩阵计算线结构光条纹的法线方向，将法线方向上的极值点作为最终的线结构光中心。该方法精度高、鲁棒性好，但其计算量较大，速度相对较慢[12］。

传统方法在线结构光中心提取上的速度及精度均有不足。为了提高提取速度及精度，文献[13］在传统重心方法上结合轮廓跟踪算法对图像中的线结构光部分进行分析，显著降低了线结构光图像光条中心计算的复杂度。文献[14］提出一种自适应阈值的内部推进算法进行光条中心提取，在鲁棒性、速度、精度上均具有良好的效果。针对粗糙金属表面上不符合高斯分布的线结构光中心提取，文献[15］对粗糙金属表面的反射特性进行了分析，并根据反射特性设计了一系列的图像增强与分割方法对线结构光图像进行预处理，并利用灰度质心法进行光条中心的提取。该方法在图像预处理上具有良好的效果，但在中心点提取中直接使用传统灰度质心法精度略有不足。文献[16］根据金属表面的不均匀反射特性提出利用区域增长的方式消除激光散斑噪声的影响，并利用灰度质心法的结果作为初值，结合Sobel算子计算光条的梯度向量，在梯度方向利用双线性插值的方式得到光条中心的亚像素坐标。该方法计算过程较为复杂，在处理多线结构光条纹时用时较长，不满足快速测量的需求。

本文提出了一种多线结构光中心条纹提取方法，首先对连铸坯图像进行背景差分等处理以获取线结构光图像，利用线结构光边缘定位光条在图像中的位置并提取感兴趣区域（Re⁃gion of Interest， ROI），以传统灰度质心方法获得光条中心点并对该中心点进行优化，最后得到高精度的线结构光条纹的亚像素中心坐标。此方法应用于连铸坯现场三维测量中取得了良好的效果。

2 图像分析与处理

2.1 连铸坯表面反射特性分析

连铸坯是由钢水直接浇铸产生的粗加工工件，其表面平整性较差，且存在颗粒较大的钢渣等残留物。当线结构光投射到连铸坯表面时，表面的不平整使得投射在其表面的激光条纹发生无规则散射。根据粗糙表面反射理论，激光以一定角度入射到粗糙物体表面时，入射光发生散射[15］。该部分的散射分为镜面反射以及无规则散射，前者遵循几何光学反射定律；后者则形成光斑状的散射中心，从中心向两端延伸的散射光带，对光条成像的影响较大[15-17］。

连铸坯三维测量系统在最初的结构设计阶段，考虑到现场测量环境以及相机与激光模组的安装位置条件，以及待测连铸坯与安装位置的距离，为保证线结构光投影在对应的相机视场内，投影线结构光以约45°的角度进行安装。连铸坯表面线结构光条纹的横截面并不能满足标准高斯分布，而是随入射角度发生偏移[18］，如图1所示。除此之外，线结构光发生器与投射物体表面对焦不清晰，投射表面不平整性引起反射等情况，导致成像时激光灰度值变化曲线并不具有单峰性，会出现图1（c）中的陡峭变化。

图1 激光条纹横截面灰度统计Fig.1 Gray-scale statistics of laser stripe cross-section

2.2 图像背景去噪

根据上述分析，相机成像平面上的光强噪声是由环境背景光、线结构光投影方向以及连铸坯表面的反射特性等多方面因素叠加产生的。工业现场测量环境中，光线变化较为常见，背景波动较为明显，所以图像噪声较大。连铸坯三维测量系统中，采集连铸坯的原始图像与线结构光投影图像之间的时间间隔较短，因此认为现场环境光对图像的影响是不变的[19］。连铸坯三维测量系统采集的连铸坯部分图像如图2所示。

图2 连铸坯图像Fig.2 Images of casting slab

线结构光中心提取过程中，图像的有效信息为图像中线结构光条纹区域的灰度分布，而现场测量中环境光是以噪声的形式存在。如图3所示，图3（a）是不带有线结构光条纹的连铸坯灰度曲面，图像中明显存在大量的噪声。图3（b）图为带有线结构光条纹的灰度曲面，将带有线结构光条纹的图像与不带有线结构光条纹的图像通过背景差分的方式可以有效去除环境噪声的影响[19］。图3（c）为通过背景差分处理后的灰度曲面，可以明显看出在无线结构光条纹分布的区域，图像噪声明显降低。

图3 连铸坯灰度曲面Fig.3 Gray scale surfaces of casting slab

背景差分法有效抑制了图像中的环境噪声，如图4所示。图4（a）为背景差分之后的图像，可以看出图像中环境背景噪声较大程度上受到抑制，线结构光条纹部分的特征保留。图4（b）为图4（a）中第4条激光线的片段图像。图4（c）和图4（d）分别对应图4（b）在两个光条截面处的灰度统计图，可以看出，由于连铸坯表面的不平整性导致结构光无规则散射，光条投影效果依旧较差。需要进一步根据图像特征分离有效的ROI区域，并通过光条中心提取算法获取准确的光条中心点。

2.3 光条区域定位

在光条中心提取过程中，为避免随机噪声的影响同时加快处理速度，通常只对带有线结构光条纹的区域进行处理。如图4（a）所示，图像包含多条激光线，需要首先区分图像中的各条激光线，再对单条激光线进行激光中心条纹提取，才能获得较为精确的激光中心条纹坐标。为获取多线结构光在图像中的分布信息，选取图像中单行的灰度数据进行分析。图5为图4（a）经背景差分后第2 560行的灰度统计图，可以看出，在图像中的8条线结构光条纹处图像灰度值变化较为明显，与背景灰度值间存在较大差异。可根据该特点进行结构光条纹的光条区域定位。

图4 背景差分法处理后的图像Fig.4 Image processed by background difference method

图5 第2 560行灰度值曲线Fig.5 Gray value curves at line 2560th row

为确定单个激光条纹所在的ROI，需要对背景差分得到的图像进行处理，主要包括高斯模糊和自适应多阈值分割。选用5×5的高斯卷积核与原图进行卷积，再利用对图像亮度及对比度具有较强鲁棒性的OTSU算法对高斯模糊后的图像进行阈值分割[20］。阈值分割处理后的图像根据x方向上其像素值的变化确定激光线所在的大致区域。

根据激光条纹横截面灰度值呈现突变分布的性质，选取合适的光条纹灰度阈值以确定激光条纹在图像中的具体位置。在激光线的正常分布区域，取光条横截面上灰度值大于光条纹灰度阈值的两个临界像素点分别对应每条激光线的左右边缘。并根据激光条纹呈直线分布的特点，选取左右边缘特征点分别拟合直线，根据两条直线之间的位置关系便可依次有序分隔定位激光线。具体实现过程如下：

（1） 选取合适的间隔值dis沿图像的y方向遍历图像像素点，若该像素点在x方向上的前一个 像 素 点 灰 度 值I(i-1，n⋅dis)小 于 激 光 线 低 阈 值l_thre，且下一个像素点灰度值I(i+1，n⋅dis)大于激光线阈值h_thre，则像素点(i，n⋅dis)判定为激光线左边缘点，表示为：

若该像素点在x方向上的上一个像素点的灰度值I(i-1，n⋅dis)大于激光线阈值h_thre，且下一个像素点灰度值I(i+1，n⋅dis)小于激光线低阈值l_thre，则判定像素点(i，n⋅dis)为激光线右边缘点，表示为：

（2） 由于同一间隔行中连续两个左右边缘点定位一条线结构光条纹，则每一行可定位图像投影线结构光数量线结构光条纹。实际环境中，由于投影结构光在图像中较弱导致左右边缘所定位的结构光数量小于图像投影线的结构光数量，因此，选取定位线结构光条纹数量等于图像投影线结构光数量的左右边缘点并利用最小二乘法进行线性回归拟合直线。将定位激光线数量不等于图像投影线结构光数量的左右边缘点分别进行不同的直线匹配，计算边缘点到直线的欧式距离，以最小欧式距离的直线与边缘点进行匹配，完成线结构光边缘匹配，实现光条纹的完整定位。

（3） 单条激光线ROI的确定。根据上一步骤中所确定的单条激光线的左右边缘点，选取合适的左右边缘距离进行ROI提取与拼接，实现单条激光线ROI区域提取。

2.4 中心提取

在背景差分的图像中进行光条区域定位，将多线结构光图像分割成多个单条激光线的ROI区域。由于连铸坯表面的复杂反射特性，光条在不同位置处的宽度不均匀。为获取准确的光条中心亚像素坐标，本文在传统灰度质心法的基础上，在光条纹法线方向上，采用自适应灰度阈值结合光条中心点邻域信息对线结构光条纹中心进行优化，获得高精度的光条中心。步骤如下：

（1） 利用传统灰度质心法获取光条行方向上的中心点；

（2） 根据行方向中心点求解光条梯度方向上的自适应灰度阈值，重新利用该阈值计算光条中心点；

（3） 利用质心方法对中心点进行重提取，获取高精度的光条亚像素中心点。

2.4.1 传统灰度质心法

光条中心提取时，首先利用灰度质心方法处理ROI提取出行方向的中心点。灰度质心法是对预处理之后图像线结构光截面上的多个像素及其灰度信息加权计算求得条纹的亚像素中心，计算公式如下[21］：

其中：Cp(xp，yp)是亚像素中心坐标，I(i，j)是图像在第i行第j列的像素灰度值，t0表示光条纹阈值。

2.4.2 自适应灰度阈值

在传统灰度质心方法中，光条纹阈值一定程度上影响了光条中心的计算结果。连铸坯测量中，当现场环境光较强或是线结构光投影较弱时，背景差分方式获得的图像受到现场环境光照的影响，光条纹区域的灰度值较小，使用固定阈值的灰度质心法会导致部分光条中心点的缺失。因此，本文利用自适应灰度质心法的阈值来解决此类问题。

以行方向上的中心点为中心，利用Sobel算子计算一定范围像素点的梯度方向[22］，并统计梯度方向相同的像素点数量，以数量最多的梯度方向作为光条在该区域内的梯度方向。沿着梯度方向上的像素点作为光条截面的像素点，通过光条截面像素点的灰度积分比例获取自适应灰度阈值。灰度光条截面上的像素点自适应灰度阈值为：

式中：emp表示灰度积分比例，为经验值；I(i，j)表示光条截面像素点的灰度值；Ith表示自适应灰度阈值。

在获得光条截面方向上的自适应灰度阈值后，再通过灰度质心法计算光条的中心点，公式如下：

2.4.3 光条中心重提取

为提高线结构光条纹中心点精度，进一步优化获得较为平滑的中心条纹点，对由灰度质心法得到的线结构光条纹中心点进行优化。

如图6所示，在图像坐标系o-xy内由灰度质心法求出各点的初始结果，Cp(xp，yp)为其中一点。以Cp为中心，rp为距离范围，选取范围内共(2rp+1)个点重新计算质心作为优化后的结果值，即有：

图6 灰度质心法优化原理Fig.6 Optimization principle of gray-gravity method

3 实 验

3.1 实验环境

实验环境为中冶宝钢连铸坯清理吹扫工作现场，连铸坯三维测量系统实物如图7所示。系统中，工业相机使用大恒水星ME2P-2621-15U3M相机，相机分辨率为5 120×5 120 pixel，像素物理尺寸为2.5 μm×2.5 μm；相机所装配的镜头为LM12FC24M型号的Kowa镜头，焦距为12 mm。激光器是由深圳森泰达公司生产的KYL650N200-X1670单线激光器，其功率为50 mW，波长为650 nm，激光光源距离待测连铸坯约1.7 m。

图7 连铸坯三维测量系统现场Fig.7 Scene of three-dimensional measurement system for casting slab

3.2 图像ROI提取与自适应阈值

为了测试本文所提出的ROI提取方法的有效性，实验中使用图4（a）背景差分图像对连铸坯表面的线结构光进行ROI提取。根据大量现场采集图像得到的经验性数据，间隔值dis取10，激光线低阈值l_thre取10，高阈值h_thre取30。经过图像背景差分后，根据该阈值对亮条纹以及暗条纹均可以快速定位出连铸坯表面线结构光条纹的位置。最终提取效果如图8所示，对差分图像中的8条激光线自左到右依次提取片段。所获得的线结构光ROI片段均能完整地定位出线结构光在图像中的准确位置。

图8 线结构光ROI提取片段图像Fig.8 Image of ROI extraction fragment of line-struc⁃tured light

在单线结构光条纹ROI内进行自适应阈值计算，选取灰度积分比例emp为0.7。设置自适应阈值的初值为0，并设定一个较小的步长进行迭代求解，当灰度积分比例大于等于经验值时，则可求得自适应阈值。所得到的自适应灰度阈值效果如图9所示。从图9可以明显观察到，自适应阈值可以准确地根据图像像素灰度值分离光条与图像背景，抑制背景中散斑噪声的影响。

图9 自适应灰度阈值Fig.9 Adaptive gray threshold

3.3 光条中心线提取鲁棒性测试

为了证明本文所提出的光条提取方法的鲁棒性，采用不同方法与本文方法进行比较，得到的误差对比如图10所示。其中，Steger方法、GGM方法以及本文提出的方法得到的是亚像素级别的光条中心坐标，极值法与几何中心法得到的是像素级别的中心点坐标。如表1所示，极值法与几何中心法的像素中心点标准差明显高于其他3种亚像素中心提取方法。亚像素提取方法中，传统灰度质心法提取出的光条中心点标准差高于本文所提出的方法与Steger方法。本文提出的方法以及Steger方法处理连铸坯表面激光条纹得到的光条纹中心点的平均像素值与标准差较为接近，均可获得平滑性良好的光条中心点。

表1 不同光条中心提取方法的提取误差Tab.1 Extraction errors of different strip center extrac⁃tion methods （pixel）

图10 不同光条中心提取方法的误差对比Fig.10 Comparison of extraction errors of different stripe center extraction methods

进一步将本文所提出的方法应用于连铸坯三维测量系统所采集的其他图像中，无论在光条光强较弱还是光条过曝的情况下，本文所提出的方法均可以提取到精度高且较为平滑的条纹中心点，如图11所示，进一步验证了本文方法的鲁棒性。

图11 不同亮度激光线的提取结果Fig.11 Extraction results of different laser lines with dif⁃ferent brightnesses

3.4 光条中心线提取速度测试

在速度测试实验中，用于图像处理的计算机的CPU型号为Intel i5-1135G7 2.40 GHz，RAM为16 G。软件环境为Visual Studio 2015。对实验使用现场所采集到的7组不同连铸坯图像进行测试，其中图像的尺寸为5 120×5 120 pixel。对于每组图像，使用传统灰度质心法、Steger方法以及本文提出的方法提取图像中完整的8个光条的中心条纹。其中，本文方法的rp值取5。

在程序计算的复杂度上，传统灰度质心法的计算过程最为简单，本文方法是基于灰度质心法结果的优化，因此运行时间比传统灰度质心法更长；而Steger方法在计算过程中涉及到高斯核与图像中每个像素的卷积过程，因此运行速度最慢。所测试的数据在不同方法下光条中心点提取算法的运行时长如表2所示。其中，GGM方法与本文方法利用8个线程对分离出的单个光条图像进行同步处理。从表2可以看出，实际算法运行过程中灰度质心法算法的运行时长明显低于其他两种方法，Steger方法速度最慢，本文提出的方法居中。本文方法的单组图像平均处理时长约为300 ms，运行时长为传统灰度质心法的3倍左右，显著低于Steger方法，满足连铸坯三维测量系统的应用需求。

表2 光条中心点提取运行时长Tab.2 Running time of light bar center point extraction（ms）

3.5 现场应用

为验证本文提出方法在工业测量现场应用中的可靠性，采用多线结构光中心提取算法结合搭建的连铸坯三维测量系统对现场长约11 m的连铸坯进行了三维测量。

连铸坯三维测量系统中共有7台线性排列的工业相机，除1，2号相机外，相邻两台工业相机之间视场相切。7台相机共采集视场内54条线结构光的图像，对投射到连铸坯表面的线结构光进行三维重建获取连铸坯上下边缘位置的三维点坐标，进而配合现场的控制火焰吹扫枪执行机构完成连铸坯的倒角工序。

连铸坯三维测量系统中，相机标定方法采用单目标定[23］算法得到相机内参，再通过公共视场的双目标定方法，得到多个相机间的外参矩阵。完成相机坐标系间的坐标转换，使其可统一到同一坐标系下。其中，相机单目标定的重投影误差约为0.005 pixel，双目标定的重投影误差约为0.1 pixel。光平面标定方法是利用交比不变法获取激光器发射的光平面在相机坐标系下的三维平面方程[24］，光平面的标定误差约为0.003 mm。

在获得图像上的光斑中心的二维像素坐标后，可通过相机内参获得在相机坐标系下的一条射线，与光平面相交，联立方程求解得到唯一点，即为所求的三维点坐标。图12（a）为7台工业相机采集到的完整连铸坯图像。以图12（a）中4号相机为例，部分光条中心提取效果如图12（b）所示。将7台工业相机视场内的线结构光三维测量结果统一至1号相机坐标系下，形成的三维点云如图12（c）所示。

表3为连铸坯三维测量系统测得的图12（a）中连铸坯表面线结构光上下边缘在上下两个执行机构坐标系下的部分三维坐标。根据最终测量结果中标准偏差进行系统性能评估，对上下边缘三维坐标数据中x坐标进行线性回归拟合直线，并计算标准偏差。最终测得标准偏差在2 mm以内，满足工业测量现场连铸坯三维坐标的测量要求。

表3 连铸坯上下边缘点三维测量结果Tab.3 Three dimensional measurement results of upper and lower edge points of casting slab （mm）

图12 连铸坯表面线结构光及点云图Fig.12 Line-structured light on surface of casting slab and its three-dimensional reconstruction

4 结 论

针对连铸坯表面不平整特性导致的投影线结构光不规则散射等问题，本文提出了一种对连铸坯表面图像处理及多线结构光中心条纹提取的方法。通过分析背景差分后图像的灰度特性，可以准确提取线结构光条纹在图像中的位置，并利用自适应阈值法获取完整的线结构光条纹的ROI。在光条中心提取中，该方法相较于传统的灰度质心法，获得的条纹亚像素坐标更为准确，且速度相较于Steger算法更快。本文方法在传统灰度质心法上进行改进，对连铸坯三维测量系统图像中心的提取效果较好，能够提取到亚像素光条纹中心点，最终测量结果的标准偏差在2 mm以内，适用于连铸坯的三维现场测量。