船体曲板的双目视觉测量方法

赵 亮， 于 洋， 俞 峰， 胡 勇

(1.武汉理工大学 交通学院，湖北 武汉 430063；2.江南造船(集团)有限责任公司，上海 201913)

0 引 言

在船舶外板加工过程中，曲板加工的自动化一直是造船行业的难题。船舶弯板的工艺方法主要有水火弯板和机械冷弯两种。在实际过程中，水火弯板较为成熟，而机械冷弯技术尚未大规模应用。机械冷弯技术的成果主要有袁萍等[1]基于活络方形压头非对压技术开发的船体外板冲压成形加工设备。在传统测量方法下，测量精度和效率不够，需要引入自动化测量方法以改进现有的测量技术。

在诸多自动化测量方法中，机器视觉测量方法是一种比较优秀的方法。PARK等[2]利用立体视觉技术对船舶曲板进行测量。测量系统是具有3个位移自由度的移位机构，并在系统中安装线结构光视觉测量传感器。该方法测量的尺度范围较大，自动化程度也较好。但是在单视角下只能测量1条结构光下的数据，且对移位机构的精度要求较高，在扫描过程中需处理大量数据。PAOLI等[3]在机械臂末端安装面结构光主动立体双目视觉传感器，该系统可从多角度进行测量，与全站扫描仪结合可测量整个船体表面。该方法优点类似于PARK等的方法，但所需设备价格高昂，也对移位机构的精度要求高，测量效率不佳，对振动较为敏感。结合船舶制造现场的实际需求，需要引入一种成本在可控范围内、效率尚可的大尺度板自动化测量方法，因此考虑引入以激光线作为辅助结构光的机器视觉测量方法。研究机器视觉测量过程中的基本原理和对激光中心线的提取算法，对1块鞍型曲板进行测量，其精度满足船体制造的要求。

1 基于机器视觉的测量方法

1.1 机器视觉测量原理

(1)摄像机内部参数

在研究图像处理时常将摄像机的物理模型等效成小孔成像模型。关于成像的图像和现实世界的三维坐标关系需要引入几组参数作为两者的沟通桥梁。在立体视觉系统中，通过摄像机的标定工作得到双摄像机之间的相对位置。在标定时，需要先得到单目摄像机内部参数。

摄像机的内部参数主要有fx、fy、u0、v0，其中：fx=f/dx，fy=f/dy，分别称为u轴和v轴上的归一化焦距；f为摄像机焦距；dx和dy分别为传感器u轴和v轴单位像素的尺寸；(u0,v0)为光学中心，即摄像机光轴与像平面的交点，一般处在像平面中心，其数值常取图像分辨率的一半。在图1中：xO1y为像平面坐标系；O1为光学中心；uOv为像素坐标系。

图1 像平面坐标系与像素坐标系示例

(2)摄像机畸变参数

在摄像机工作过程中，对直线投影的偏移会产生畸变。光学畸变显著项为径向畸变和切向畸变。各方向畸变大小可由如下畸变参数描述：

径向畸变：

(1)

切向畸变：

(2)

式(1)和式(2)中：x、y为理想坐标的横纵坐标；k1、k2、k3、p1、p2为畸变参数；r2=x2+y2。

1.2 张正友标定法标定过程

为得到摄像机的内外参数，需要进行标定工作。标定方法大致可分为3种：摄像机自标定方法、基于主动视觉的摄像机标定方法、基于标定物的摄像机标定方法[4]。张正友标定法[5]属于第3种标定方法，其精度比自标定方法高，又可避免主动视觉标定方法过分依赖设备、系统成本高的缺点。选取张正友标定法进行摄像机标定工作。

由摄像机模型的类针孔模型关系可得

(3)

将标定图片的位置设为Z=0，则将式(3)简化为

(4)

式中：[r1r2r3]为旋转矩阵；t为平移向量。令H=A[r1r2t]为单应性矩阵，由于H为3×3矩阵，若将矩阵元素乘以同一个数，齐次点经过新的单应性矩阵变换后仍然是齐次点，矩阵H具有8个自由度，因而式(4)有8个未知量需要求解。

由于旋转向量的互相正交性质及其模长为1的特点，可得

(5)

通过数学运算可将式(5)转化为

(6)

式中：

vij=[hi1hj1,hi1hj2+hi2hj1,hi2hj2,hi3hj1+

hi1hj3,hi3hj2+hi2hj3,hi3hj3]T

(7)

在式(5)和式(6)中未知量仅为摄像机的内参矩阵A，其包含5个参数(在前述摄像机模型中假设γ=0)。为得到这5个未知量，需要3个单应性矩阵，因此使用张正友标定法进行标定时至少需要3幅方位不同、含1个棋盘格的照片。

解出左右摄像机分别的内参和外参后需要进行立体标定工作，即以左摄像机为基准，将右摄像机的旋转矩阵和平移向量转到左摄像机坐标系下，以左摄像机处为坐标原点，得到相对旋转矩阵和相对平移向量。

在计算左旋转矩阵时，根据罗德里格旋转公式，得

R1=I+(1-cosθ)K2+sinθK

(8)

其中：

(9)

式(8)和式(9)中：R1为左边图像的旋转矩阵；I为单位矩阵；kx、ky、kz分别为旋转轴的单位矢量k在x、y、z轴方向的分量；θ为向量绕k轴的旋转角度。可得左边图像的旋转矩阵。同理可求取右边图像的旋转矩阵，左右摄像机的几何关系为

(10)

式中：R2为右边图像的旋转矩阵；t1和t2分别为左右两边图像的平移向量；R′为2个摄像机的相对旋转矩阵；t′为相对平移向量。

已知R1、R2、t1、t2即可求得R′和t′。

选用尺寸为350 mm×245 mm(棋盘单元格尺寸为35 mm×35 mm)的标定棋盘格进行15次标定试验。标定计算结果如表1所示。

表1 标定结果及其误差

在表1中记录计算得到的摄像机内参均为无量纲参数。查看试验结果的标定误差(依据摄像机内外参数进行重投影计算误差)得知其误差较为稳定，在1个像素左右，因此试验符合使用要求。

2 激光中心线坐标提取

2.1 激光中心线初步定位

2.1.1 HSV颜色空间初步定位激光位置

所使用的激光器设备发射红色激光(波长为650 nm)，使用RGB颜色空间难以界定红色的明确取值范围，因此利用HSV颜色空间取激光位置[6]。HSV颜色空间模型对应在圆柱坐标系中是1个圆锥形子集，包括色调H、饱和度S和亮度V，圆锥的顶面对应V=1， 其包含RGB模型中的R=1、G=1、B=1等3个面，所代表的颜色较亮。当H<16或H>320、S>80、V>100时，判定符合条件，即可粗提取激光线。

2.1.2 激光线预处理

在HSV颜色空间中定位的激光线需要进行预处理以保证后续提取的精度，对其进行形态学处理。在形态学处理中的操作有腐蚀、膨胀、开操作、闭操作、形态学梯度、顶帽和黑帽。上述操作均基于腐蚀和膨胀操作：腐蚀操作的基本原理是在对图像进行遍历过程中，将待处理图像A的点与结构元素B的中心点即锚点做卷积运算，解算卷积核B所覆盖区域的像素点最小值，令锚点指定的像素为该最小值；膨胀操作的基本原理是在做上述卷积运算时，计算卷积核B所覆盖区域的像素点最大值，然后令锚点指定的像素为该最大值。开运算是先进行腐蚀后进行膨胀，而闭运算是先进行膨胀后进行腐蚀。开运算的作用是对图像中的纤小物体进行分离即去除毛刺，闭运算的作用是对图像中的孔洞进行填埋，二者均不会造成物体的形状和位置发生变化。待测板激光扫描图像如图2所示，对该图像进行上一步的HSV颜色空间阈值处理和预处理后得到如图3所示的结果。

图2 激光扫描待测曲板

图3 激光线提取结果

2.2 激光中心线亚像素提取

经过上述工作提取的激光线仍不能用于坐标点的求取，需要对其进行至少像素级的提取。在中心线提取方法中，基于Hessian矩阵的Steger算法能有效提取亚像素级中心线[7]。Steger算法先通过Hessian矩阵计算光条的法线方向，再根据法线方向利用泰勒展开得到亚像素位置。

对于图像上激光线上的任一点(x,y)，有Hessian矩阵为

(11)

式中：rxx为图像在x方向的二阶偏导数；rxy为图像在x方向偏导后再向x方向偏导的导数；ryy为图像在y方向的二阶偏导数。

在得到Hessian矩阵后，光条法线方向即为Hessian矩阵最大特征值对应的特征向量(nx,ny)，以(x0,y0)为基准点，则激光线中心的亚像素坐标为

(px,py)=(x0+tnx,y0+tny)

(12)

其中：

(13)

若(tnx,tny)∈[-0.5,0.5]，即一阶导数为零的点在当前像素内，且(nx,ny)方向的二阶导数大于指定阈值，此时激光线中心亚像素坐标即为(px,py)。

对经过初步定位的激光线进行亚像素提取，可得提取后的图片，如图4所示。

图4 激光亚像素提取结果

提取的亚像素坐标部分如表2所示。

表2 激光亚像素提取部分坐标

3 基于极线约束的匹配过程

由摄像机近似的针孔模型，将其引入双目标定系统后如图5所示，空间中的任一点P分别在左右摄像机C1和C2中的成像平面K1和K2上投影于点P1和P2，假设左摄像机坐标系的坐标原点位于O1，右摄像机坐标系的原点位于O2。已知点P1、P2、O1、O2、P位于同一个平面S内，2个摄像机的成像平面与平面S交于直线l1和l2。点P1和P2分别位于直线l1和l2上，称l1为点P2的极线，l2为点P1的极线。对于空间任一点，只需要知道任一成像平面侧激光线上的点，即可计算极线方程，与前述提取的激光线相交的点即为其对应的匹配点[8]。

图5 立体视觉双目摄像机几何位置

得到P1和与其匹配的P2的坐标，即可计算空间点P的坐标，左右摄像机已经标定，其投影矩阵M均满足如下方程：

(14)

则有如下2个方程：

(15)

(16)

4 试验及结果

对1块尺寸为840 mm×840 mm的马鞍形双曲度板(见图6)进行测量，对整个板表面利用运动控制装置每间隔40 mm进行激光线辅助扫描，采集带有激光线的曲板图片，试验图像为2 048像素×1 536像素。

图6 马鞍形双曲度板

试验测定的鞍型板近似成二次曲面，其曲面一般式为

(17)

在得到每条激光扫描的散点结果后，分别对相邻点之间计算z方向对x方向和y方向的二阶梯度，其值应为常数，将该值进行平均值阈值处理，处理后点数量较少的部分定为板外点，据此从结果中筛选边缘点。试验得到的曲板三维坐标点云如图7所示。

图7 板面测量结果处理完成后点云

将曲板测量结果中的长宽数值分别与板的实际值进行比对，误差均在0.1 mm范围内，而板的高度方向误差未知，若与激光扫描结果对比则更佳。对金属件平台(见图8)进行高度测量，扫描得到的结果点云如图9所示。测得的高度与游标卡尺对比结果如表3所示。

图8 验证试验用金属件

图9 测量扫描金属件平台激光线结果点云

表3 金属件测量结果验证 mm

金属件平台1和平台2高度的测量试验结果显示：在z方向结果与精确度为0.02 mm的游标卡尺相比，差值在0.3 mm内。综合x方向和y方向的结果，测量结果误差在0.5 mm内，说明所采用方法的结果满足工程实际需要。

5 结 论

主要讲述计算机双目视觉测量的基本原理，包括张正友标定法计算摄像机的内部参数、激光线的预处理以及基于Steger算法的亚像素中心线提取、极线约束匹配下的三维坐标计算，利用激光线扫描马鞍形双曲度板全板，利用工业摄像机测量拍照并处理，得到了工程误差允许范围(0.5 mm)内的结果。该试验结果能满足在船体建造过程中对曲板的测量需要，与传统样板样箱测量方法相比，具有自动化程度较高、不依赖于测量者的经验要求、测量结果辨识度高等优点。