线结构光传感器参数现场标定方法

潘 燕，张 伟，赵 雨，楼向明

(1.中国计量大学机电工程学院，浙江 杭州 310018；2.杭州娃哈哈研究院，浙江 杭州 310009)

线结构光传感器参数现场标定方法

潘 燕1，张 伟1，赵 雨2，楼向明2

(1.中国计量大学机电工程学院，浙江 杭州 310018；2.杭州娃哈哈研究院，浙江 杭州 310009)

为了精确、快速、高效地标定线结构光传感器参数，提出了一种线结构光传感器参数现场标定方法。根据摄像机标定方法，并结合L-M非线性优化算法对摄像机内外参数及镜头畸变系数进行标定。拍摄不同姿态下的平面靶标图像，利用靶标图像计算摄像机外参计算靶标上的圆点在摄像机坐标系下的三维坐标，并构建靶标平面方程。将激光线投射到不同姿态的靶标平面上，通过靶标平面方程计算出激光线上点在摄像机坐标系下的3D坐标，由不同位置重构出激光点在摄像机坐标系下的3D坐标来完成光平面参数标定。通过对摄像机参数、畸变系数和光平面参数的标定，重构目标物体进行测试。测量结果表明：该算法能够快速、准确地获取小车车体的三维坐标，并构造出车体的三维模型。该方法适用于大视场的工业现场标定。

传感器； 标定； 非线性优化； 畸变； 光平面

0 引言

结构光视觉检测系统具有结构简单、检测效率高、速度快且检测信息量大等优点，被充分应用于逆向工程、工业在线检测及三维型面数字化[1-2]等领域。线结构光传感器主要由摄像机、激光器等组成，其数学模型包括摄像机透视投影模型和光平面方程。线结构光传感器的现场标定主要是对其模型参数进行标定，其参数包括摄像机的内外参数、畸变系数及光平面方程参数，根据激光三角原理来获得空间中被测物体的三维信息。摄像机标定法是较为传统的摄像机参数标定方法之一[3]，其使用3D立体靶标上特征点直接求解摄像机模型参数，但需要3D立体靶标作为标定工具，增加了标定成本且应用场合受到限制。Tsai在1986年提出了一种基于径向约束的两步法标定方法，只考虑了径向畸变而未考虑到切向畸变。张正友等人于2000年提出的2D平面靶标摄像机标定方法，其标定的精度较高、灵活性较强[4]，而且成本低，适用于摄像机参数的现场标定。

线结构光平面标定方法主要有拉丝法、锯齿靶法和交比不变法。文献[5]、文献[6]提出了利用交比不变原理来获取线结构光标定特征点，由于特征点不是直接从图像中提取出的，所以其标定点精度易受到相机畸变系数等的影响，且只能获取很少的标定特征点。文献[7]、文献[8]提出了基于靶标平面的线结构光模型参数标定法，其操作较为简单、精度较高、不需要其他设备作辅助进行标定，是比较常用的结构光标定方法。文献[9]提出了一种基于一维靶标的结构光传感器标定方法，可用于尺寸较大的结构光测量系统标定，但其需要包含3个共线特征点提取。本文提出了一种线结构光传感器参数现场标定方法，通过带参数法对光条进行标定，可以获得更多精确的标定点3D坐标，从而确定光平面参数，本文方法可用于工业现场的大场景标定。

1 线结构光传感器三维视觉模型

图1为线结构光传感器透视投影模型。

图1 线结构光传感器透视投影模型

oc-xcyczc、o0-uv、o1-XY、ow-XWYWZW分别为摄像机坐标系、像平面坐标系、归一化平面坐标系、世界坐标系,oc、oco1分别为摄像机光心和焦距。由图1可知，结构光平面π在被测物体表面形成曲线AB,AB上任意一点P在世界坐标系和摄像机坐标系下的齐次坐标为pW=(XW,YW,ZW，1)T、pc=(xc,yc,zc,1)T，对应的像平面上点P′和归一化平面上点P″的齐次坐标分别为p′=(u,v)T、p″=(X,Y,1)T。

根据针孔成像模型，空间点P与各坐标系的关系为：

(1)

(2)

(3)

式中：R为3×3正交矩阵；T为平移向量；f为摄像机焦距；(u0,v0)为O1在像平面的中心点坐标；dX、dY为每个像素在X、Y轴上的物理尺寸。

将式(2)代入式(3)，得到摄像机坐标系下任意一点P与像平面点的坐标(u,v)的关系为：

(4)

式中：fx、fy、u0、v0、γ为摄像机内部参数。

由式(4)可得两个关于针孔成模型的约束条件：

(5)

设在摄像机坐标系下线结构光平面方程为：

zc=Axc+Byc+C

(6)

(7)

式中：A0、B0、C0为化简后光平面方程系数。

通过对摄像机和光平面方程参数的标定，由式(7)可求出光平面上任一点P在摄像机坐标系下的唯一确定的3D坐标。通过对外部参数R、T的标定，由式(1)即可确定该点在世界坐标系下的三维坐标。但在实际成像过程中，摄像机镜头会有一些畸变，主要为径向畸变，也存在一些切向畸变。考虑到镜头畸变情况，由式(7)变化得到的线结构光传感器模型为：

(8)

畸变校正后的(以像素为单位)图像平面坐标为：

(9)

2 参数标定

2.1 摄像机参数标定

(10)

假设靶标平面位于世界坐标平面XwYw上，则有：

(11)

H=[h1h2h3]=λA[r1r2t]

(12)

式中：λ为常数因子；r1，r2为方向矢量；t为平移向量。

(13)

式中：h1、h2已求出，只有A-TA-1是未知的，A中包含了5个参数，至少需要k≥3个单映性矩阵，即2k个方程求解出摄像机内部参数。

由内参通过式(12)即可求出每幅图像的外参。用以上参数作为初值采用L-M非线性优化算法进行优化，得到最终所有参数的优化解。算法中的目标函数为：

(14)

式中：mi,j=(u,v);M=(Xw,Yw)。

2.2 线结构光平面标定

线结构光平面的标定主要包括两个方面:一是激光线上标定点三维坐标的获取[10]，二是光平面方程的求解。

①靶标姿态获取。将设计好的靶标置于摄像机视野[11]中，拍摄靶标图像；靶标的世界坐标已设定，通过对其进行相应的图像处理可获得靶标的图像坐标；根据空间点与图像点之间的映射关系，求出每幅图像的外参。

②激光点图像坐标获取。在相同位置保持靶标姿态不变[12]，打开激光发射器，拍摄激光条图像。靶标上的激光线图像通过相应的检测算法，可获得其图像坐标。为提高激光线上点图像坐标的获取精度，对光条图像进行图像处理操作，包括二值化、细化、去毛刺等操作，结合结构元素细化方法，对光条中心线提取产生的毛刺进行剔除[13]。这种提取光条中心线的方法，可以减少其他噪声干扰。再选定激光点初始和结束位置拟合成一条直线，用拟合直线上的点作为标定点，通过拟合直线法可以消除噪声，提高激光线上标定点图像坐标的提取精度。

③激光点三维坐标获取[14]。通过对靶标姿态的标定，由式(1)可求得靶标平面上圆点在摄像机坐标系下的三维坐标，设靶标平面方程为：

(15)

由平面上圆点三维坐标可求出靶标平面在摄像机坐标系下的平面方程。激光线既在靶标平面，又在激光平面，联立式(9)、式(15)，通过式(8)可求出激光点畸变校正后在摄像机坐标系下三维坐标。重复以上操作，拍摄不同位置的靶标图像求取靶标姿态再拍摄相应位置的激光线的图像，并求出不同激光线上点的三维坐标。

④计算光平面方程。从不同位置求取出的n个激光点的三维坐标，它们均满足光平面方程，通过式(8)可求出平面方程系数，完成结构光平面标定。

3 试验与测量分析

3.1 摄像机标定结果

试验采用德国Allied Vision公司生产的Mako G-131B高帧率的工业级千兆网CCD摄像机，摄像机配置8 mm定焦镜头。靶标由70个大小相同的圆点组成。本文从不同位置拍摄了15幅靶标图像，用于摄像机内外参数的标定。试验采用张正友的基于2D平面靶标的摄像机标定方法，利用L-M非线性优化算法进行优化，求得所有内参数优化解。

摄像机内参标定结果、畸变系数分别如表1、表2所示。

表1 摄像机内参标定结果

表2 畸变系数

3.2 光平面标定结果

采用前面所述的结构光平面标定的方法，拍摄了5组不同姿态下的靶标和激光图像，标定靶标平面方程。在光平面上，先对光条图像进行相应的图像处理操作，包括二值化、细化、去毛刺等操作；然后拟合直线，并提取光条中心线；最后在所提取的光条中心线上均匀取点，作为标定所需的激光点的图像坐标。

采用上述图像处理及直线拟合的方法可以有效地去除噪声的干扰，提高光条上激光点图像坐标的提取精度。利用靶标平面方程，计算光条上激光点的三维坐标。利用上述方法重构出的光条三维坐标如图2所示。

图2 光条三维坐标

表3为不同位置重构的部分激光线上点的三维坐标。通过对不同姿态下激光线上点三维坐标的计算进行平面拟合，得到光平面的系数，从而完成了整个线结构光的标定，其光平面标定结果如表4所示。

表3 激光线上点的三维坐标

表4 光平面标定结果

3.3 光条重构被测三维物体

完成对线结构光传感器的标定，并将标定结果运用到模拟小车车体的测量上。将小车车体置于摄像机视野中，缓慢向前移动直到车尾处，并拍摄不同位置下车体的激光图像。试验中拍摄了226幅小车位置变化时的激光图像，用来重构小车车体测量的三维模型。

对试验中获得的激光图像进行相应的图像处理操作，获取激光图像在像坐标系下的坐标并进行畸变校正。通过摄像机和光平面参数的标定结果计算被测小车在摄像机坐标系下的3D坐标，并重构出任意光条图像。重构的小车车体测量的三维效果图如图3所示。试验表明，本文所用的线结构光标定方法能够有效地应用到大场景视觉检测系统中。

图3 车体测量三维效果图

4 结束语

本文提出了一种线结构光传感器的现场标定方法。根据张正友的摄像机标定方法求出摄像机参数的初始值，再结合L-M非线性优化算法对参数进行优化，从而精确地完成摄像机内外参数及畸变系数的标定。通过靶标平面方程得到激光线上标定点在摄像机坐标系下的三维坐标，由不同位置标定点坐标完成光平面方程的标定。本文还通过对线结构光传感器参数的标定，完成了基于线结构光的模拟小车的测量试验。试验结果表明，本文的标定方法能够有效地实现小车车体的测量。本文的标定方法具有成本低、计算简单、操作灵活、测量精度高等优点，适用于大场景的工业现场标定。

[1] TAMAS V,RALPH M,JORDAN C.Reverse engineering of geometic models-an introduction[J].Computer Aided Design,1997,29(4):255-268.

[2] SEOKBAE S,HYUNPUNG P,KUANH H L.Automated laser scanning system for reverse engineering and inspection[J].International Journal of Machine Tools & Manufacture,2002,42(8):889-897.

[3] ZHANG Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[4] 栾禄祥.室内移动机器人机器视觉定位系统的设计[J].自动化仪表,2017,38(2):49-52.

[5] 陈新禹,马孜,汪洋,等 .线结构光参数的简易标定方法[J].光电子.激光,2013(3):563-568.

[6] 周富强,张广军.表面视觉传感器模型参数的简易标定方法[J].机械工程学报,2005(3):175-179.

[7] 刘震,张广军,魏振忠,等.一种高精度线结构光视觉传感器现场标定方法[J].光学学报,2009(11):3124-3128.

[8] 韩建栋,吕乃光,董明利,等.线结构光传感系统的快速标定方法[J].光学精密工程,2009(5):958-963.

[9] 周富强,蔡斐华.基于一维靶标的结构光视觉传感器标定[J].机械工程学报,2010(18):7-12.

[10]田忠运.基于双线结构光三维检测技术研究[D].南京：南京航空航天大学,2012.

[11]李鹏.加工中心在机复合式检测系统的关键技术研究[D].大连：大连海事大学,2012.

[12]程传景.线结构光视觉传感器的现场标定技术研究[D].大连:中国海洋大学,2006.

[13]王婉心,贾立锋.骨架提取中的毛刺去除方法[J].广东工业大学学报,2014(4):90-94.

[14]陈培芬.圆钢视觉测量系统的关键技术研究[D].天津：天津大学,2014.

On-SiteCalibrationMethodfortheParametersofLightSensorwithLineStructure

PAN Yan1,ZHANG Wei1,ZHAO Yu2,LOU Xiangming2

(1.College of Quality and Safety Engineering,China Jiliang University,Hangzhou 310018,China;2.Research Institute of Wahaha，Hangzhou 310019,China)

To calibrate the parameter of light sensor with line structure accurately and promptly and efficiently,an on-site calibration method is proposed.Based on the camera calibration method,and combining with L-M nonlinear optimization algorithm,the internal and external parameters and the distortion coefficient of the camera are calibrated.Shooting the images of the plane target under different attitude,and using the target image to calculate the external parameters of the camera,then through the external parameter,the 3D coordinates of the point on the target in the coordinate system of camera are calculated,to construct the plane equation.The laser line is projected onto the target plane of different attitude,then through target plane equation,the 3D coordinates of the point on laser line in the coordinate system of camera calculated,from different positions to reconstruct the 3D coordinates of the laser points in camera coordinate system,to complete the light plane calibration.Through the calibration of the camera parameters and distortion coefficient and light plane parameters of the tested object will be used for the reconstruction and simulation of car body measurement.The test results show that the 3D coordinates of the car can be precisely obtained by the algorithm and construct the 3D model of the car.The algorithm can be applied to the on-site calibration in large field of view.

Sensor； Calibration; Nonlinear optimization； Distortion； Light plane

TH721;TP212

： A

10.16086/j.cnki.issn1000-0380.201709012

修改稿收到日期:2017-04-06

潘燕(1992—)，女，在读硕士研究生，主要从事机器视觉、视觉测量等方向的研究。E-mail:1479532677@qq.com。 张伟(通信作者)，男，博士，副教授，主要从事数字化制造技术与装备自动化、机器人技术、CAD/CAM等方向的研究。 E-mail:zhangwei@cjlu.edu.cn。