白车身视觉检测系统中多类型传感器全局校准技术

刘 玥， 林嘉睿， 刘 涛， 刘常杰， 叶声华

（天津大学精密测试技术及仪器国家重点实验室，天津 300072）

白车身视觉检测系统中多类型传感器全局校准技术

刘 玥， 林嘉睿， 刘 涛， 刘常杰， 叶声华

（天津大学精密测试技术及仪器国家重点实验室，天津 300072）

针对白车身视觉检测系统中传感器数量多、种类各异、分布空间大、位置关系复杂等问题，提出了一种适用于工业现场的多视觉传感器全局校准技术。基于坐标系间接统一法，设计多个精密立体靶标作为坐标系转换中介，利用激光跟踪仪获取现场校准数据，在单位四元数数学模型的基础上，求解两坐标系间最优转换矩阵，将固定式传感器和柔性传感器的测量坐标系统一到全局坐标系。该方法已在某企业在线测量项目中成功应用，现场只需完成传感器坐标系与全局坐标系转换关系标定，降低了复杂现场环境对多传感器全局校准的限制，简化了校准过程，提高了环境适应性，校准后检测系统各向测量精度均优于±0.2mm，满足白车身在线测量精度要求。

计量学；全局校准；多类型传感器；白车身；激光跟踪仪

1 引 言

基于三维视觉检测技术的白车身三维视觉检测系统具有非接触、速度快、可在线等突出优点，能够实现汽车白车身各分总成、总成上关键点三维尺寸的100%在线测量［1］。

利用工业机器人的柔性在线视觉检测系统［2］，实现了柔性测量和高度自动化，已广泛应用于现代汽车制造业。近年来随着汽车工业的飞速发展，对于车身制造和在线检测提出了更高的要求，尤其是针对车身底部关键尺寸的控制已经越来越受到生产的重视。由于工业机器人运动轨迹受限于滚床、夹具以及待测车身，无法满足车身底部特征的测量要求，因此必须引入固定式视觉测量系统［3］，将固定式传感器安装在车身底部测量待测点，与柔性检测系统构成多类型传感器视觉测量系统，见图1。

图1 白车身视觉检测系统

为了确保测量系统的功能实现和测量精度，测量系统的全局校准则成为至关重要的一个环节，由于柔性传感器与固定传感器的机械结构、测量方式不同，且固定式传感器分布空间较大，以及车身检测现场环境复杂等因素，给全局校准技术提出了很大的难题，因此必须研究一种适用于工业现场的多类型视觉传感器高精度全局校准技术。

目前，针对工业现场多视觉传感器现场全局校准技术的研究较少，天津大学冯克猷和罗明［4］、合肥工业大学卢荣胜和香港城市大学Y.F.Li［5］等学者使用双经纬仪交会测量系统，通过精密靶标实现大视场视觉测量系统的全局校准，此方法在较大空间内能取得较高精度，但在复杂环境下，双经纬仪摆放空间受限并且交汇测量易存在测量盲区，坐标系建立采集控制点步骤繁杂，在车身检测现场应用需要改进。

针对上述方法的局限性本研究提出了一种应用于复杂现场环境的大视场多类型视觉传感器的高精度全局校准方法。用激光跟踪仪作为外部精密坐标测量设备，通过精密靶标建立坐标系间的转换关系，完成全局校准。该方法操作简单，能够在车身检测现场等复杂环境下高效率地完成不同类型视觉传感器间的全局校准任务，满足在线监控白车身加工尺寸变化的精度要求。

2 多类型视觉传感器全局校准技术

2.1 精密靶标的设计

设计了基准靶标和介质靶标辅助来完成全局校准。

基准靶标作为测量基准用于标定传感器相机的外部参数，建立相机坐标系与世界标系的转换关系。靶标需要在相机视场内提供足够多的控制点，由于受到现场环境的限制，靶标体积不宜过大，因此采用5*7的圆孔阵列作为相机测量特征点，圆孔采用精密加工中心铣削而成，保证了加工精度，如图2所示。结合精密圆孔拟合算法以及单应性矩阵的获取方法［6］，实现标定点的精确提取及与其三维世界坐标的准确对应。为了便于激光跟踪仪进行现场标定，设置4个激光跟踪仪3.81 cm靶球磁座作为激光跟踪仪测量的控制点，并使用精度高于激光跟踪仪的三坐标测量机（CMM）精确标定圆孔圆心和匹配磁座放置的靶球球心间的位置关系，建立起相机坐标系到跟踪仪坐标系的转换关系。

图2 基准靶标

介质靶标作为固定传感器的附件，校准时安装在相机一侧，通过机械加工与传感器精密配合，见图3。靶标上提供的激光跟踪仪测量点，用于建立传感器测量坐标系，并定义此坐标系为传感器坐标系。考虑靶标应用于复杂的现场环境下，采用冗余控制点的设计，将靶标加工为方型套筒，为控制点设置留有充足的空间，在除底面外的3个面上，共设置9个激光跟踪仪测量点作为控制点，其位置关系使用激光跟踪仪事先标定，在现场只需测量任意3个控制点即可建立固定式传感器的传感器坐标系，从而降低了复杂环境对控制点测量的限制。

图3 介质靶标装配图

2.2 白车身视觉检测系统全局校准的实现

白车身视觉检测系统全局校准系统如图4所示，由激光跟踪仪和精密靶标组成，使用激光跟踪仪作为高精度外部坐标测量设备，设计多种精密靶标作为坐标系转换的中介，辅助从相机坐标系到全局坐标系的转换。本研究提出的全局校准技术分为柔性传感器全局校准和固定式传感器全局校准两个部分。

图4 白车身视觉检测系统现场全局校准系统

为了降低复杂现场环境对全局校准的影响，将固定式传感器相机坐标系到传感器坐标系转换关系的标定安排在环境条件良好的实验场所进行，见图5。在系统测量现场，只需如图4所示使用激光跟踪仪建立起传感器坐标系到全局坐标系的转换关系，即完成固定式传感器全局校准。

柔性传感器通过连杆安装在机器人末端法兰盘进行坐标测量，现场环境对其约束较小，但是需要标定手眼关系［7］。本研究应用了一种不依赖于机器人运动模型的方法，能够在环境良好的实验场所中快速准确地获得手眼关系。使用图5中的标定系统，将基准靶标作为中介固定放置在测量空间内，得到柔性传感器坐标系和靶标坐标系之间的关系，并利用激光跟踪仪建立靶标坐标系到跟踪仪坐标系的转换关系及连接杆件销孔坐标系到跟踪仪坐标系的转换关系，由于实际安装时销孔坐标系与法兰盘坐标系重合，从而由坐标变换链：传感器坐标系→靶标坐标系→跟踪仪坐标系→法兰盘坐标系（销孔坐标系），实现手眼标定。

图5 固定传感器相机标定系统

机器人法兰盘坐标系与机器人基坐标系之间的转换关系，可以通过机器人正向运动学模型得到。最后需要对机器人外部参数进行校准，如图6所示，将机器人变换至少3个位姿，每个位姿下测量出TCP在跟踪仪坐标系下的坐标值，同时利用D-H模型［8］得到TCP在机器人基坐标系下的坐标值，从而将机器人基坐标系与跟踪仪坐标系统一起来，再利用激光跟踪仪建立跟踪仪坐标系与全局坐标系的转换关系，进而将机器人基坐标系到全局坐标系统一起来，完成机器人外部参数的校准。

图6 机器人外部参数校准示意图

要将柔性与固定式视觉传感器的测量坐标系统一到全局坐标系，必须在现场标定中以相同的全局控制点作为基准，利用激光跟踪仪测量控制点精确建立全局坐标系，获取现场校准数据完成整体系统的全局校准。

2.3 全局校准参数的求解

全局参数的求解分为坐标系转换矩阵求解和相机外部参数求解两个部分。坐标系转换矩阵由平移矩阵T和旋转矩阵R组成，可以表示坐标变换关系为：式中，Pi、Qi为第i点在两个相关坐标下的坐标值。

常用的旋转矩阵表示方法有三点法、微小角近似法、罗德里格矩阵法、奇异值分解法（SVD）以及四元数法，文献［9］中对上述几种方法进行了详细的对比分析。其中奇异值分解法和四元数法易于实现且实用性较强，但是由于靶标设计的限制控制点较为密集，SVD算法在此情况下V向量方向具有随机性，容易产生奇异解，在本研究中使用无法保证稳定性，所以采用单位四元数表示旋转矩阵。设向量q＝［q0q1q2q3］T为单位四元数组，旋转矩阵的单位四元数的表示方法为［10］：

在机器视觉实际应用中，转角一般小于180°，则可限制四元数的第一个元素为正，即q0＞0。

基于单位四元数的旋转矩阵估计算法［11］，将问题转化为求二次型最小特征值对应的单位特征向量。首先建立目标函数

根据空间中全局控制点位置不变的性质，则两组点有相同的质心，将两组坐标数据质心化，分离出T。取

作如下定义：

这里mij是M的元素，trace为矩阵的迹，进一步定义对称矩阵

其中，I为3×3单位阵，则式（4）问题化为如下问题，即因此求R的问题转化为求一个单位向量Qu使二次型HQu最小，即对应于H最小特征值的单位特征向量将q带入式（1）即可求得旋转矩阵R，T则可由下式得到

相机外部参数求解采用相机标定法，通过已知相机内参和外参标定系统，确定外部参数。根据摄像机针孔近似透视成像模型：

式中：ρ为比例因子，M为3×4投影矩阵，M＝A［R｜T］表征了二维图像坐标到三维世界坐标之间的基本关系；其中，A为内部参数矩阵；R为单位正交旋转矩阵；T为平移矩阵；

其中，fx和fy为相机在x、y方向的有效焦距，u0和v0为相机的像面中心。

由此定义靶标坐标系到像面坐标系的转换矩阵：

使用基准靶标进行标定，控制点为共面点，则zw＝0，采用直接线性变换［12，13］的方法解出投影矩阵M。

3 实验验证

本文提出的方法已在某企业在线测量项目中进行了实验验证。

白车身视觉检测系统由20台固定式视觉传感器和4台柔性视觉传感器组成，固定传感器通过连杆-万向球的机械连接形式安装在滚床下方的适当位置，柔性传感器通过连杆安装在机器人法兰盘上，现场使用激光跟踪仪（Faro Xi）进行标定。

白车身视觉检测系统需要将测量数据与车身数模标准值进行比对，选择车身静态坐标系作为全局坐标系，即在工装夹具不发生变化的情况下，直接根据定位工装建立的坐标系。现场使用激光跟踪仪测量预留全局控制点建立车身坐标系，在视觉传感器安装完成后，使用本文论述的方法对整体系统进行全局校准。

利用校准后的系统测量基准白车身上的待测点，获得其在车身坐标系下的坐标值（表1），并与基准白车身待测点在激光跟踪仪下的测量结果（表2）进行对比，得到测量点坐标偏差，见表3。其中固定式传感器测量点与柔性传感器测量点分别取10个，固定视觉测量系统测量待测点的坐标最大偏差为±0.1 mm，各坐标分量的RMS误差为：xRMS＝0.073 mm，yRMS＝0.066 mm，zRMS＝0.072 mm。柔性视觉测量系统测量待测点坐标最大偏差为±0.2 mm，各坐标分量的RMS误差为：xRMS＝0.124 mm，yRMS＝0.116 mm，zRMS＝0.157 mm，总体测量系统满足白车身视觉检测系统的测量精度要求。柔性视觉测量偏差较大，主要是由于测量过程中引入了工业机器人定位误差。

4 结 论

本文针对白车身视觉检测系统传感器数量多、种类各异、分布空间大、位置关系复杂等问题，提出了一种激光跟踪仪结合多种精密靶标的视觉检测系统现场全局校准方法，解决了多类型传感器视觉测量系统在恶劣现场环境下的全局校准问题，该方法操作简单，效率高，并在白车身在线检测现场验证了其可行性与精度，校准后的测量系统最大误差低于0.2 mm，满足白车身视觉检测系统的测量精度要求。

表1 视觉检测系统测量结果mm

表2 激光跟踪仪测量结果mm

表3 测量点坐标偏差mm

［1］ 罗明.多传感器及其视觉测量系统的研究及应用［D］.天津：天津大学，1996.

［2］ 刘常杰，邾继贵，杨学友，等.汽车白车身在线激光视觉检测站［J］.仪器仪表学报，2004，25（4）：671－672.

［3］ 邾继贵，王仲，周富强，等.IVECO车身视觉检测系统现场溯源研究［J］.计量学报，2000，29（1）：28－33.

［4］ 冯克猷，罗明.多视觉检测系统的定标［J］.计量学报，1995，16（3）：217－220.

［5］ Lu R S，Li Y F.A global calibration method for largescale multi-sensor measurement systems［J］.Sens Actuators A：Phys，2004，116（3）：384－393.

［6］ 吴斌，朱洪岩，肖心通，等.视觉测量中基于单应性矩阵的平面靶标图像特征提取［J］.光电子激光，2011，22（8）：1211－1215.

［7］ 郭剑鹰，吕恬生.机器人手眼矩阵求解算法［J］.计量技术，2003，（4）：3－5.

［8］ 任永杰，邾继贵，杨学友，等.基于距离精度的测量机器人标定模型及算法［J］.计量学报，2008，29（3）：198－202.

［9］ 林嘉睿.大型复杂物体组合测量方法研究［D］.天津：天津大学，2012.

［10］ 杨凡，李广云，王力.三维坐标转换方法研究［J］.测绘通报，2010，6（5）：7－15.

［11］ Faugeras O D，Lustman F，Toscani G.Motion and Structure from Motion from Point and Line Matches［C］／／Computer Society Press of the IEEE，London，1987：25－34.

［12］ 班莹，段发阶，胡亮，等.基于激光扫描的汽车车身测量系统传感器标定的研究［J］.计量学报，2008，29（1）：17－20.

［13］ 吴斌，薛婷，邾继贵，等.一种立体视觉测量高精度标定新方法［J］.光电工程，2005，32（2）：66－70.

Multi-sensor Global Calibration Technology of Vision Sensor in Car Body-in-white VisualMeasurement System

LIU Yue， LIN Jia-rui， LIU Tao， LIU Chang-jie， YE Sheng-hua
（State Key Laboratory of Precision Measuring Technology＆Instruments，Tianjin University，Tianjin 300072，China）

A novel global calibration method for the multi-sensor vision measurement system in industrial field is proposed to solve the problem of multiple sensors of different types，large distribution space and complicated position relations in the car body-in-white vision measurement system.Based on the indirect coordinates transformation，two precise 3D targets are designed as the intermediary in coordinates transformation，and field calibration data is acquired by a laser tracker.On the basis of the unit quaternion global calibration model，the optimized transformation parameters can be established in order to unify the stationary sensor coordinates and flexible sensors coordinates to the global coordinate system.Themethod has been applied in the inlinemeasurement station of a company successfully.Only the calibration of transformation relation between the sensor coordinates and the global coordinates is needed in the application filed. Therefore，the complex environmental restriction is reduced in multi-sensor global calibration.Meanwhile，the environment adaptability is improved and the calibration process is simplified.Themaximum deviation of the visionmeasurement system is±0.2mm，whichmeets the accuracy requirements of themanufacture dimension changes control of car body-in-white.

Metrology；Global calibration；Multi-sensor visionmeasurement system；Car body-in-white；Laser tracker

TB92

A

1000-1158（2014）03-0204-06

10．3969／j．issn．1000-1158．2014．03．03

2013-06-14；

2013-09-23

国家863计划（2012AA041205）；“十二五”国家科技支撑计划（2011BAF13B04）

刘玥（1988－），男，天津人，天津大学精密测试技术及仪器国家重点实验室硕士，主要从事视觉测量的研究。liuyue2007＠tju.edu.cn