基于ChArUco平板的多目相机标定

赵子良，张宗华，高 楠，孟召宗

（河北工业大学 机械工程学院，天津 300130）

引言

通过多目相机系统实现大场景三维重建精度依赖于相机系统的标定[1-3]，采用传统单一特征的平面标定板对于小重叠视场的多目相机系统，存在标定精度受限以及失效等问题[4-5]。王晨等人[6]采用多个小标定板搭建立体标靶；Liu等人[7]采用FARO激光雷达对立体标靶进行预标定，提高了各相机间的标定精度；任海蕾[8]通过引入辅助相机求解小重叠视场相机间的相对位姿；Zhao等人[9]采用球体靶标场进行标定。上述标定方法存在设施误差的引入，以及标定流程复杂、成本高、灵活性差等问题。ArUco（augmented reality university of cordoba）[10]标记是一种由外部黑色框和内部二进制代码组成的基准标记[11]，广泛用于机器人导航、增强现实等领域[12]。基于ChArUco（chess augmented reality university of cordoba）平板[13]的多相机标定方法，通过检测标记及ID信息对棋盘角点的提取及编码，无设施误差引入，提高了标定灵活性。

1 基本原理

1.1 ChArUco平板角点提取原理

如图1所示，由于ArUco标记坐标系的单独定义性，棋盘角点可通过两邻近标记子坐标系Om1−XmYmZm与Om2−XmYmZm进行定位传递；角点提取是基于标记的预标定，通过重投影插值到图像中，并基于ChArUco平板布局的先验知识，写入对应编码。

图1 ChArUco平板角点提取原理图Fig.1 Schematic diagram of ChArUco board corner extraction

1.2 多相机标定原理

采用ChArUco平板标定相机内参是基于上述角点提取进行的二次标定，与通过ArUco标记的预标定均基于张正友棋盘格标定法[14]。对于小重叠视场以及大视场拍摄要求的多相机组外参标定原理如图2所示。

图2 多相机外参标定原理图Fig.2 Schematic diagram of external parameter calibration of multiple cameras

通过双目标定得到“中-下”两相机间的外参矩阵Rmid-down、Tmid-down有如下关系：

式中：Rmid、Tmid和Rdown、Tdown分别为中和下机位相机相对于平板的外参矩阵。同理，可得到“中-上”两相机的坐标系转换矩阵Rmid-up、Tmid-up。则“上-下”机位间的外参矩阵通过（2）式进行位姿传递得到：

本文采用双目平均重投影误差方法（binocular mean reprojection error, BMRE）[15]对外参进行定量评价。由于在实际进行相机位姿估计中受标定的内参影响，本文通过Levenberg-Marquardt算法进行非线性优化，得到高精度的标定参数。

1.3 多相机标定步骤

采用ChArUco平板的标定步骤为：1）调整相机组位姿采用“中-上”和“中-下”两相邻相机组各拍摄25对ChArUco平板照片；2）识别ArUco标记角点进行初步标定；3）采用重投影插值角点算法提取平板棋盘角点，进行二次标定；4）对所有图像进行畸变矫正，分别标定各组相机间的位姿关系；5）通过位姿传递得到非相邻“上-下”机位间的位姿关系。标定流程如图3所示。

图3 多目相机标定流程图Fig.3 Flow chart of multiple cameras calibration

2 实验

为验证基于ChArUco平板方法对多相机系统进行标定的有效性，设计了如下实验。

2.1 硬件系统

图4为多目相机标定图像采集系统。该系统由一个ChArUco平板、六轴机器人和多目相机组构成。ChArUco平板采用DICT_6×6_250（标记大小为6×6，字典大小为250）标记数组，设置棋盘格规格为9×12、格子大小为45 mm×45 mm，ArUco标记的尺寸为22.5 mm；相机组位姿调整采用六轴工业机器人；相机组采用奥比中光Astra Pro RGB相机。

图4 多目相机标定图像采集系统Fig.4 Multiple cameras calibration image acquisition system

多目相机组结构如图5所示，中间框内相邻RGB相机间存在小重叠视场，光轴夹角理论值是42 °，非相邻相机间无重叠视场。由于在制作及装配过程中存在一定的误差，而光轴夹角难以在物理层面进行测量，需要进行标定计算。本文以Liu等人[7]标定方法得到的角度值作为真实值，与本文所提方法进行结构精度的对比验证。

图5 多目相机结构实物图Fig.5 Photo of multiple cameras structure

2.2 多目相机标定实验

如图6为“中-下”相机组采集的部分标定图像，其中第1排和第2排分别为下机位和中机位拍摄的平板图像，每列为2个相机同时采集的图像对。

图6 ChArUco平板标定图像Fig.6 ChArUco board calibration images

采用如图3流程标定得到各相机的内参如表1所示。其中fx、fy分别是x和y轴的等效焦距，u0、v0分别是相机像素坐标系的x和y轴的主点坐标分量。各相机的重投影误差分布图如图7所示。表2为各相机间外参及双目平均重投影误差（BMRE）。由于“上-下”机位间的外参是通过相邻相机间的外参计算得到，因而2个相机间未进行双目重投影误差的计算。表3为由本文与采用Liu的方法标定计算得到的各相机间光轴夹角及误差。

表1 各相机的内参Table 1 Internal parameters of each camera

表2 各相机间外参及BMRETable 2 External parameters and BMRE between each camera

表3 各相机间夹角及误差Table 3 Angle and error between each camera

由图7可知，各相机的重投影误差主要集中在−0.1 pixel到0.1 pixel之间，且具有较好的收敛性。由表2可知标定相邻2个相机BMRE均小于0.15 pixel；由表3数据可得，2种方法标定各相机光轴夹角浮动范围均保持在± 0.2 °以内，且本文方法误差均在±0.13 °以内，属较高精度的标定水平。由于非均匀补光和重投影法提取角点带来的误差等因素影响，为标定引入了一定的误差。

图7 重投影误差分布图Fig.7 Distribution of reprojection errors

2.3 空间点位距离测试

为验证本文提出的标定方法在实际应用中的测量精度，实验通过求取ChArUco平板不同ID的4个棋盘角点（角点ID分别为9、22、34、37）涵盖不同点位距离进行测试。以“中-下”机位相机为例，测试点位及距离如图8所示。通过与采用任海蕾[8]辅助相机的标定方法进行对比，计算得到空间点位坐标值如表4所示；空间点间距值的测量误差如表5所示。由表5可知，采用本文标定方法测试平均误差为0.11%；采用辅助相机的外参标定方法测试误差均大于本文方法，平均误差为0.16%。由于本文采用的相机组结构基线距较短（约3 cm～4 cm），结合标定误差，为点间距测量引入毫米量级的测试误差；另外，测试精度受非均匀光照及测试点的重投影提取影响。

图8 测试点位及距离Fig.8 Test point position and distance

表4 点位坐标测量值Table 4 Point position coordinate measurements

表5 点距测量误差Table 5 Measurement error of point distance

3 结论

提出基于ChArUco平板的多目相机标定方法并进行了实验验证。ChArUco平板的角点编码特性可实现在非完整拍摄条件下的双目标定，优化得到BMRE小于0.15 pixel。标定得到各相机光轴夹角误差在±0.13 °以内；重建点位距离测试平均误差相较于引入辅助相机的标定方法精度提高了0.05%。本文采用一个平面标定板即可对有限视场与无重叠视场的多相机组进行标定，在保证精度的条件下具有操作灵活简单的优点。