基于圆点标定板映射的投影仪标定*

徐子恒，夏仁波，赵吉宾，付生鹏，张天宇，陈月玲

(1.中国科学院a.沈阳自动化研究所机器人学国家重点实验室；b.机器人与智能制造创新研究院，沈阳 110016；2.中国科学院大学，北京 100049)

0 引言

相较于传统的接触式测量方法，结构光因其主动受控、精度高、非接触等优点，广泛应用于制造检测、逆向研发甚至医疗卫生等领域[1-3]。在结构光系统中，尤其是单相机单投影仪系统中，投影仪的标定精度往往影响系统精度，因为投影仪无法直接摄影，标定流程不仅更为复杂，标定精度也远低于相机，所以提高投影仪的标定精度是提高系统重建精度的关键，投影仪的标定参数主要包括设备内参、相对外参以及镜头畸变。

主流投影仪标定方法主要分3类：

(1)反相机法[4-8]：借助已标定的相机内外参数，利用投射点在相机图像坐标系上的坐标，计算其对应的三维空间坐标，但该方法会引入相机的标定误差，导致投影仪标定误差较大。

(2)几何原理法[9-11]：首先精确已知投影图像的图像坐标，然后投影特定图案到标定物上，利用几何关系估算出投影点的世界坐标，此方法需要精密导轨辅助以获得需要的约束关系，比较有局限性。

(3)伪相机法[12-15]：使用匹配手段建立投影仪像平面和相机像平面之间的对应关系，利用映射关系实现投影仪的标定，该方法不会引入相机误差，标定精度高。但相移映射法解相难以避免高频噪声，圆环映射缺少灰度级，棋盘格不具备旋转不变性，相比之下圆模式的平面标靶受环境影响较小，恢复精度高，其中Halcon标定板系列最为廉价易得。

为了解决反相机投影仪的标定精度低，几何原理法标定成本高的问题，本文在伪相机法的基础上提出一种基于Halcon标定板映射的标定算法。先对标定板进行横向纵向编码，利用圆点靶标的性质进行映射成像；对图像进行图像降噪与对比度增强等预处理后，根据图像特征进行位置、面积、颜色过滤，分割出边框与圆点阵列；随后通过图像识别以及逻辑运算判断边框方向并对亚像素椭圆中心排序；最后进行透视变换正视纠正投影带来的圆心误差。实验证明本方法标定简单，鲁棒性强，标定精度高，标志点识别方法也可标定相机，使程序撰写更简化。

1 标定流程

1.1 投影仪的理想针孔模型

投影仪的光路和相机相反，由于光路可逆也可以将投影仪看作理想针孔模型，如图1所示。

图1 结构光系统示意图

(1)

单应性矩阵H为：

(2)

式中，s为比例系数；M为内参矩阵；fx=f/dx；fy=f/dy；f为投影仪的焦距；dx、dy为x、y的像素间距离；cx、cy为像素平面的中心坐标；R、T为投影仪坐标系到世界坐标系的旋转平移矩阵。

由于镜片的制造误差，这里引入非线性畸变模型校正，考虑切向和径向畸变的情况。

(3)

(4)

1.2 投影仪图像编码映射

正弦码有灰度渐变，很容易受到反光污染，二值化编码图案只有开关状态，可以显著提高解码鲁棒性，格雷码编码方案使每个条纹的编码与前后位的编码均有不同，可进一步减少错误译码的数量级。在位深解码相同的情况下，2n分辨率需要n的位深解码，根据奈奎斯特采样定理—编码的最大有效分辨率为最小的黑白间距的2倍。格雷码的最小间隔为2像素，如图2a所示，而长程格雷码最大最小条纹在n=11时有7像素的最小宽度，该特性可以显著提高信噪比，如图2b所示。数学中已经证明格雷码有多种排列组合方式，因为排列组合有2n!种，n≤6时，文中已给出，n>6需要采用快速生成算法减少计算量，实验中结合正反码以达到更好的动态范围[16-17]。

(a) 格雷码 (b) 长程格雷码

圆形阵列标靶采用Halcon标准标定板，氧化铝覆膜使其基本不会产生镜面反光，首先拍摄原图像素灰度为Oij(i=1,2,…,1234；j=1,2,…,1624)，对标定板进行横纵扫描，编码解码得到i行j列相机行编码值Rij以及列编码值Cij，如图3b和图3c所示，由于黑色部分对于光线有着较好的吸收能力，编码失败概率较高，于是初始化新图像灰度为0，IRijCij为新图像Rij行Cij列的像素灰度，编码成功(1≤Cij≤1280且1≤Rij≤720)部分保持原灰度Oij，编码失败灰度置0，同时对映射图像进行闭运算以去噪。

(5)

该策略使黑色映射失败与否都为黑色，实验检验输出照片清晰锐利，如图3a所示。

(a) 映射示意图

(b) 行解码 (c) 列解码

1.3 标志点识别与补偿算法

映射后需要执行标志点的识别与补偿算法，程序流程图如图4所示。

图4 识别点标定与补偿算法流程图

首先对映射出的灰度图进行对比度增强，其次进行基于局部阈值的自适应阈值分割，对二值化图进行边缘提取[18]，对封闭轮廓计算面积，提取出面积最大的3个轮廓O1，O2，O3，相邻轮廓面积比小于设置阈值thresh(SO2/SO1

图5 边缘分割示意图

接下来按照文献[19]的方法进行标定板椭圆的初步提取，记各标定特征点为Pij(i,j=1,2,…,7)。方向识别过程中，对于下图的五边形检测最小边时文章内使用了K-R法通过梯度检测五边形角点，如图6b所示，实验中发现角点处往往因为开闭运算或者标定板倾斜而不够尖锐，使最短边的角点检测鲁棒性不足，本算法通过采用累计概率霍夫变换设置阈值过滤长边线并在空白图像中加粗绘制[20]，如图6c所示，使用相减后的图像质心C作为参考，如图6d所示，距离其最近的点即为P11，其次为P12、P21，P12与P21的区分依然按照文献[19]的算法执行。

图6 算法实验图

当P11、P21、P12确定后，其余圆的排序需要将所有圆点围绕P11旋转，P11和P12的连线逆时针旋转至水平，第一排按照x值进行排序，其余各排先按照y值排序再按照x值排序，排序完毕后需要利用临近坐标大小关系进行有序校验，如图7所示。

相对有序需要满足：

(6)

式中，xPij、yPij分别为对应点的坐标，边界条件需要单独考虑，满足该条件即为有序。

同时使用Devernay亚像素边缘检测标定板椭圆，通过计算图像梯度、边缘点拟合、链路聚合以及双阈值抑制连接，得出边缘为相邻几个梯度模值差值的最大值η，如图8所示。η可以通过计算梯度方向上相邻的三点处梯度模值的二次函数插补求得[21]。

(7)

图7 临近点及坐标示意图 图8 边缘梯度模型

由于透视偏差和图像畸变的存在，当标定平面与图像平面存在旋转和位移时，标定板上的圆形投影在图像平面为近似的椭圆，即成像椭圆的中心并非标靶上对应圆心的投影，因此直接使用亚像素识别中心会降低标定精度，如图9所示。

图9 成像椭圆与重建椭圆对比

所以检测完毕后利用P11、P17、P71、P77进行正视变换，例如将P11、P17、P71、P77映射为x，y：(100,100)、(700,100)、(100,700)、(700,700)4个像素，透视正视变换可以部分抵消椭圆投影变换带来的圆心误差，反变换识别后圆心即可完成正畸，且由于：

(8)

并不引入误差，式中，PT为3×3的变换矩阵；u，v为图像原坐标；w=1；x=x′/w′；y=y′/w′；x、y为变换后坐标。由于不同角度不同大小的敏感性不同，可以通过大小变换以及小幅度的旋转变换进一步消除误差[22]，如图10所示，对变换后的图片再次利用上述算法进行椭圆识别排序，最后校验圆心有序性的同时需要校验P11、P17、P71、P77位置是否位于变换点附近，校验成功后将识别圆心反变换，满足校验的图即可参与加权平均进行张氏标定。

图10 试验图

2 标定实验及结果分析

本文程序使用C++语言编写，集成开发环境为Visual Studio2017，结合OpenCV库实现图像处理以及Qt库进行界面开发，投影仪以及相机均有对应的SDK进行控制。

如图11所示，该系统主要包含：①投影仪：DLP 3010模组，LED蓝光光源，分辨率1280×720；②相机：分辨率1624×1234，帧速30 fps，像素大小4.4 μm；③镜头：焦距25 mm，光圈F1.4-F16视场D×H×V=24.9°×20°×15.1°；④标定板：Halcon系列标定模板HC200-10 7×7以及12×9棋盘格标定板；⑤电脑：酷睿I7-7700HQ，16G RAM；⑥标准球：计量陶瓷球R=14.3 mm。

为了验证本文方法的有效性，第1种方法采用文献[7]的反相机法；第2种方法采用文献[12]的方法进行标定；第3种方法采用本采用本文映射方法加夏瑞雪的识别算法标定；第4种方法采用本文算法映射加Halcon标定；第5种算法使用本文算法—映射、识别、补偿圆心后标定。

实际操作中第1种方法通过调整棋盘格位姿37次同时标定相机和投影仪的内外参；第2种方法通过相移法映射棋盘格37个位姿并标定；第3种通过本文映射方法获得37个标定板的图片通过夏瑞雪算法直接提取圆心导入OpenCV的标定函数标定；第4种方法通过本文映射方法获得相同数目图片运用Halcon的官方标定工具进行标定；第5种通过本文算法提取圆心补偿后使用OpenCV的标定函数标定，标定板的位置大体一致。

标定的同时统计了各个算法对于不同倾斜程度的Halcon标定板的识别准确率，如图12所示，可以看到本文算法对于不同倾角的标定板均可正确识别，识别率几乎100%，自动化水平和准确率几乎齐平Halcon的官方算法。

图11 结构光实验平台 图12 标定板识别正确率对比

同时使用上述算法分别标定投影仪和相机的内外参后对标准球进行扫描，投影仪标定参数如表1所示，重投影误差可以达到0.065像素，相机的重投影误差可以达到0.045像素，得益于大倾角标定板的识别可能性，外参标定更为准确，球拟合的表面均方根误差在0.047 mm，如图13所示，两项指标均优于Halcon官方标定算法，如图14所示。

表1 投影仪标定参数

图13 球拟合实验 图14 各算法重投影误差柱状图

3 结论

本文针对结构光系统中投影仪标定困难标定精度低的问题，提出一种基于圆点标定板的图像映射和标志点识别与补偿算法，统一了相机和投影仪的标定逻辑。实验结果显示该算法对于不同位姿的标定板不仅有着很高的识别准确率，也有着很高的圆点识别精度，相较于目前算法，标定精度和重建精度均有提升。