3D全景泊车多点图形拼接标定系统装置

周俊锋，茅卫东，袁浩，王成文，奚新文

(奇瑞新能源汽车技术有限公司，安徽芜湖 241002)

0 引言

截至2018年末中国乘用车市场存量已达3.25亿台。汽车产业的飞速发展和创造经济财富的同时也改变了人们的生活方式，人们对行驶安全和操控性要求越来越高，从代步工具需求发展到目前的车内电子科技的需求。为了适应可持续发展的趋势，满足人们对汽车电子科技品质需求，近年来被动安全装置被应用到汽车上，其中全景泊车系统是新兴技术。在驾驶汽车过程中，汽车四周存在六大视野盲区(如图1所示)，想要安全驾驶汽车并不是一件容易的事。车辆与障碍物发生碰擦事故中，其中驾驶员视野盲区导致事故的日本占21%、中国占31%。视野盲区往往给公民的财产和人生安全带来严重的损伤。

以上背景加速了全景泊车系统在汽车上的应用开发，随着360°泊车系统装车量的提升，将有效减少汽车与道路交通障碍之间的行驶交通事件，减少因视觉盲区给司机带来的驾驶烦恼，为司机泊车提供便利。行车安全性能够得到较大的提高，在更大程度上保证了乘客及障碍物的安全，因此具有很重要的社会价值和庞大的市场空间。全景泊车4个或以上摄像头安装完毕后，车上电后不能正常工作，所采集的图像为4个摄像头单独拍摄的4副曲面画面，全景图像会出现重影、盲区、图像拼接处有明显的拼接痕迹、明显色差、画面图像整体比例不协调等问题；迫切需要一套鱼眼图像矫正装置，该装置能方便、快捷、稳定的将车载360°泊车系统图像进行标定。本文作者详述一种稳定可靠的全景监控图形标定方案。

图1 汽车视野六大盲区

1 标定系统装置机理

为了让车身四周的区域环境能完整显示在一个俯视图上，在整车车身高固定的情况下，不得不使用广角镜头，水平拍摄角度170°～190°。一个物体被拍摄后的图像通过这样的镜头成像后，就变成一个畸变曲面图像。那么360°辅助泊车系统的标定就是将镜头采集的畸变曲面图像还原成一个平面，并根据预先确定好的裁剪线进行图像拼接。图2所示为全景泊车镜头覆盖的区域。

图2 摄像头覆盖区域

为了获得车身周边360°环境图像必须达到超广角度的视野而使用非线性的广角摄像头[5]。由于广角摄像头拍摄的图像是非线性数据，直接处理难度大，常规做法是对畸变曲面图像先进行规定场景标定矫正处理[6-7]，将超广角图像的数据从非线性转换成线性，为计算机和人类眼睛视网膜可辨认的线性图像，最后在标定好的图像基础上按预设边界线裁剪拼接处理。

图像传感器上的2D图像通常是空间物体3D场景的投影结果。描述这类物体空间坐标点的3D坐标与图像中2D相应坐标的关联取决于针孔摄像机成像的透视投影2D图像，这些2D图像参变量又称作针孔镜头参变量。这些2D图像参变量可以经过正交实验与理论计算求解，而得到参变量的经过可以称为针孔镜头的矫正(标定)。针孔镜头矫正的目的就是通过矫正3D物体的图像参考位置点(x，y，z)与它在2D图像中的点(u，v)，确定针孔镜头的内部亮度图像、透视投影、图像元素、采样点以及镜头坐标系与空间物体3D坐标系的关系，如图3所示。上述对2D图像进行矫正(标定)的方法总结后形成3种[9]：

(1)照相视觉矫正法[10]

此方案是通过理论计算空间矫正物体在3D空间中的线性参变量。被矫正物由2～3个正交面互相交错形成。另外，此矫正方法也使用1个正交面来标定，需要事先计算出正交面的水平移动规律。此方法矫正速度快，但购置矫正设备价格高，还需要事先对该物体进行理论计算和试验作为基础。

(2)自标定方法[11]

自矫正方案不用被矫正参考物，仅需要在不变矫正场景中沿任一方向移动针孔镜头即完成图像的矫正工作。矫正场景一般为趋向于固定不动的刚性物体，为针孔镜头增加了两项约束参变量。如所需的图像由不同镜头采集，即便所有参数一致，4幅采集图所提供的任一对应坐标点信息可以得到新裁剪拼接的全景图像。由于这种方案需要采集的参变量较多，所以同样一组图像矫正后的精细化效果一般。

(3)张正友标定技术[12]

此方法简单易用稳定性好。该方案要求镜头对同一矫正块在几个位置采集多幅图像，将图像2D点坐标提取出来，通过这些2D坐标与3D坐标相吻合的点，得到最终矫正合格结果。此方法是目前商业化较为可靠的图像矫正方法。

图3 透视投影几何

张正友标定基本原理为：在镜头视线范围内，采集大于3副图像；然后将实物坐标系固定在矫正平面上，矫正平面可以放置于摄像头水平位置为佳，设矫正实物面的坐标是镜头参数矩阵，X=(x，y，z)T是图像实物平面上点的齐次坐标，u=(u，v)T是标定平面上点透视投影到图像平面上对应点的齐次坐标，T和(r1，r2，r3)分别为实物矫正块对应镜头坐标系的旋转矩阵和平行位置向量，以上逻辑可用以下公式表示：

(1)

(2)

先将数个图像采集点累加后，则公式可简写成Sh=0，求得方程式的解是STS的最小特性值所对应的特性向量。简化计算该向量后就会得到H，使用非线性最小平方法来求的H最大似然集合估算。

用h1、h2、h3表示三列，则有：

(3)

式中：λ为常数。

其中，任一图片能提取下述二个对镜头参数矩阵的约束方程式：

(4)

其中：K-T为(K-1)T或(K-)-1。

(5)

B是一个对称矩阵，也可以表示为以下形式：

(6)

(7)

其中：vij=[hi1hj1，hi1hj2+hi2hj1，hi3hj1+hi1hj3，hi3hj2+hi2hj3，hi3hj3]T，则公式内参数约束关系可写为

(8)

对矫正块拍摄多幅图片并通过多个同样的方程组，将其叠加后得出：

Vb=0

(9)

由公式(3)可得：

r1=λK-1h1，r2=λK-1h2，r3=r1×r2,t=λK-1r2

(10)

本文作者参考张正友矫正鱼眼镜头曲面畸变图片的方法，通过计算出图片中间元素之间的坐标对应关系实现图片矫正。此标定方法使用的矫正块成本较低、使用方便、易制作免维护并对标定场景要求低，能满足汽车全景泊车标定精度需求。首先将地面打磨平整(误差小于1 cm/m)，再使用黑白相间油漆在地坪上涂刷出矫正块；然后将车辆开到标定场景内，按住车辆标定程序(程序自动移动镜头)，采集20张任一角度的图片[13]；最后对这20张图片进行标定。主要按如下4个步骤：

(1)通过车载360°全景模块控制器，可读取镜头采集的多组图片；

(2)软件提取黑白相间角点(图4)，对图像进行处理；

(3)求得坐标的相互关系，矫正镜头内部参变量；

(4)根据拍摄的第一幅图片矫正镜头外部参变量。

图4 角点提取

根据以上推算矫正得到文中采用的超广角相机内部参变量为

矫正效果如图5—图6所示。其中，图5为使用广角摄像机对矫正块采集到的图片，使用张正友矫正后的图片如图6所示。可得：图像袪除了原超广角图片中存在的曲面畸变效果，标定效果良好。以上足以说明，通过张正友图像矫正机制能够很好地满足广角摄像头拍摄的曲面畸变图片的矫正需要。

图5 原广角图像

图6 矫正后图像

2 满足在线100%连续标定系统装置要求

根据以上理论在汽车厂设置全景标定系统装置工位，要求平摊的场地5 m×8 m，分为涂刷成黑白相间的区域、能摆放车体区域、标定设备操纵位置3个部分，对地面平整度的要求误差小于1 cm/m；光照条件：标定时光线均匀、地面不存在阴影、保证车辆前后左右的地面处照度大于10 lux；隔绝周围其他强光线进入标定区域(如较强的太阳光等)。标定区域采用水泥亚光处理，黑白相间方格与标定区域水泥地面保持在一个水平面上，并采用哑光色彩，反光能力弱，方格大小为20 cm×20 cm；整体尺寸符合图7要求。

图7 标定装置地面示意

由于汽车生产车间在对全景鱼眼镜头标定为连续作业(节拍120 s)，车辆在进入标定区域中时，需要快速确定X、Y向位置，精度在±1 cm，这时就需要制作专用的导向和定位装置对车每次停放标定位置的唯一性确认。

3 标定系统装置车辆定位设计

车辆的定位采用铁质焊接导轨用螺栓固定在地面上，根据轮胎尺寸进行车辆定位摆放，其示意图如图8所示。

图8 车辆定位装置方案

将车辆轮胎方向对准导轨，使车轮能够按照导轨将前轮卡在定位槽中，如图9所示。

4 标定系统装置使用

标定系统环境光照以漫射光为主,光源照明采用LED灯管垂直照明, 避免普通荧光日光灯管的50 Hz频闪, 要求环境亮度值在300～1 000 lux之间,照明灯管安装在标定场正上方4.5 m高度。

5 标定系统装置使用

先把车停在指定位置上；操作员使用汽车面板的组合键按钮(同时UI模拟按键和远光灯5S)，进入自动矫正；自动矫正成功后，画面会提示矫正完成。

如自动标定提示失败时，请检查灯光是否正常，方格表面是否有污物，车辆是否进入指定位置，确认正常后，再次进行自动标定即可，如图10所示。

图10 标定流程

6 标定图形判定原理

判断原理标定完成之后通过计算处理可以获得摄像头图像中的任意点坐标Pimg对应的物理点坐标Pphy。

理想情况下计算出来的物理坐标Pphy与其对应的真实物理坐标PPHY应该完全一致。实际工程环境下则会存在一定误差Epos=Pphy-PPHY。

可以用所有辅助点的计算物理坐标与真实物理坐标均方误差S来评价标定效果。通过拼接区域标定点的计算物理坐标与真实物理坐标的均方误差来评价拼接效果。

(1)

判断流程如图11所示。

图11 标定判断流程

7 结论

本文作者所论述的全景式监控影像系统装置，使用简易标定方案、自动标定结果评估，主要完成两项任务：

(1)判决标定点识别是否准确。标定点能否正确识别直接决定标定工作能否成功完成。

(2)标定效果评价。在实际使用环境中，因各种误差因素影响，即使标定点都能准确识别，标定结果也会有一定的误差，误差在拼接图像上主要体现为图像畸变、拼接错位。

目前自动标定采用冗余标定点方案，自动标定所识别标定点除标定必须用的图像点之外，也会同时识别一部分辅助标定点。主要利用必需的点来完成标定，然后用部分辅助标定点来验证标定点识别是否成功。

通过利用标定数据计算出图像中辅助标定点对应的物理坐标，计算物理坐标与真实物理坐标误差会在一个比较小的范围内波动，误差超过一定阈值即可判定标定点识别失败。

本文作者对全景式监控影像系统标定机制和简易在线批量标定装置的应用进行了详细阐述，对鱼眼镜头采集的扭曲画面进行修正处理，通过图像畸变还原、拉伸和裁剪，将前后左右的画面处理成平面可视画面，简单、有效和快速，在汽车生产厂家可以推广使用本套装置。