车载视觉环视系统实验平台

董延超， 刘宇灏， 李劲松， 张露露， 曾 超， 邓海洋

（同济大学电子与信息工程学院，上海 201804）

0 引 言

车载视觉系统［1-2］通过摄像头获取车辆周边环境信息，是目前应用最广泛、最有前景的传感器之一。车载环视系统通过安装在车辆前、后、左、右的多台鱼眼广角相机实时采集车辆四周视频数据，经过一系列的图像矫正、变换等处理生成以车辆为参考中心的俯视图，然后通过合成算法拼接为一幅完整的环视鸟瞰图，以“天空视角”为驾驶员提供无死角的车辆360°实时环境视觉信息。

设计并开发了一款车载环视系统实验平台，该实验平台的理论及技术涉及多项计算机视觉内容，如鱼眼相机成像原理、相机参数标定、最优化求解、图像矫正、投影变换、图像拼接融合［3］等。

1 实验平台硬件系统

本实验平台将缩小版汽车模型作为载体，在周边安装了4 台鱼眼相机，如图1 所示。

相机选用海康的PoE（Power over Ethernet）供电板级工业相机，分辨率为1 440 ×1 080，可以通过程序控制相机的运行参数（曝光时间、白平衡、gamma 矫正、同步触发等）。镜头焦距为1.7 mm，是M12 标准接口。本实验平台的其他主要部件包括移动电源、PoE交换机、MiniPC、便携式显示器。只要一条网线连接相机与PoE交换机就可进行供电及图像采集。

2 鱼眼相机模型

考虑到鱼眼相机的视野范围可达180°左右，传统小孔相机模型不适用于鱼眼相机，因此本实验平台使用统一相机模型（UCM）［4-5］对环视系统的鱼眼相机进行建模。UCM 如图2 所示，在UCM 中，空间中的点χ首先投影到单位球体上得到点xs，然后投影到针孔相机的图像平面上得到点mu。UCM 由i=（γx，γy，cx，cy，ξ）T5 个参数构成，其中γx、γy为相机焦距，cx、cy为相机光轴在图像坐标系中的偏移量，ξ 为参考坐标系Fp与Fm在z方向的偏移量。空间中的一个点X=（x，y，z）的成像过程可表示为如下数学模型：

图2 UCM成像过程

考虑到实际工程中的数值稳定性问题［6］，上述UCM的投影成像过程可重新表达为

变换后的数学方程（3）依然由5 个参数构成：i=（fx，fy，cx，cy，α）T，α∈［0，1］，其中fx、fy为相机焦距。方程（1）与方程（3）是等价的，其中，ξ = α/（1 - α），γx=fx/（1 -α），γy=fy/（1 -α），当α =0 时，本模型退化为小孔相机模型。因此，UCM适应于鱼眼相机和普通小孔相机。

相应地，图像上一个点U=（u，v）的反投影数学模型为

3 环视系统标定

为生成没有畸变的俯视鸟瞰图，需要对多台鱼眼相机捕捉的图像进行精确的内部和外部参数标定。相机内部参数误差主要由相机底座、感光芯片、镜头之间的装配公差引起的。通过大量实验发现，同一型号相机的参数不一致性问题主要体现在光心点（cx，cy）上。针对本实验平台，设计了专门的标定场地和自适应标定算法解决相机参数的一致性问题以及车辆在标定场地中的停放误差问题。

3.1 环视系统标定场地设计

设计的标定场地如图3 所示。其中，红色矩形框略大于车辆的长宽尺寸，使得车辆可以方便地停入其中。每台相机的标定板有左、中、右3 块构成，标定板的坐标系原点在中间标定板的左下角，标定板坐标系x、y、z轴指向如图3 所示。标定场地的尺寸参数由棋盘格方块尺寸、方块数量以及距离参数a～h等唯一确定。距离参数的正负号以标定板的局部坐标系为参考。标定场地的全局坐标系与前方标定板坐标系重合。车辆坐标系的原点位于前相机在地面上的投影点，x轴指向车辆右侧，y轴指向车辆前方，z轴指向车辆上方。环视鸟瞰图的坐标系与车辆坐标系重合，以便生成环视鸟瞰图时各个投影面与车辆坐标系对齐。利用标定场地中的棋盘格特征点计算相机的外部姿态参数和内部参数（cx，cy），可以自适应车辆与标定场地之间的停放误差。

图3 环视系统标定场地设计

3.2 环视系统标定过程

（1）单相机标定。相机的外部参数包括标定板坐标系CSpi在相机坐标系CSci中的位置（txcpi，tycpi，tzcpi）和旋转角度（rxcpi，rycpi，rzcpi），其中i=0，1，2，3 代表前、后、左、右相机索引。同一型号的相机名义内部参数通过标定工具可以获得［7］。通过Levenberg-Marquardt数值优化求解算法［8-9］对停入标定场地中的车辆在线估计相机外部姿态参数及内部参数（cxi，cyi），其中Rcpi为旋转矩阵，tcpi为平移向量。因此，系统的待优化状态量包括xc=（txcpi，tycpi，tzcpi，rxcpi，rycpi，rzcpi，cxi，cyi）。系统的观测为各相机检测出的棋盘格角点［10-11］坐标fc，j=（uc，j，vc，j），表示第c台相机检测到的第j个棋盘格角点。定义系统的成本函数为棋盘格角点的反投影误差［12］之平方和，则标定问题变成了如下最优化问题：

式中：Xc为待求解状态量；fc，j为观测量；πc（Xc，Fj）为相机投影模型，也是系统的观测模型；Fj为与fc，j相对应的棋盘格角点在棋盘格坐标系中的三维坐标值。利用Levenberg-Marquardt非线性优化算法求解得到使得反投影误差最小的系统状态量。

各相机单独标定完成后，假设标定板坐标系CSpi中一个点的齐次坐标为，转换到相机坐标系CSci后的齐次坐标为，则两者之间的转换关系为：

（2）坐标系统间变换。对于车载环视系统的标定而言，其目的是要找到车辆坐标系CSv中地面上任一点与相机坐标系CSci中相应点的变换关系［13］。因此，必须确定世界坐标系CSw、车辆坐标系CSv及相机坐标系CSci的变换关系。利用上文所述单相机标定方法对每台相机相对于各自标定板的姿态Tcpi标定完毕之后，就可以将标定板坐标系CSpi中的任一点变换到相机坐标系CSci中，进而利用鱼眼相机模型得到图像坐标系CSimgi中的坐标。

为便于表述，选择将世界坐标系CSw放置于前相机中间标定板上，如图3 标定场地设计所示。

由于标定场地中每个标志物的尺寸及相对位置关系已知，因此不难求得各标定板坐标系在世界坐标系中的位姿，其中i=0，1，2，3，分别表示前、后、左、右4 组标定板，Rwpi为旋转矩阵，twpi为平移向量。假设标定板坐标系中一个点的齐次坐标为，转换到世界坐标系后的齐次坐标为，则两者之间的转换关系为：

根据式（6）、（7）就可计算得到相机坐标系相对于世界坐标系的位姿

由于相机是安装在车辆上且其装配位置是预设好的，因此可以根据4 台相机在世界坐标系中的相对位置来计算车体的尺寸。这里假定左右相机安装在车辆左右后视镜处，前相机安装在车辆头部中间位置，后相机则安装在车辆尾部中间位置。根据这个假设，车体的长度（lv）可以近似为前后相机的水平距离，而车体的宽度（记为wv）可以近似为左右相机的水平距离，即：

式中：projGND（）表示将向量投影到地面；norm（）表示求向量的模。

通过在线计算车辆尺寸，可以自适应多种型号的车辆，也可以自适应确定环视系统所要显示区域的大小，还可以得出车体图标的大小。

车体纵轴与世界坐标系y轴方向的夹角为θwv，即车体坐标系CSv的z轴相对于世界坐标系CSw的z轴的旋转角度，也可根据4 台相机在世界坐标系中的具体位置来确定。车辆坐标系CSv的（x，y）平面位于车辆所停放的水平面，z轴竖直向上，y轴方向为车体纵向方向。选择用左右相机的位置来计算θwv，即：

车辆坐标系CSv在世界坐标系CSw中的旋转矩阵为

车辆坐标系CSv原点放置于前端相机在水平面的投影处，因此其在世界坐标系CSw中的位置

车辆坐标系CSv在世界坐标系CSw的位姿

整理式（6）、（7）、（14）可得车辆坐标系到相机坐标系的变换矩阵

4 鸟瞰图生成

基于上述车辆、相机标定结果，将各相机的图像数据投影到车辆周边的水平面上并进行融合，得到车辆的俯视鸟瞰图［14］。图4 为环视鸟瞰图的基本构成。鸟瞰图作为一张数字图像，其坐标系位于左上角，单位为像素。车辆坐标系位于前相机在地面上的投影，x轴指向车辆右方、y轴指向车辆前方。当车辆的尺寸、环视区域四周的尺寸按需确定之后，鸟瞰图坐标系与车辆坐标系存在相似变换关系，其中s为比例尺因子，Rvb为旋转矩阵，tvb为平移向量。假设鸟瞰图上一个像素为Ub，则其在车辆坐标系中的表达为

图4 环视鸟瞰图构成

鸟瞰图的生成过程即是对鸟瞰图各区域用合适的鱼眼相机图像像素进行填充或插值的过程。图4 中，鸟瞰图的IMGF、IMGB、IMGL、IMGR4 个区域的图像数据分别来自车辆前、后、左、右4 台相机，如图4 所示。

鸟瞰图的IMGLF、IMGLB、IMGRB、IMGRF4 个角落区域可以被相邻的2 台相机同时观测到，因此这4 个区域的图像数据是由2 台相机图像数据融合而成。本文给出2 种融合方法：一种方法是以BLF、BLB、BRB、BRF4条人工设定的斜线为融合区域的分界线，融合权重按离分界线的远近逐渐降低，如图4 中的IMGLF区域所示；另一种方法，以IMGRF区域为例，对融合区域的像素Ub计算其在相邻两相机中的对应坐标Uc0和Uc3，并计算Uc0和Uc3距离各自图像中心点的距离dc0和dc3，然后根据各自的距离远近设计融合权重。此方法具有自适应清晰度优化的特点。基于上述方法得到的鸟瞰图如图5 所示。

图5 环视鸟瞰图合成

5 结 语

提出了一款车载环视系统实验平台，使用UCM对环视系统的鱼眼相机进行建模，以适应鱼眼相机的超大视野特性。设计了专门的标定场地和自适应标定算法，解决了相机内部参数误差及车辆自由停放误差。基于上述车辆、相机标定结果，设计了鸟瞰图生成方法，将各相机的图像数据融合得到了车辆的俯视鸟瞰图。

在所设计的环视系统软硬件平台基础上，可以进一步提高环视系统的各项功能和性能。例如，改进标定方案和算法，进一步提高标定精度和效率，改善多相机融合拼接的色彩一致性问题，车辆姿态在线估计及环视系统矫正等。此外，也可以拓展深层次研究应用。例如，基于环视鸟瞰图的语义检测与分割、实时建图与定位［15-16］、小车自主运动控制等。