全景摄像机标定方法综述

严春燕

摘要：随着科学技术的发展，大视场成像的迫切需求推动了全景摄像机技术的发展，而全景摄像机标定技术亦日益成为一个研究热点。全景摄像机的标定技术主要涉及成像系统的几何模型以及相应的标定方法。该文根据全景摄像机成像原理对全景摄像机成像模型进行了简要分析，然后对全景摄像机标定方法相关文献中的方法进行了分类，并对各方法进行了分析。

关键词：全景摄像机；成像模型；摄像机标定

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2014）34-8291-02

随着图像传感技术和数字处理技术的发展，普通摄像机在成像范围、分辨率等方面已经难以满足大视场应用的需求。普通摄像机有限的可视范围限制了信息的获取，若能扩大可视范围，将轻松的解决信息获取的问题。全景摄像机的出现成功解决了上述问题。

在全景摄像机技术的发展中，全景摄像机的标定也成为其最重要的部分之一。不同的全景摄像机成像系统不同，相应的全景摄像机标定方法也有不同。图像拼接法一般是需要通过标定技术解决多个摄像机内外参数不一致的问题。鱼眼镜头法和折反射成像法需要根据各自成像系统中的组件和投影模型来确定摄像机的内外参数。如今全景摄像机标定算法经历了从最初的对标定结果的低精度要求，对标定参照物的高精度要求发展到现在的对标定结果的较高精度要求和对参照物的相对低精度要求的演化过程。全景摄像机标定方法需要根据具体的成像系统模型[1]、具体的应用场景以及标定精度要求进行选择。在对全景摄像机标定方法进行具体分析之前，我们需要来了解下不同的全景成像系统模型。

1 全景成像系统模型

标定全景摄像机的一个重要前提就是需要确定它的成像模型，然后才能对全景摄像机系统的系统参数进行标定。

1.1 旋转拼接全景成像系统

随着计算机和数字图像处理技术的发展，采用常规光学镜头，绕与光轴垂直的固定轴旋转，或者围绕垂直光轴的固定点安装多个常规成像系统，每个摄像头可以独立捕捉各自角度的图像，这些图像之间存在一定的重叠区域，称为拼缝，经过标定技术、图像融合技术，平滑的过渡掉这些拼缝，最终使得全景图看上去像单个相机拍摄的效果。拼接型全景成像技术的一个显著特点是表达技术。为更好地展示全景效果，给用户以沉浸式的体验，一般采用球面、柱面、三维投影的最终成像图。在这种成像图上，用户可以感知方位，识别方向，比一般的平面图像更具视觉震撼力，并具较大地实际应用价值。

1.2 鱼眼镜头成像系统

鱼眼镜头成像系统与传统的透视镜成像系统的区别就是镜头结构的区别，鱼眼镜头是一种焦距很短的特殊的超广角镜头，焦距范围大致在6mm到16mm之间。利用鱼眼镜头搭建的成像系统可以获取半球甚至超半球空域的场景图像。鱼眼镜头结构如图1所示。鱼眼镜头拍摄的全景图存在严重的畸变，为满足人眼的视觉观察，需要对图像进行校正。鱼眼镜头摄像机的标定是基于鱼眼镜头成像系统模型，采用合适的摄像机标定方法，求解鱼眼镜头摄像机成像系统模型的参数。鱼眼镜头的结构一般是由多片镜片组成，具体的镜片选取需要根据情况具体分析。

1.3折反射全景成像系统

折反射全景成像系统主要由光敏元件、成像透镜以及反射镜组成。光敏元件一般选用CCD器件，成像透镜有常规的成像透镜或远心透镜，而反射镜一般选用凸面镜，如球面、圆锥面、双曲面、抛物面等。根据是否满足单视点成像约束，折反射全景成像系统可以分为单视点成像系统和非单视点成像系统。

目前实用的单视点折反射全景成像系统有抛物面折反射全景成像系统和双曲面折反射全景成像系统。以下我们简单介绍下抛物面折反射全景成像系统。图2为单视点抛物面镜折反射全景成像系统。

注：在单视点抛物面镜折射反射摄像机成像系统中共存在三个三维坐标系：抛物面镜坐标系、摄像机坐标系和世界坐标系；两个二维坐标系：以像素为单位图像坐标系和以物理单位表示的成像平面坐标系。

传统的摄像机满足小孔成像的模型[2]，而在单视点抛物面镜折射反射摄像机成像模型中，成像过程可以看做是光线经过抛物镜面反射后满足小孔成像的模型。点[P0]表示在世界坐标系中的任意一点，点[Pm]表示[P0]在镜面上的反射点。入射光线[P0][Pm]在经过抛物面镜反射后经过摄像机镜头折射后在平面[A]上形成倒立的像，此处将平面[A]对称至平面[A']，将在平面[A']上形成正立的像。此系统中摄像机坐标系与抛物面镜坐标系需要使中心轴[Zc]与[Zp]平行，满足同轴约束，同时需要调整摄像机镜头与抛物面镜之间的距离，使经过抛物镜面反射的光线近似为平行光线。在实际操作中，经过抛物面镜反射的光线为图中的虚线，需要将抛物面镜和摄像机镜头调整至合适的位置，达到近似平行投影的目的。

2 全景摄像机标定方法分类

Barreto和英向华、胡占义[3]等人探讨了全景摄像机的成像模型及其射影几何关系，他们的结果表明：单视点的折射反射投影等同于经过一个球体的二次映射，并且给出折射、反射以及鱼眼镜头摄像机统一的投影模型。这些投影模型的提出，为全景摄像机的标定提供了很好的理论基础。经过查阅相关文献，可以将已经报道的标定方法进行如下分类。

1）基于球的方法。文献[4]中，段慧仙、吴毅红等人探讨了三维空间球体的图像具有的几何性质，并给出一种新的标定方法——基于球像的抛物折射反射摄像机标定方法。英向华等人研究了球的投影轮廓线应满足的几何不变量，给出标定不同类型的单光心折射反射摄像机需要的投影曲线个数。

2）基于直线的方法。Barreto[5]研究了直线在折射反射摄像机下的射影不变性并将其应用于系统参数的标定。Kanatani[6]通过分析直线之间的关系，构建不同的代价函数，利用优化方法标定鱼眼镜头摄像机。吴福朝等[7]从空间点和它的图像点的关系出发，利用空间直线建立待标定参数的线性约束方程，从而实现标定折射反射摄像机的目的。endprint

3）基于控制点的方法。基于控制点的方法可以将点分为二维点与三维点。Mei和Rives以标准的折射反射成像模型为基础，提出了一种基于平面标定物的折射反射摄像机标定方法。文献[8]中，Zhang等人研究了折射反射直线成像，通过标注平面标定块的交点来标定摄像机参数。吴毅红和胡占义给出了单视点折射反射摄像机成像点所满足的几何不变量，并将其应用于主点估计和平面场景的结构重建。吴福朝、吴毅红等人进一步探讨了利用点的信息标定全景摄像机的方法。文献[9]研究空间点在球面上的投影点之间的距离应满足的性质，然后根据该性质构造内参数的约束方程组，从而实现参数标定。

4）自标定方法。Kang[10]根据折射反射所成图像的特征，利用对应点之间相互关系的一致性，提出了一种可行的抛物面镜折射反射摄像机自标定方法。针对抛物面摄像机的成像特点，文献[11]探讨了利用扩展的基本矩阵实现参数标定的算法。该方法中的扩展基本矩阵封装了系统的非线性成像过程，从而避开了复杂的数值计算。

以上方法中，基于球的方法和基于直线的方法大多需要从图像中拟合二次曲线，其拟合精度直接决定系统的标定精度。鉴于直线在成像平面上投影的特性，其投影无法总是满足封闭的二次曲线，在实现二次曲线精度拟合的过程中，因为遮挡的关系，图像中直线成像总是部分缺失，所以精确的拟合实现总是很困难。圆像在折射反射摄像机下所成的曲线也由于遮挡关系，存在以上问题，虽然文献中有提出圆像、椭圆拟合的方法，但其方法也不能适用于一般的场景，而基于控制点的方法主要利用空间点的图像信息建立系统参数的约束方程，完全克服了以上缺点。

3 结束语

全景摄像机的标定技术主要涉及成像系统的几何模型以及相应的标定方法。该文根据全景成像系统的成像原理简要介绍了旋转拼接全景成像系统、鱼眼镜头成像系统和折反射全景成像系统。对全景摄像机标定方法进行了分类，主要分为基于球的方法、基于直线的方法、基于控制点的方法以及自标定方法。全景摄像机标定技术的选择对于全景摄像机能否在实际中得到自如的应用具有非常重要的意义。

参考文献：

[1] 孙凤梅，胡占义.摄像机简化模型对三维重构的影响——分析与实验[J].计算机辅助设计与图形学学报，2005，17（10）：2257-2262.

[2] 段福庆，吕科，周明全.基于空间共线点的单光心反射折射摄像机标定[J].自动化学报，2011， 37（11）：1296-1305.

[3] Ying X， Hu Z.Can We Consider Central Catadioptric Cameras and Fisheye Cameras within a Unified Imaging Model[C].Proc. European Conference on Computer Vision （ECCV04）， 2004，1：442-455.

[4] Duan H，Wu Y.A Calibration Method for Paracatadioptric Camera from Sphere Images[J].Pattern Recognition Letters， 2012，33（ 6）：677-684.

[5] Barreto P，Araujo H.Geometric properties of central catadioptric line images and their application in calibration[J].IEEE Trans. on Pattern Analysis and Machine Intelligence， 2005，27（8）：1327-1333.

[6] Kanatani K.Calibration of Ultrawide Fisheye Lens Cameras by Eignevalue Minimization[J].IEEE Trans. on Pattern Analysis and Machine Intelligence， 2013，35（4）：813-822.

[7] Wu F，Duan F，Hu Z.A new linear algorithm for calibrating central catadioptric cameras[J].Pattern Recognition， 2008，41（10）：3166—3172.

[8] Zhang L，Du X，Zhu Y，et al.Centra catadioptric camera calibration with single image[C]//Acoustics， Speech and Signal Processing， 2009. ICASSP 2009. IEEE International Conference on. IEEE， 2009： 1253-1256.

[9] Tahri O，Araujo H.Efficient Iterative Pose Estimation using an Invariant to Rotations[J].IEEE Trans. on Cybernetics， 2014，44（ 2）：199-207.

[10] Kang S B.Catadioptric self-calibration[C]//Computer Vision and Pattern Recognition， 2000. Proceedings. IEEE Conference on. IEEE， 2000，1： 201-207.

[11] 张备伟，陈胜勇，王子为.一种抛物面摄像机系统的标定方法[J].计算机工程，2012，38（6）.endprint

3）基于控制点的方法。基于控制点的方法可以将点分为二维点与三维点。Mei和Rives以标准的折射反射成像模型为基础，提出了一种基于平面标定物的折射反射摄像机标定方法。文献[8]中，Zhang等人研究了折射反射直线成像，通过标注平面标定块的交点来标定摄像机参数。吴毅红和胡占义给出了单视点折射反射摄像机成像点所满足的几何不变量，并将其应用于主点估计和平面场景的结构重建。吴福朝、吴毅红等人进一步探讨了利用点的信息标定全景摄像机的方法。文献[9]研究空间点在球面上的投影点之间的距离应满足的性质，然后根据该性质构造内参数的约束方程组，从而实现参数标定。

4）自标定方法。Kang[10]根据折射反射所成图像的特征，利用对应点之间相互关系的一致性，提出了一种可行的抛物面镜折射反射摄像机自标定方法。针对抛物面摄像机的成像特点，文献[11]探讨了利用扩展的基本矩阵实现参数标定的算法。该方法中的扩展基本矩阵封装了系统的非线性成像过程，从而避开了复杂的数值计算。

以上方法中，基于球的方法和基于直线的方法大多需要从图像中拟合二次曲线，其拟合精度直接决定系统的标定精度。鉴于直线在成像平面上投影的特性，其投影无法总是满足封闭的二次曲线，在实现二次曲线精度拟合的过程中，因为遮挡的关系，图像中直线成像总是部分缺失，所以精确的拟合实现总是很困难。圆像在折射反射摄像机下所成的曲线也由于遮挡关系，存在以上问题，虽然文献中有提出圆像、椭圆拟合的方法，但其方法也不能适用于一般的场景，而基于控制点的方法主要利用空间点的图像信息建立系统参数的约束方程，完全克服了以上缺点。

3 结束语

全景摄像机的标定技术主要涉及成像系统的几何模型以及相应的标定方法。该文根据全景成像系统的成像原理简要介绍了旋转拼接全景成像系统、鱼眼镜头成像系统和折反射全景成像系统。对全景摄像机标定方法进行了分类，主要分为基于球的方法、基于直线的方法、基于控制点的方法以及自标定方法。全景摄像机标定技术的选择对于全景摄像机能否在实际中得到自如的应用具有非常重要的意义。

参考文献：

[1] 孙凤梅，胡占义.摄像机简化模型对三维重构的影响——分析与实验[J].计算机辅助设计与图形学学报，2005，17（10）：2257-2262.

[2] 段福庆，吕科，周明全.基于空间共线点的单光心反射折射摄像机标定[J].自动化学报，2011， 37（11）：1296-1305.

[3] Ying X， Hu Z.Can We Consider Central Catadioptric Cameras and Fisheye Cameras within a Unified Imaging Model[C].Proc. European Conference on Computer Vision （ECCV04）， 2004，1：442-455.

[4] Duan H，Wu Y.A Calibration Method for Paracatadioptric Camera from Sphere Images[J].Pattern Recognition Letters， 2012，33（ 6）：677-684.

[5] Barreto P，Araujo H.Geometric properties of central catadioptric line images and their application in calibration[J].IEEE Trans. on Pattern Analysis and Machine Intelligence， 2005，27（8）：1327-1333.

[6] Kanatani K.Calibration of Ultrawide Fisheye Lens Cameras by Eignevalue Minimization[J].IEEE Trans. on Pattern Analysis and Machine Intelligence， 2013，35（4）：813-822.

[7] Wu F，Duan F，Hu Z.A new linear algorithm for calibrating central catadioptric cameras[J].Pattern Recognition， 2008，41（10）：3166—3172.

[8] Zhang L，Du X，Zhu Y，et al.Centra catadioptric camera calibration with single image[C]//Acoustics， Speech and Signal Processing， 2009. ICASSP 2009. IEEE International Conference on. IEEE， 2009： 1253-1256.

[9] Tahri O，Araujo H.Efficient Iterative Pose Estimation using an Invariant to Rotations[J].IEEE Trans. on Cybernetics， 2014，44（ 2）：199-207.

[10] Kang S B.Catadioptric self-calibration[C]//Computer Vision and Pattern Recognition， 2000. Proceedings. IEEE Conference on. IEEE， 2000，1： 201-207.

[11] 张备伟，陈胜勇，王子为.一种抛物面摄像机系统的标定方法[J].计算机工程，2012，38（6）.endprint

3）基于控制点的方法。基于控制点的方法可以将点分为二维点与三维点。Mei和Rives以标准的折射反射成像模型为基础，提出了一种基于平面标定物的折射反射摄像机标定方法。文献[8]中，Zhang等人研究了折射反射直线成像，通过标注平面标定块的交点来标定摄像机参数。吴毅红和胡占义给出了单视点折射反射摄像机成像点所满足的几何不变量，并将其应用于主点估计和平面场景的结构重建。吴福朝、吴毅红等人进一步探讨了利用点的信息标定全景摄像机的方法。文献[9]研究空间点在球面上的投影点之间的距离应满足的性质，然后根据该性质构造内参数的约束方程组，从而实现参数标定。

4）自标定方法。Kang[10]根据折射反射所成图像的特征，利用对应点之间相互关系的一致性，提出了一种可行的抛物面镜折射反射摄像机自标定方法。针对抛物面摄像机的成像特点，文献[11]探讨了利用扩展的基本矩阵实现参数标定的算法。该方法中的扩展基本矩阵封装了系统的非线性成像过程，从而避开了复杂的数值计算。

以上方法中，基于球的方法和基于直线的方法大多需要从图像中拟合二次曲线，其拟合精度直接决定系统的标定精度。鉴于直线在成像平面上投影的特性，其投影无法总是满足封闭的二次曲线，在实现二次曲线精度拟合的过程中，因为遮挡的关系，图像中直线成像总是部分缺失，所以精确的拟合实现总是很困难。圆像在折射反射摄像机下所成的曲线也由于遮挡关系，存在以上问题，虽然文献中有提出圆像、椭圆拟合的方法，但其方法也不能适用于一般的场景，而基于控制点的方法主要利用空间点的图像信息建立系统参数的约束方程，完全克服了以上缺点。

3 结束语

全景摄像机的标定技术主要涉及成像系统的几何模型以及相应的标定方法。该文根据全景成像系统的成像原理简要介绍了旋转拼接全景成像系统、鱼眼镜头成像系统和折反射全景成像系统。对全景摄像机标定方法进行了分类，主要分为基于球的方法、基于直线的方法、基于控制点的方法以及自标定方法。全景摄像机标定技术的选择对于全景摄像机能否在实际中得到自如的应用具有非常重要的意义。

参考文献：

[1] 孙凤梅，胡占义.摄像机简化模型对三维重构的影响——分析与实验[J].计算机辅助设计与图形学学报，2005，17（10）：2257-2262.

[2] 段福庆，吕科，周明全.基于空间共线点的单光心反射折射摄像机标定[J].自动化学报，2011， 37（11）：1296-1305.

[3] Ying X， Hu Z.Can We Consider Central Catadioptric Cameras and Fisheye Cameras within a Unified Imaging Model[C].Proc. European Conference on Computer Vision （ECCV04）， 2004，1：442-455.

[4] Duan H，Wu Y.A Calibration Method for Paracatadioptric Camera from Sphere Images[J].Pattern Recognition Letters， 2012，33（ 6）：677-684.

[5] Barreto P，Araujo H.Geometric properties of central catadioptric line images and their application in calibration[J].IEEE Trans. on Pattern Analysis and Machine Intelligence， 2005，27（8）：1327-1333.

[6] Kanatani K.Calibration of Ultrawide Fisheye Lens Cameras by Eignevalue Minimization[J].IEEE Trans. on Pattern Analysis and Machine Intelligence， 2013，35（4）：813-822.

[7] Wu F，Duan F，Hu Z.A new linear algorithm for calibrating central catadioptric cameras[J].Pattern Recognition， 2008，41（10）：3166—3172.

[8] Zhang L，Du X，Zhu Y，et al.Centra catadioptric camera calibration with single image[C]//Acoustics， Speech and Signal Processing， 2009. ICASSP 2009. IEEE International Conference on. IEEE， 2009： 1253-1256.

[9] Tahri O，Araujo H.Efficient Iterative Pose Estimation using an Invariant to Rotations[J].IEEE Trans. on Cybernetics， 2014，44（ 2）：199-207.

[10] Kang S B.Catadioptric self-calibration[C]//Computer Vision and Pattern Recognition， 2000. Proceedings. IEEE Conference on. IEEE， 2000，1： 201-207.

[11] 张备伟，陈胜勇，王子为.一种抛物面摄像机系统的标定方法[J].计算机工程，2012，38（6）.endprint