基于消隐点的摄像机标定关键技术研究现状及发展*

刘 艳, 张 伟, 厉健晖

(1.浙江大学 城市学院 自动化系, 浙江 杭州 310015;2.浙江工商大学 杭州商学院 计算机系, 浙江 桐庐 311500)

0 引 言

摄像机标定技术是计算机视觉领域的一个重要研究方向[1,2],在工业机器人、无人驾驶、医疗诊断、工业检测、及消费电子、可穿戴式装置、汽车先进驾驶辅助系统、智能化监控等多个领域中有着广泛的应用。随着科技业新技术迭出，摄像机标定技术的应用窗口将被进一步打开，未来这一应用技术将扩展至更贴近大众生活的领域以及当前各炙手可热的新兴行业。

摄像机标定是获取描述摄像机光学和几何特性以及描述摄像机相对世界坐标系位姿参数的过程[3]。大量研究者对摄像机标定技术进行了研究[4]，在所提出的标定方法中有一类基于消隐点这一几何元素的方法，已成为摄像机标定的一个分支，为摄像机标定的研究开辟了一条新途径。

本文针对现有的研究成果进行出了详细分析，并探讨了未来的研究方向及发展趋势。介绍了目前基于消隐点标定方法中用到的产生消隐点的靶标；介绍了几种典型的基于消隐点的摄像机标定方法及该类方法所涉及的关键技术；提出了该标定方法的未来发展趋势，并对尚待解决的问题进行了总结。

1 消隐点产生靶标

消隐点是空间一组平行直线在摄像机成像平面上的成像点[5]。在基于消隐点的摄像机标定方法中，需要用特定靶标或者场景实物所蕴含的几何元素产生消隐点，在已有的标定方法中，用来产生消隐点的靶标有：立方体、平面圆及过圆心直线、平面两非平行矩形、正方形、圆柱体等。

2 基于消隐点的摄像机标定方法

基于消隐点的摄像机标定方法较多，以摄像机内参数求解原理可将其分为4类：以消隐点为中间值的标定方法、直接以消隐点建立摄像机内参数约束方程的方法、利用消隐点性质的标定方法以及基于消隐点与绝对二次曲线像两者之间关系的标定方法。另外还有基于消隐点的多摄像机标定方法、基于两消隐点或三消隐点的摄像机标定方法。

2.1 以消隐点为中间值方法

方法以消隐点为中间值求出圆环点的像坐标，进而由圆环点对摄像机内参数的约束方程标定摄像机内参数。此类方法的关键在于寻找能够提供消隐点与圆环点像的约束关系靶标。2002年，孟晓桥等人[6]通过设计具有一个圆和过圆心的若干直线的平面靶标，利用射影几何知识获取过圆心的直线上的消隐点，拟合出最小二乘意义下的消隐线方程，联立圆的像方程解得2个圆环点的像坐标，代入绝对二次曲线的像方程，实现了摄像机标定。2003年，吴福朝等人[7]以平面上两非平行矩形为靶标，利用2组对边成像求出消隐点，利用调和共轭理论求出圆环点坐标，实现了摄像机内参数标定。2007年，赵录刚等人[8]以具有若干过直径端点的切线圆为靶标，利用两切线平行的性质确定消隐点，求出了圆环点像坐标以实现摄像机标定。该方法与文献[6]的不同之处为求消隐点的靶标及原理不同。同年，胡培成等人[9]利用调和共轭理论求出过圆心的正交直线上的消隐点，结合拉盖尔定理推论求出圆环点像坐标以完成摄像机标定。

2.2 以消隐点直接求解方法

方法直接利用消隐点建立摄像机内参数非线性约束方程，通过求解该方程进行摄像机标定。1989年，魏国庆等人[10]将消隐点引入摄像机标定。以立方体为靶标，利用靶标成像产生的3个消隐点在摄像机坐标系下的正交性建立摄像机内参数约束方程，实现了对摄像机内参数的标定。1996年，马颂德[11]提出了基于主动视觉的摄像机标定方法，通过控制摄像机在三维空间内做3组两正交平移运动来实现摄像机内参数线性求解的方法。1998年，杨长江等人[12]在文献[11]的基础上，提出了控制摄像机在普通平台上进行2组正交平移运动实现摄像机内参数线性求解的方法。2010年，霍炬[13]利用2组正交平行直线产生的消隐点的几何特性建立关于摄像机内参数的约束方程，并给出了内参数的线性解法。这类标定方法主要利用了靶标或主动视觉中产生的消隐点的正交性建立摄像机内参数约束方程实现内参数的标定。

2.3 基于消隐点性质方法

1990年，文献[14]以立方体成像形成的消隐点组成的三角形的重心为主点等性质标定摄像机内外参数。1999年和2000年，Cipolla R[15]和Guillou E[16]假设摄像机尺度因子为1，倾斜因子为0，分别利用3个和2个消隐点的性质实现了摄像机内外参数的标定。2007,2008年，余烨[17]和He B W等人[18]以文献[14]给出的消隐点性质为基础实现对摄像机的标定。2012年，Orghidan R[19]对文献[17,18]的方法进行了比较。

2.4 基于消隐点与绝对二次曲线像间关系的方法

以消隐点位于绝对二次曲线的像上为原理进行摄像机标定。2004年，Liu Y等人[20]结合单应矩阵，利用棋盘格靶标成像产生的消隐点位于绝对二次曲线的像上进行摄像机标定。2005年，Ying X H等人[21]提出的以球体为靶标的标定方法。利用球成像产生的圆与绝对二次曲线线的交点进行摄像机标定。2007年，Grammatikopoulos L等人[22]结合单应矩阵与摄像机内参数的关系，利用3个正交方向成像形成的三正交消隐点进行摄像机标定。2008年，Sun J[23]结合单应矩阵，利用矩形两邻边产生的消隐点实现了摄像机标定。2012年,陈爱华等人[24]以黑白相间的方形格子组成的平面图形为标定模板，利用该靶标图像中2对正交消隐点实现对摄像机内参数的标定。2014年，卢津等人[25]以间距为6 mm的12×13正方格为靶标，利用靶标成像中正交消隐点对的性质求解内部参数，并对TSAI方法进行了改进。

2.5 基于消隐点的其他标定方法

2009年，樊庆文等人[26]提出了基于多灭点标定数码相机内外参数的方法，以包含至少4组平行线和2个定标点的平面为靶标，获取靶标的一副图像，将消隐点坐标及已知的各组平行线的方向向量代入隐参数矩阵，解出隐参数矩阵并分解即可得到内参数矩阵及旋转矩阵，然后利用2个定标点计算出位移向量。同年，吴刚等人提出了B双空间几何中基于消隐点的摄像机标定方法。2011年，韩超[27]提出了基于灭点径向一致性对Tsai方法进行了改进。

2014年，文献[28]利用一组平行线在不同姿态摄像机图像平面中对应消隐点间的无穷单应关系和摄像机相对姿态信息，提出了一种摄像机焦距的高精度实时标定方法。仅通过摄像机在任意2个位置下拍摄同一组空间平行线，基于消隐点对之间的无穷单应关系构建约束，求解焦距参数；将对应光心与消隐点连线的平行程度作为优化指标，利用Nelder-mead非线性单纯型法实现焦距参数的优化。

针对多摄像机一维标定算法精度低、抗噪性和稳定性差等问题,2016年，张超等人[29]提出了基于消失点之间互相约束的多摄像机标定方法。通过靶标特征点约束结合摄像机的射影不变性排除杂点的干扰，再利用空间消失点之间夹角一致性，以及靶标特征点所构成的直线和消失点的反向射线平行性求解摄像机的参数。

3 基于消隐点标定的关键技术

基于消隐点的摄像机标定方法关键技术之一是消隐点的准确提取。如图1所示靶标，无论是利用平行线成像交点来求解消隐点还是利用调和共轭原理来计算消隐点，均不准确。孟晓桥[6]的方法存在圆心不准确、调和共轭求出的消隐点受到三点准确性的影响等问题。赵录刚[8]的方法能够避免圆心的不准确问题， 但是其模板中的两条平行切线求解消隐点也会受到噪声影响。此外，吴福朝[7]、霍炬等人[13]提出的方法所采用的靶标利用平行线成像交点来求解消隐点，方法会受到成像质量和直线提取准确性的干扰。而基于主动视觉的标定方法会受到主动运动平台是否精确的影响。

图1 实际标定中所用的加强型靶标

另外，如何设计合适的靶标或选择场景物体，并建立起消隐点与摄像机内参数之间数学关系式也是基于消隐点的摄像机标定领域的关键技术。

3.1 消隐点准确提取

以一个正方形、一个直径或两条平行线的投影来计算消隐点坐标时，由于空间直线投影到图像平面和直线提取过程总存在一定的误差，所以获取消隐点坐标具有一定的偏差，导致标定结果对噪声敏感、稳定性差，标定精度也难以保证。所以如何准确获取消隐点坐标是此类标定方法的关键技术之一。

为了解决此类问题，提出了用加强型靶标来进行摄像机标定，如图1所示的黑白相间的方格子组成的标定靶标[14,24,25]。采用多条相互平行直线在图像平面上所成的像相交于一个消音点的性质来提高标定的稳定性和精度。

另外一种精确获取消隐点的方法为研究消隐点检测算法。目前已有的消隐点检测算法可以分为几类：1)利用空间变换技术，将图像空间信息变换至有限空间，例如高斯球变换[30]，其主要思想是将图像平面映射到高斯球上，在高斯球上建立直线特征直方图，然后通过极值点检测确定消隐点。方法需要摄像机参数已知，不能用于摄像机标定。2)应用连续几个Hough变换。通过某种滤波器检测落在同一条正弦曲线上的局部峰值来检测消隐点，并在不同层级进行遍历[31]。方法无需知道摄像机内参数，对于摄像机标定是比较有优势的算法，但是目前仍未设计出较有效的滤波器；3)直接利用直线成像信息进行消隐点检测[32～35]，方法需要对所有可能的直线交叉点进行计算，算法效率较低；4)利用统计估计方法，根据图像上边缘特征点估计直线参数，根据参数估计消隐点[36]或者利用消隐点和边缘特征点构造代价函数[37]，同时估计直线和消隐点。另外有基于预检验的随机抽样一致性算法[38]。Kogecka J等人[39,40]提出了基于最大期望算法直线聚类的消失点检测算法以及改进的最大期望算法；Li B等人[41]提出了基于一维级联Hough变换的消隐点检测方法。此外，王永忠等人[42]提出了基于Haar纹理的非结构化道路消隐点检测算法，罗小松[43]提出了基于韦伯局部特征的道路消隐点检测算法以及丁伟利等人[44]提出了基于垂直包络和平行线对的城市道路图像消失点检测算法对于无人车中摄像机标定具有实际应用价值。

3.2 消隐点与参数关系的建立

基于消隐点的摄像机标定技术关键还在于建立靶标或场景中消隐点与摄像机参数之间的数学关系，然后利用相关算法实现摄像机标定。

目前有以消隐点为中间值间接建立标定约束方程的标定方法(2.1和2.4)、用消隐点直接建立约束关系的标定方法(2.2)，还有利用消隐点性质的标定方法(2.3)。约束关系建立的关键是选择合适的标定靶标，并巧妙地获得特征规则靶标中消隐点，进而推导出其与摄像机内参数的约束关系。

4 结束语

消隐点蕴含了直线的方向信息，通过对消隐点的分析可以获取三维结构和方向信息，在摄像机标定领域得到了广泛应用。综上所述，基于消隐点的摄像机标定技术主要通过建立标定靶标或主动运动产生的消隐点与摄像机内参数之间的约束关系来实现。基于消隐点的标定方法有很多，尽管有些方法在理论上较为成熟，但在实际应用中还会存在一些缺陷和局限性，如靶标图像数、图像处理技术好坏等均影响标定结果的稳定性。另外，现有标定方法均以小孔成像摄像机为研究对象，并且是针对固定参数的非自标定方法，所以在将来仍然有很多问题需要进一步研究。

1)针对已有的理论上已经解决的问题，目前研究重点是如何提高算法的鲁棒性以及如何很好的利用这些理论来解决实际视觉问题。为了提高鲁棒性，建议将分层逐步标定方法应用到基于消隐点的标定技术中。

2)选择合适的标定靶标，高精度的标定靶标也是实现精确标定必要物体。另外如何巧妙地获得特征规则物体的三维信息也是标定研究需要关注的方向，如Tsai、张正友均如此，才有了两代经典的标定方法。

3)在标定对象方面能否摆脱小孔成像的限制，对一些鱼眼相机、广角相机、折反射相机的标定进行研究。这要求考虑镜头畸变，目前很多标定方法均未涉及。针对一些新兴视觉系统，如360°全景影像系统、超广角摄像机的标定技术也值得进行研究。还有以无人车等移动设备为平台的摄像机标定技术也需要结合消隐点的产生以及特性不断的更新和发展。

4)基于消隐点的摄像机标定方法中，均以消隐点为桥梁建立其与摄像机参数的关系，绕过了消隐点来探讨摄像机参数的精度，然而消隐点本身的误差对摄像机标定精度影响的研究并不多见。对消隐点本身来说，对其误差及其对应误差空间分布研究也较少。因此，这两部分内容也是值得研究的一个方向。

[1] Dong S,Shao X X,Kang X,et al.Extrinsic calibration of a non-overlappong camera network based on close-range photogramme-try[J].Applied Optics,2016,55(23):6362-6370.

[2] Xu G,Zhang X Y,Li X T,et al.Global calibration method of a camera using the constraint of line features and 3D world point-s[J].Measurement Science Review,2016,16(4):190-196.

[3] Tsai R Y.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J].IEEE Journal of Robotics and Automation,1987,RA—3(4):323-344.

[4] 刘 艳.机器人结构光视觉系统标定研究[D].北京：北京理工大学，2015.

[5] Hartley R.Multiple view geometry in computer vision[M].Canberra:Cambridge University,2003.

[6] Meng X Q,Hu Z Y.A new easy camera calibration technique based on circular points[J].Pattern Recognition,2003,36:1155-1164.

[7] 吴福朝，王光辉，胡占义.由矩形确定摄像机内参数与位置的线性方法[J].软件学报,2003,14(3):703-712.

[8] 赵录刚，吴成柯.一种基于圆环点的相机定标方法[J].西安电子科技大学学报:自然科学版，2007,34(3):363-367.

[9] 胡培成，黎 宁，周建工.一种改进的基于圆环点的摄像机自标定方法[J].光电工程，2007,34(12):54-60.

[10] Wei G Q,Ma S D.Camera calibration by vanishing point and cross ratio[C]∥International Conference on Acoustics,Speech,and Signal Processing,1989:1630-1633.

[11] Ma S D.A self-calibration technique for active vsion systems[J].IEEE Transactions on Robotics and Automation,1996,17(1):114-120.

[12] 杨长江，汪 威，胡占义.一种基于主动视觉的摄像机内参数自标定方法[J].计算机学报,1998,21(5):428-435.

[13] 霍 炬，杨 卫，杨 明.基于消隐点几何特性的摄像机自标定方法[J].光学学报，2010,30(2):465-472.

[14] Cprile B,Torre V.Using vanishing points for camera calibra-tion[J].International Journal of Computer Vision,1990,4(2):127-140.

[15] Cipolla R,Drummond T,Robertson D.Camera calibration from vanishing points in images of architectural scenes[C]∥Procee-dings of the British Machine Vision Conference,1999:382-391.

[16] Guillou E,Meneveaux D,Maisel E,et al.Using vanishing points for camera calibration and coarse 3D reconstruction from a single image[J].The Visual Computer,2000,16(7):396-410.

[17] 余 烨，罗月童，徐 伟，等.一种基于灭点的相机标定方法[C]∥2007全国第18届计算机技术与应用(CACIS)学术会议论文集，北京，2007：66-70.

[18] He B W,Li Y F.Camera calibration from vanishing points in a visionsystem[J].Optics & Laser Technology,2008,40:555-561.

[19] Orghidan R,Salvi J,Gordan M,et al.Camera calibration using two or three vanishing points[C]∥Proceedings of the Federated Conference on Computer Science and Information Systems,2012:123-130.

[20] Liu Y,Wu Y X,Wu M P,et al.Planar vanishing points based camera calibration[C]∥Proceedings of the 3rd International Conference on Image and Graphics,2004:460-463.

[21] Ying X H,Zha H B.Linear approach to camera calibration from sphere images or active intrinsic calibration using vanishing points[C]∥Proceedings of the 10th International Conference on Computer Vision,2005:596-603.

[22] Grammatikopoulos L,Karras G,Petsa E.An automatic approach for camera calibration from vanishing points[J].ISPRS Journal of Photogrammetry & Remote Sensing,2007,62:64-76.

[23] Sun J,Gu H,Qin X L,et al.A new camera calibration based on vanishing point[C]∥Proceedings of the 7th World Congress on Intelligent Control and Automation,2008:2371-2376.

[24] 陈爱华，高诚辉，何炳蔚.基于正交消隐点对的摄像机标定方法[J].仪器仪表学报，2012,33(1):161-166.

[25] 卢 津，孙惠斌，常智勇.新型正交消隐点的摄像机标定方法[J].中国激光，2014,41(2):1-9.

[26] 王德麾，樊庆文，袁中凡.一种基于多灭点标定数码相机内外参数的方法[J].四川大学学报，2009,41(5):193-196.

[27] 吴 刚，唐振民.B双空间几何中基于消隐点的摄像机标定[J].计算机工程与应用，2009,45(24)：4-10.

[28] 韩 超.基于灭点径向一致性约束的相机标定研究[D].南京：南京邮电大学，2011.

[29] 蔡 鸣，孙秀霞，刘树光，等.基于消隐点无穷单应的摄像机焦距精确自标定方法[J].光学学报,2014,34(5):1-6.

[30] 张 超，杨华民，韩 城，等.基于消失点约束的多相机标定方法[J].光子学报，2016,45(5):1-7.

[31] Barnard S T.Interpreting perspective images[J].Artificial Intelligence,1983,21(4):435-462.

[32] Tuytelaars J,Dangool L,Proesmans M,et al.The cascaded Hough transform as an aid in aerial image interpretation[C]∥The 6th International Conference on Computer Vision,1998:67-72.

[33] Schaffalitzky F,Zisserman A.Planar grouping for automatic detection of vanishing lines and points[J].Image and Vision Computing,2000,18(9):647-658.

[34] Rother C.A new approach for vanishing point detection in architectural environments[C]∥British Machine Vision Conference,Bristol,UK,2000:382-391.

[35] Rother C.Multi-view reconstruction and camera recovery using a real or virtual reference plane[D].Stockholm:Royal Institute of Technology,2003.

[36] Mclean C F,Koyyuri D.Vanishing point detection by line clustering[J].IEEE Trans on PAMI,1995,17(11):1090-1095.

[37] Minagawa A,Tagawa N.Vanishing point and vanishing line estimation with line clustering[J].IEICE Trans Info & Syst,2000,E83—D(7):1574-1582.

[38] 陈付幸,王润生.一种新的消失点检测算法[J].电子与信息学报,2006,28(8):1458-1462.

[39] Kogecka J,Wei Zhang.Efficient computation of vanishing point-s[C]∥IEEE International Conference on Robotics and Automation,2002:223-228.

[40] Kogecka J,Wei Zhang.Video compass[M].Berlin Heidelberg:Springer,2002:476-490.

[41] Li B，Peng K，Ying X，et al.Vanishing point detection using cascaded ID Hough transform from single images[J].Pattern Recognition Letters,2012,33(1):1-8.

[42] 王永重，文成林.基于Haar纹理的非结构化道路消失点检测[J].中国图象图形学报,2013,18(4):382-391.

[43] 丁伟利,李 勇,王文锋,等.基于垂线包络和平行线对的城市道路图消失点检测算法[J].光学学报,2014,34(10):1-7.

[44] 罗小松.基于韦伯局部特征的道路消失点检测[D].重庆：重庆大学，2014.