基于全球定位系统的相机标定方法研究

孔筱芳， 陈钱， 顾国华， 钱惟贤， 任侃， 王佳节

(南京理工大学 电子工程与光电技术学院， 江苏 南京 210094)

基于全球定位系统的相机标定方法研究

孔筱芳， 陈钱， 顾国华， 钱惟贤， 任侃， 王佳节

(南京理工大学 电子工程与光电技术学院， 江苏 南京 210094)

采用标定模板进行相机标定是目前广泛应用的方法。由于标定模板的限制，该方法在大视场、远距离工作时不能覆盖所需画面的全部，不能实现对相机的准确标定。结合全球定位系统实时动态(GPS RTK)定位工作模式的高精度全方位坐标信息获取技术，提出一种基于GPS的相机标定方法。该方法基于GPS RTK工作模式获取GPS质心在WGS-84坐标系中的坐标信息，通过坐标转换得到世界坐标系中的坐标位置；用被标相机拍摄GPS在不同位置的图像，采用Harris角点检测算法获得GPS质心的图像坐标，根据成像模型及相机投影矩阵，实现相机标定。实验证明，该方法可有效获取全方位的空间坐标信息，与传统相机标定方法相比，图像像素标定均方误差仅为0.125 36，是一种行之有效可取代标定模板的相机标定方法。

光学工程； 计算机视觉； 相机标定； 全球定位系统导航坐标系； 坐标系转换

0 引言

相机成像模型决定了物体三维空间与二维图像的位置关系，该模型中各参数即相机参数(焦距、主点、旋转、平移向量等)，获取相机参数的过程为相机标定[1]。相机标定的稳定性和高精度是三维物体识别、空间物体姿态重建等技术[2]的基础。

全球定位系统(GPS)利用卫星测距测时实现导航和定位。随着高精度实时动态(RTK)定位技术的发展，GPS已能够实时提供观测站点在任意坐标系中的三维数据，在系统精度保证范围10 km内可达到厘米量级的高精度[3-6]，且具有全方位、全天候等特点。作为快速采集数据与定位的高效工具，GPS及其RTK模式得到了广泛的应用。

传统相机标定方法标定模板制作不够精密，大视场远距离拍摄时标定模板无法覆盖所要求画面的全部，不能实现高精度相机标定。结合GPS RTK工作模式高精度全方位坐标信息获取技术，本文提出了一种基于GPS的相机标定方法。该方法与传统标定方法相比，用GPS代替标定模板获取空间位置信息，经坐标系转换得到世界坐标系中的坐标位置，进行相机标定。该方法避免了由于标定模板精度不高、拍摄时摆放位置不全面导致的标定误差，通过GPS获取精确到厘米量级的世界坐标，提高了远距离、大视场相机标定的准确性和精度。

1 传统相机标定及GPS坐标转换

目前，相机标定方法主要有传统标定方法、自标定方法和基于主动视觉的标定方法。传统标定方法[7]利用最优化算法确定相机内外参数，实现相机标定。这类方法具有较高的标定精度，但标定过程需要使用高精度标定模板，标定过程相对复杂；自标定方法依靠相机对同一目标不同角度的图片信息采集，通过确定多幅图像之间的对应关系实现标定[8-10]。该标定过程仅需建立图像之间的对应关系，灵活性强、应用范围广，但标定鲁棒性不高；基于主动视觉的标定方法[11-12]利用相机的运动信息实现相机标定，一定程度上解决了相机自标定鲁棒性差的问题，但不能对无法控制运动状态的相机进行标定。

1.1 传统相机标定

图1 相机成像模型及相机坐标系与世界坐标系的变换Fig.1 Pin-hole camera model and transformation between camera coordinates and world coordinates

根据图1理想相机成像模型——针孔相机模型[13]和相机坐标系与世界坐标系之间的变换，空间点P(X,Y,Z)被映射到图像平面Π上的一点p(u,v)，点p是连接点P与相机光心C的直线与图像平面的交点。相机光心C到图像平面的垂线为相机的主轴，而主轴与图像平面的交点为主点c(x0,y0)，相机光心C与主点c(x0,y0)之间的距离为相机焦距f. 图像坐标系(u,v)与世界坐标(X,Y,Z)之间的关系为

(1)

式中：s为比例因子；(Xc,Yc,Zc)为相机坐标系坐标；

M=A[R|t]=

为相机投影矩阵，

1.2 GPS坐标转换

RTK工作模式下，GPS主站通过数据链—调制解调器，将观测值及主站坐标信息发送给从站。从站接收来自主站的数据，同时采集GPS卫星信号观测数据，并在系统内组成差分观测值进行实时处理，求解载波相位整周模糊度，得到主站和从站之间的坐标差值，瞬时给出相对于主站的从站坐标[3]。

工作在RTK模式下的GPS，以WGS-84坐标系为导航坐标系[14]。该坐标系以纬度B，经度L，高度H表示，其内容包含在GPS导航电文中，输出形式为ASCII码。

将地球表面任意一点P的GPS导航坐标PG(B,L,H)转换为地球直角坐标PE(XE,YE,ZE)：

(2)

式中：N为椭球曲率半径；E为椭球第一偏心率。设地球长半径、短半径分别为

则有

(3)

将地球直角坐标系转换到以GPS主站为坐标原点的世界坐标系P(X,Y,Z)。设GPS主站O在地球直角坐标系中为PE0(XE0,YE0,ZE0)，GPS从站A在地球直角坐标系中为PE(XE,YE,ZE)，则从站A相对于主站O的坐标为

(4)

GPS实时精密定位的关键技术是确定整周未知数[15]。RTK整周未知数搜索技术根据最小二乘原理序贯递推算法处理每一个历元的观测值，关键在于实时搜索并唯一判定相位观测值的初始整周未知数[3]。GPS RTK技术采用求差法降低了载波相位测量改正后的残余误差、接收机时钟误差、卫星改正后的残余误差等因素的影响，只要能保持4颗以上卫星相位观测值的连续锁定和它们具有必要的几何图形强度，测程在10 km以内的从站可随时给出精度为厘米量级的点位结果[3]。

2 基于GPS的相机标定

2.1 标定原理

将相机成像模型(1)式表示成如下形式：

(5)

式中：si为比例因子；(Xi,Yi,Zi,1)T为GPS在世界坐标系中某一点i的齐次坐标；(ui,vi,1)T为点i对应的齐次图像坐标；mij为相机投影矩阵M第i行、第j列元素。

对n个已知的世界坐标(Xi,Yi,Zi,1)T及对应图像坐标(ui,vi,1)T，采用直接线性变换(DLT)方法[16]可解出相机投影矩阵M中的每个元素，即

(6)

令(6)式中m34=1，得到关于相机投影矩阵M中m11～m33元素的2n个线性方程。令

(7)

(6)式可改写为

Km=U，

(8)

采用最小二乘法[17-18]可解出m，即

m=(KTK)-1KTU.

(9)

2.2 内外参数求解

由(5)式可得相机投影矩阵M与相机内外参数的关系为

(10)

由(10)式可得

(11)

(12)

由空间中6个以上已知点及对应图像坐标，即可求出相机投影矩阵M，根据(12)式求出相机的内外参数，即可完成相机的标定。

3 实验与分析

实验采用北斗星通GPS，被标相机型号为Basler acA640-90gc，其电荷耦合元件尺寸为4.88 mm×3.66 mm，分辨率为658×492，镜头标注焦距F为12 mm. 实验装置如图2所示，其中1为GPS天线，2为GPS接收器，3为电台。

图2 实验装置示意图Fig.2 Schematic diagram of experimental device

3.1 实验结果

实验中，放置RTK工作模式下的GPS主站O与从站A，连接好电台、GPS与电脑，记录GPS主站O的经度、纬度、高度信息PG0(B0,L0,H0)。移动GPS从站A至不同位置，移动范围覆盖视场全部，用被标相机采集GPS从站A图像Ii(i=1,2,…,n)，

表1 部分实验坐标Tab.1 Part of experimental coordinates

并记录对应的经度、纬度、高度信息PGAi(BAi,LAi,HAi)(i=1,2,…,n). 将经度、纬度、高度坐标转换成世界坐标Pi(Xi,Yi,Zi)(i=1,2,…,n)，并用Harris角点检测方法提取GPS质心图像坐标(xi,yi)(i=1,2,…,n)(见表1)。根据(9)式、(12)式求解相机投影矩阵和相机内外参数。求出的相机投影矩阵M、相机内参(fx,fy,cx,cy)和其中一幅图像的相机外参矩阵[R|t]分别为

3.2 实验分析

采用基于GPS的相机标定方法进行实验，从标定模板、标定图像帧数、标定点个数、标定点位置选取、系统误差等方面验证其可行性，并与传统的张正友标定方法[16]进行比较。定义标定误差RMS为

(13)

3.2.1 传统标定模板与GPS标定方法比较

分别采用GPS和棋盘格在同一场景下对同一相机进行标定，标定图像帧数同为20帧，并计算标定误差RMS. 由表2可知，基于GPS的相机标定方法标定误差小于传统的标定方法。

表2 GPS标定方法与传统标定模板标定结果及误差Tab.2 Calibrated results and RMS of GPS and checkerboard calibration method

3.2.2 标定图像帧数对标定结果的影响

在标定过程中，标定图像帧数对标定结果有一定的影响[19]。在能够求出相机投影矩阵M的基础上，分别选用8、12、15、18、20张图像进行标定。标定误差RMS见表3，图3为相机焦距、主点标定结果与使用图像帧数的关系。采用基于GPS的相机标定方法，在标定时采用的图像帧数越多，标定结果精确度越高，标定误差越小。

表3 不同帧数图像的标定结果及标定误差Tab.3 Calibrated results and RMS of images with different frame numbers

图3 标定结果与使用图像帧数关系Fig.3 Curves of calibrated results and image frames

3.2.3 标定点对标定结果的影响

在标定过程中，标定点的位置选取也是影响标定精度的一个重要因素。采用GPS进行两组标定实验，实验1中GPS放置时尽量遍布视场的整个范围，实验2中GPS只集中放置在视场中间的一小块区域。由表4可知，当GPS放置范围遍布整个视场时，标定结果精确度较高，其标定误差RMS远小于GPS位置只限于视场中一块区域。

表4 GPS不同位置的标定结果及误差Tab.4 Calibrated results and RMS of GPS at various positions

4 结论

基于GPS的相机标定方法，采用GPS代替传统标定模板获取空间坐标信息，实现相机标定。该方法能克服标定模板制作不够精密、无法覆盖画面的全部等问题，提高相机标定的准确性和精度，且标定设备操作简单、便于移动，能够应用于大视场远距离场景的全天候相机标定。然而，卫星可见度问题、外界环境(如地形、地物)干扰等问题会对GPS测量结果造成一定影响，在后续研究中仍需对GPS相机标定方法进行改进，提高该方法的稳定性和标定精度。

References)

[1] 邱茂林, 马颂德,李毅. 计算机视觉中相机定标综述[J]. 自动化学报, 2000, 26(1): 43-55. QIU Mao-lin, MA Song-de, LI Yi.Overview of camera calibration for computer vision [J]. Acta Automatica Sinica, 2000, 26(1): 43-55. (in Chinese)

[2] 张勤, 贾庆轩. 基于激光与单目视觉的室内场景三维重建[J]. 系统仿真学报, 2014, 26(2): 357-362. ZHANG Qin, JIA Qing-xuan.3D indoor reconstruction based on laser scanner and monocular camera [J]. Journal of System Simulation, 2014, 26(2): 357-362. (in Chinese)

[3] 闫志刚, 张兆龙, 赵晓虎. GPS RTK作业模式原理及其实用技术[J]. 四川测绘, 2001, 24(2):66-69. YAN Zhi-gang, ZHANG Zhao-long, ZHAO Xiao-hui. The principle of GPS RTK pattern and the practical technology in its application [J]. Surveying and Mapping of Sichuan, 2001, 24(2): 66-69. (in Chinese)

[4] 许娅娅. GPS RTK的发展及其在公路测量中的应用[J]. 测绘通报, 2007(2): 18-20. XU Ya-ya. Development and application of the GPS RTK in the highway construction [J]. Bulletin of Surveying and Mapping, 2007(2):18-20. (in Chinese)

[5] 杨春生, 袁中凡, 王华. 基于RTK-GPS的汽车行驶记录仪检测系统[J]. 汽车技术, 2007(10): 46-49. YANG Chun-sheng, YUAN Zhong-fan, WANG Hua. Calibration system for vehicle traveling data recorder based on RTK-GPS [J]. Automobile Technology, 2007(10):46-49. (in Chinese)

[6] 张鲜妮, 王磊. 一种改善RTK测量精度的新方法[J]. 大地测量与地球动力学, 2011, 31(5): 128-131. ZHANG Xian-ni, WANG Lei. A new method for improving RTK measurement accuracy [J]. Journal of Geodesy and Geodynamics, 2011, 31(5):128-131. (in Chinese)

[7] Faig W. Calibration of close-range photogrammetry systems: mathematical formulation [J]. Photogrammetric Engineering and Remote Sensing, 1975, 41(12): 1479-1486.

[8] Hartley R I. Kruppa's equations derived from the fundamental matrix [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, 19(2):133-135.

[9] Triggs B. Autocalibration and the absolute quadric[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Puerto Rico: IEEE Computer Society, 1997.

[10] Pollefeys M, Van Gool L, Oosterlinck A. The modulus Cconstraint: a new constraint for self-calibration [C]∥13th International Conference on Pattern Recognition. Vienna, Austria: IEEE Computer Society , 1996.

[11] Ma S D. A self-calibration technique for active vision systems [J]. IEEE Transactions on Robotics and Automation, 1996, 12(1): 114-120.

[12] 胡占义, 吴福朝. 基于主动视觉摄像机标定方法[J]. 计算机学报, 2002, 25(11): 1149-1156. HU Zhan-yi, WU Fu-zhao. A review on some active vision based camera calibration techniques [J]. Chinese Journal of Computers, 2002, 25(11): 1149-1156. (in Chinese)

[13] Hartley R, Zisserman A. Multiple view geometry in computer vision [M].UK: Cambridge University Press, 2003.

[14] 李志远. GPS在目标跟踪坐标转换的应用研究[J]. 电脑编程技巧与维护, 2012(19): 7-8. LI Zhi-yuan.The application of GPS in coordinate transformation in target tracking [J]. Computer Programming Skills & Maintenance, 2012(12): 7-8. (in Chinese)

[15] 祁振海. GPS RTK技术原理及精度分析[C]∥广东省测绘学会第九次会员代表大会暨学术交流会. 广东惠州：广东省测绘学会, 2010. QI Zhen-hai. GPS RTK principle and accuracy analysis [C]∥The 9th Congress and Academic Symposium of Guangdong Institute of Surveying and Mapping. Huizhou, Guangdong: Guangdong Institute of Surveying and Mapping, 2010. (in Chinese)

[16] 葛宝臻, 李晓洁, 邱实. 基于共面点直接线性变换的摄像机畸变校正[J]. 中国激光, 2010， 37(2): 488-494. GE Bao-zhen, LI Xiao-jie, QIU Shi. Camera lens distortion correction based on coplanar point direct liner transformation [J]. Chinese Journal of Lasers, 2010,37(2): 488-494. (in Chinese)

[17] 贾小勇, 徐传胜, 白欣. 最小二乘法的创立及其思想方法[J]. 西北大学学报:自然科学版, 2006, 36(3): 507-511. JIA Xiao-yong, XU Chuan-sheng, BAI Xin. The invention and way of thinking on least squares [J]. Journal of Northwest University：Natural Science Edition, 2006, 36(3): 507-511. (in Chinese)

[18] 熊文卓, 孙明超. 采用最小二乘法提高变焦距镜头的焦距值输出精度[J]. 仪器仪表学报, 2014，35(6)：151-154. XIONG Wen-zhuo, SUN Ming-chao. Improving focal output accuracy of zoom lens through least square method [J]. Chinese Journal of Scientific Instrument, 2014，35(6)：151-154. (in Chinese)

[19] Zhang Z Y. Flexible camera calibration by viewing a plane from unknown orientations[C]∥The Seventh IEEE International Conference on Computer Vision. Corfu, Greece: IEEE, 1999.

A GPS-based Camera Calibration Method

KONG Xiao-fang, CHEN Qian, GU Guo-hua, QIAN Wei-xian, REN Kan, WANG Jia-jie

(School of Electronic and Optical Engineering, Nanjing University of Science and Technology, Nanjing 210094, Jiangsu, China)

The calibration templates have been widely used for camera calibration. The calibration templates could not cover a large field of view at a long distance due to its limitation. The method could not realize precise calibration. Combining the high-precision coordinate information access technology with GPS RTK mode, a GPS-based camera calibration method is proposed. In the proposed method, the coordinate information of GPS centroid in WGS-84 coordinates is obtained under the GPS RTK mode. The coordinate system transformation method is used to transform WGS-84 coordinates to system world coordinates. The images of GPS at different positions are taken by the camera under calibration, and Harris corner detection algorithm is used to get the corresponding image coordinates. The projection matrix is calculated according to the camera model, and the camera calibration is realized. Experimental results show that the proposed method can be used to obtain omnidirectional spatial coordinate information with high precision. Compared with traditional camera calibration methods, the calibrated RMS error of the proposed method is only 0.125 36.

optical engineering; computer vision; camera calibration; GPS navigation coordinate system; coordinate system transformation

2016-04-18

江苏省自然科学基金青年基金项目(BK20130769)

孔筱芳(1990—), 女, 博士研究生。E-mail: xiaofangkong@163.com； 陈钱(1964—)，男，教授，博士生导师。E-mail: chenq@njust.edu.cn

TP391.41

A

1000-1093(2016)12-2301-07

10.3969/j.issn.1000-1093.2016.12.016