基于非刚体的线性迭代相机自标定方法

彭亚丽,刘侍刚,贲晛烨,汪西莉,曹　菡

(1.现代教学技术教育部重点实验室，陕西西安 710062； 2.陕西师范大学计算机科学学院，陕西西安 710062； 3.山东大学信息科学与工程学院，山东济南 250100)



基于非刚体的线性迭代相机自标定方法

彭亚丽1,2,刘侍刚2,贲晛烨3,汪西莉2,曹菡2

(1.现代教学技术教育部重点实验室，陕西西安 710062； 2.陕西师范大学计算机科学学院，陕西西安 710062； 3.山东大学信息科学与工程学院，山东济南 250100)

为了实现相机标定，本文提出了一种基于非刚体的线性迭代相机自标定方法，该方法假定非刚体由若干个非刚性基线性组成，利用所有图像点组成的图像矩阵为一个低秩矩阵的特性，实现射影重建；利用相机的约束关系线性迭代地实现相机标定.该方法克服了现有自标定方法要求物体做刚体运动的缺点，模拟实验和真实实验数据结果表明，能够有效地实现相机标定.

非刚体；自标定；因式分解

1　引言

三维重建是计算机视觉重点研究方向之一，而相机标定是三维重建过程中必不可少的步骤[1].传统的相机标定方法通过结构尺寸已知的标定物，利用图像中的投影计算相机的内参数[2,3]，这种方法需要一个高精度的定标物.

为了克服传统相机标定方法的缺点，有些学者采用相机做特殊运动(如纯旋转、纯平移等)的方法实现相机标定[4]，这种方法称为主动视觉标定法.主动视觉标定法算法简单，甚至能够获得线性解，因此鲁棒性较高.但这种方法要求控制相机的运动，因此，需要昂贵的实验设备，而且操作非常繁琐.

传统的相机标定方法和主动视觉标定法只能离线标定，即标定完成之后，相机就不能再调焦.为了实现相机的在线标定，Faugeras[5]等人首先提出了相机自标定的概念.自从自标定概念提出之后，相机自标定得到了广泛深入地研究，并提出了许多自标定方法[6,7].自标定方法是在物体和相机运动参数都未知的情况下，利用绝对二次曲线是一个欧氏不变量的特性，实现相机的标定.早前的自标定方法要求物体做刚体运动，但在现实生活中，有许多物体的运动不能当作刚体运动，因此，该方法的应用受到一定的限制.

目前有许多学者对非刚体进行三维重建，但大部分学者假设相机为正投影模型，这样可避免对相机的标定[8,9]，但是正投影模型要求物体到相机的距离远大于物体的景深，否则误差比较大.为了克服这个缺点，Lladó等人在针孔模型下，利用非刚体物体中的运动包含有刚体运动成份的特性，对非刚体的运动进行分类，分成做刚体运动部分和非刚体运动部分，利用做刚体运动部分实现相机的标定[10,11]，但这些方法要求对物体的特征点进行分类，在实际应用过程中，很难实现特征点的分类.

为了克服上述方法的不足，本文提出了一种基于非刚体运动的相机自标定方法.该方法假定非刚体由若干个非刚性基线性组成，利用图像矩阵为一个低秩矩阵的特性，实现射影重建，再利用相机内部之间的约束关系，线性迭代地实现相机自标定.

2　非刚体成像模型

假定相机为针孔模型，即成像过程为：

(1)

当物体做非刚体运动时，Xi可以认为由l个刚性基组成，即

(2)

式中βi,j权值，Bj为刚性基.

将式(2)代入式(1)，并整理得

(3)

若将所有的图像点放在一起，则有

(4)

3　相机自标定

从式(4)可以看出，矩阵W3m×n是一个低秩矩阵，利用该特性，可以求解出深度因子Λi[12].若已知深度因子Λi，通过SVD分解可求到M3m×(3l+1)和B(3l+1)×n.同时，对于任何一个非奇异矩阵T，都有

W=MB=MT-1TB=M′B′

(5)

式中M′=MT-1，B′=TB.

由于相机在照相调焦过程中，改变的仅仅只有尺度因子fu和fv，而其它几个内参数并不会改变[13]，利用这此约束信息，可以实现相机的自标定.

对于第i幅图像，由式(3)可得

Mi=[βi,1KRiβi,2KRi…βi,lKRiKti]3×(3l+1)

(6)

(7)

(8)

将上式两边各乘以其转置，则有

(9)

(10)

从式(10)可以看出，利用上式可以求解出Ω，对Ω进行Cholesky分解，可以求到相机的内参数K，实现相机的自标定.

总之，上述算法的伪代码实现如下：

4　实验

4.1仿真实验

为了检验本文方法的收敛性能，本文在一个单位球内随机产生100个空间点，并将这些空间点分别分成3个刚体基元，其中第一个刚体基元由前50个空间点组成，后面的点用0表示，构成一个3×100的基元，同理第二个和第三个基元分别由中间的30个和后面的20个空间点组成，构成第二个和第三个基元.模拟产生相机的内参数fx=fy=800，u0=320，v0=240，s=5，变化相机外参以产生100幅大小为640×480的图像，并加入1个像素的图像噪声，用因式分解的方法实现射影重建，后用本文方法进行相机标定，算法收敛图如图1所示.

从图1可以看出，本文方法迭代15次以内就能够很好的收敛到理想值，所以该方法具有良好的收敛性.

为检验本文方法的精度，在图像像素中加入高斯噪声，在每种噪声水平下各进行200次实验，然后取均值，实验结果如图2所示.

从图2可以看出，在4个像素的噪声之内，本文方法求到相机内参矩阵中fu和fv的均值都在800±15范围内，s、u0和v0的均值分别在5±1、320±15和240±15范围内，即fu和fv的平均误差小于2%，s的均值误差小于20%，u0和v0的均值误差小于8%，说明本文自标定方法具有较高的精度.

4.2真实实验

为了验证本文方法的正确性，本文获得一个包括300帧的人体跳舞动作图像序列，如图3所示.通过图像序列可以看出，该人体不能当作刚体，只能当作非刚体.在该图像序列中，通过人工标志提取了75个特征点，如图3中的(*)所示.利用这些特征点，用本文方法进行相机自标定，标定结果为：fu=623.42，fv=621.74，s=-1.26，u0=231.31，v0=313.55.同时，利用标定结果实现三维重建，重建结果如图4所示.

从图4可以看出，能够较好的重建出该人体的三维结构及运动，说明本文提出的自标定方法能够较好地实现相机自标定.

5　结束语

本文方法假定非刚体由若干个非刚性基线性组成，利用图像矩阵为一个低秩矩阵，实现射影重建，再利用相机内部约束关系，线性迭代地求解相机内参数，实现相机自标定.该方法克服了现有自标定方法要求物体做刚体运动的缺点.实验结果表明，该方法能够有效地实现相机自标定.

[1]M Lee,C Choi.Real-time facial shape recovery from a single image under general,unknown lighting by rank relaxation[J].Computer Vision and Image Understanding,2014,120(3):59-69.

[2]R Tsai.An efficient and accurate camera calibration technique for 3D machine vision[A].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition[C].Miami Beach,1986:364-374.

[3]Z Zhang.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[4]T Elamsy,A Habed,B Boufama.Self-calibration of stationary non-rotating zooming cameras[J].Image and Vision Computing,2014,32(3):212-226.

[5]O Faugras,Q Luong,S Maybank.Camera self-calibration:theory and experiments[A].Proceedings of the Second European Conference on Computer Vision[C].May 19-22,1992,Italy,321-334.

[6]F Wu,M Zhang,Z Hu.Self-calibration under the cayley framework[J].International Journal of Computer Vision,2013,103(3):372-398.

[7]N Akkad,M Merras,A Saaidi,K Satori.Camera self-calibration with varying intrinsic parameters by an unknown three-dimensional scene[J].The Visual Computer,2014,30(5):519-530.

[8]J Xiao,J Chai,T Kanade.A closed-form solution to non-rigid shape and motion recovery[J].International Journal of Computer Vision,2006,67(2):233-246.

[9]Y Dai,H Li,M He.A simple prior-free method for non-rigid structure-from-motion factorization[J].International Journal of Computer Vision,2014,107(2):101-122.

[10]X Lladó,A.Bueb,L Agapitoc.Non-rigid metric reconstruction from perspective cameras[J].Image and Vision Computing,2010,28(9):1339-1353.

[11]A Rehan,A Zaheer,et al.NRSfM using local rigidity[A].IEEE Conference on Applications of Computer Vision[C].March 24-26,2014,Colorado,69-74.

[12]彭亚丽，刘侍刚，裘国永.一种线性迭代非刚体射影重建方法[J].西安交通大学学报，2015，49(1):102-106.

Peng Yali,Liu Shigang,Qiu Guoyong.A linearly iterative method for non-rigid projective reconstruction[J].Journal of Xi’an Jiaotong University,2015,49(1):102-106.(in Chinese)

[13]M Pollefeys,R Koch,L Gool.Self-calibration and metric reconstruction in spite of varying and unknown internal camera parameters[J].International Journal of Computer Vision,1999,32(1):7-25.

彭亚丽女,1979年3月出生于陕西石泉，2005年在哈尔滨工程大学获得硕士学位，2013年在西安电子科技大学获得博士学位，现为陕西师范大学讲师.从事图像处理、智能计算等方面的有关研究.

E-mail：pengylxa@gmail.com

刘侍刚(通信作者)男,1973年11月出生于江西峡江，1997年和2001年在哈尔滨工程大学分别获得学士学位和硕士学位，2005年在西安电子科技大学获得博士学位，现为陕西师范大学副教授.从事计算机视觉、三维重建等方面的有关研究.

E-mail：shgliu@gmail.com

贲晛烨女,1983年12月出生于黑龙江省哈尔滨市，2006年和2010年在哈尔滨工程大学分别获得学士学位和博士学位，现为山东大学副教授.从事图像处理、模式识别等方面的研究.

E-mail：benxianyeye@163.com

汪西莉女,1969年6月出生于陕西西安，1991年在天津大学获得学士学位，1994年和2004年在西安电子科技大学分别获得硕士学位和博士学位，现为陕西师范大学教授.从事智能信息处理、图像处理与分析等方面的研究.

E-mail：wangxili@snnu.edu.cn

曹菡女,1963年7月出生于陕西西安，1986年和1989年在西北大学分别获得学士学位和硕士学位，2002年在武汉大学获得博士学位，现为陕西师范大学教授.从事并行计算与大数据处理方面的研究.E-mail：caohan@snnu.edu.cn

Linear Iteration Camera Self-calibration Method Based on Non-rigid

PENG Ya-li1,2，LIU Shi-gang2，BEN Xian-ye3，WANG Xi-li2，CAO Han2

(1.KeyLaboratoryofModernTeachingTechnology,MinistryofEducation,Xi’an，Shaanxi710062,China; 2.SchoolofComputerScience,ShaanxiNormalUniversity,Xi’an，Shaanxi710062,China; 3.SchoolofInformationScienceandEngineering,ShandongUniversity,Jinan，Shandong250100,China)

To calibrate the camera,a linear iteration camera self-calibration method based on non-rigid is presented in this paper.Assumed that the non-rigid is a linear combination of some shape basis,the projective reconstruct can be obtained by using the fact that the image matrix which consists of all the image points and all the depth factors is low rank.Then,the camera calibration can be linear iteration realized based on the camera constraints.The presented method can overcame the shortcoming that the existing self-calibration method can only deal with the rigid.The experiment results with both simulate and real data show that the presented method can efficiently realize the camera self-calibration.

non-rigid;self-calibration;factorization

2014-08-31;

2015-05-22；责任编辑：马兰英

国家自然科学基金(No.61402274，No.61571275，No.41471280，No.41171338,No.41271387，No.61501286)；陕西省工业科技攻关项目(No.2016GY-081);陕西省重点科技创新团队计划项目(No.2014KTC-18)；陕西师范大学中央高校基本科研业务费项目(No.GK201402040)；陕西师范大学学习科学交叉学科培育计划资助

TP391.41P232

A

0372-2112 (2016)05-1051-04

电子学报URL:http://www.ejournal.org.cn10.3969/j.issn.0372-2112.2016.05.006