王自然
摘要:针对包含已知直径的单个圆形与一组平行线平面的场景,利用灭点和直径的对极关系,计算平面的一个灭点,然后根据另外一组平行线计算另外一个灭点,进而获得平面灭线,然后根据圆形的各项同性性质,求解图像与现实之间的对应矩阵,进而实现对平面的度量矫正。
关键词:圆形;灭点;灭线;度量恢复
中图分类号:TP391 文献标识码:A 文章编号:1009-3044(2015)31-0207-03
Plane Rectification Using Circle and A Set of Parallel Lines
WANG Zi-ran
(Nanjing Normal University Taizhou College, Taizhou 225300, China)
Abstract:A method for plane rectification from a scene with a circle and a set of parallel lines is proposed. Rectification homography can be used to back-project the ellipse in the image to a circle. Firstly, a vanishing point can be determined from a set of parallel lines. Another vanishing point is estimated by the relationship between diameter and vanishing point. Consequently the vanishing line is determined by the two vanishing points. After that the homography can be obtained from the vanishing line and the image of the circle. Once the homography is determined the image of the circle is back-projected to an ellipse. Based on the homography the plane can be rectified. If there is a known length of a line segment in the image, other geometric information also can be computed. Experimental results demonstrate the approachs efficacy.
Key words:circle; vanishing point; vanishing line; metric rectification
1 概述
现实中的平面经过摄像机映射之后,在图像中发现变形,使得一些几何关系不再保持,如平行直线不在平行而是汇聚于一点,圆形对象变为椭圆,通过度量矫正可使其变回原有的形态,将图像恢复到与现实对象相差一个相似变换,在已知度量信息的辅助下,还可实现图像中对象的几何量测。通过对应点(线)恢复平面与图像之间的单应矩阵可实现平面度量矫正,在没有对应点(线)的情况,可通过直接或分层的方法恢复平面度量性质,无论何种方法都需要利用图像中的几何特征,计算图像平面的灭线。
直线、圆形特征是自然场景中常见的几何特征,常被用来计算图像中的灭点、灭线信息,且通常分开使用,即利用多于两组平行线组计算各组的灭点,再利用所求的多个灭点确定一条灭线;而在多个圆形(大于等于2个)存在的场景下,通常首先获取虚圆点的像,再由这其计算平面的灭线。也有部分研究首先计算获取圆形经过映射后的圆心,然后根据对极关系计算平面灭线。这些方法或是仅仅利用两组以上平行直线组,或是仅仅利用多个圆形特征,但在有些情况下,场景中仅仅包含一个圆形和一组平行线,不具备直接求得平面灭线的充分条件。本文针对这一场景,本文利用对极关系以及圆形的各项同性性质,实现图像的度量矫正。
本文的结构安排如下:第2节介绍相关的理论基础与已有研究;第3节介绍基于一个圆形与一组平行线组的度量矫正方法的原理;第4节对本文方法进行测试分析与讨论;第5节是对本文所做工作的总结。
2 理论基础
在射影几何中,两条平行线交于一个灭点vp,如公式(1)所示,当有多条平行线存在时还可用最小二乘法求出最优灭点。
[vp=l1×l2] (1)
同时,在射影几何中,椭圆方程表示成一般形式:
[Ax2+Bxy+Cy2+Dx+Ey+F=0] (2)
其中,x,y分别为椭圆上一点的x轴和y轴坐标。使x=x1/x3、y=x2/x3(其中,x3不为0),可将式(2)齐次化表示为:
[Ax21+Bx1x2+Cx22+Dx1x3+Ex2x3+Fx23=0] (3)
或表示成矩阵形式:
[xTCx=0] (4)
其中[x=x1x2x3T],椭圆系数矩阵C为:
[C=AB2D2B2CE2D2E2F] (5)
圆形经过映射后变为椭圆,但圆形圆心经过映射后并不与椭圆的圆心重合,所幸圆形圆心经过映射后的点PC与其所在平面的灭线vl关于圆形映射后的椭圆C形成一组对极关系,如公式(6)所示,即在椭圆方程确定的情况,已知圆心PC可获得灭线vl,反之亦然。同时,圆形(在图像中为椭圆)的直径与灭点也对极关系,即公式(6)中,vl替换为圆形的直径,而pc则替换为灭点。
[vl=C*pc] (6)
“虚圆点”是每一个圆周与灭线相交的一对共轭复数点, [I=(1,i,0)T],[J=(1,-i,0)T],虚圆点经过映射的像mI、mJ,仍然是一对共轭复数,可由图像平面的灭线与椭圆所确定二次方程求解获得,如式(7)所示,f1为灭线方程,f2为椭圆方程,mI、mJ可由方程的解确定。
[mI,mJ=solve(f1,f2)] (7)
现实平面和图像平面之间的映射是一种射影变换,用单应矩阵H表示,可分解为一串变换链的复合:
[H=HSHAHP=sRt0T11β-αβ0010001100010l1l2l3] (8)
其中,HS、HA、HP分别为相似变换、仿射变换和射影变换。HP与灭线vl=(l1,l2,l3) T相关;HA与虚圆点有关,而与灭线无关;HS为一般的相似变换,它不影响仿射及射影性质,当单应矩阵恢复到相似变换层次,矫正后的图像与实际对象只相差一个比例因子s,而与相似变换中的旋转R和平移t无关。
综上所述,当平面中包含圆形时,只需要计算出平面的灭线,以及圆形即可进行平面的度量恢复,因为一旦灭线和圆形已知,虚圆点即可根据公式(7)获得。
3 原理与方法
3.1 平面灭线确定
在射影几何中,一组平行线交于一个灭点,一个平面只有一条灭线,平面上所有平行线组的交点必然在这条灭线上,因此可由两个或多个灭点确定平面的灭线。当只有一组平行线时仅可确定灭线上的一点,然而至少两点确定一条直线,则需要补充其他条件来确定这条灭线。
当平面中存在圆形的特征时,圆形的直径和平面的灭点存在对极关系,可用公式(6)计算另外一个灭点。
图1 包含圆形的场景
3.2 度量恢复
在欧式空间中,圆形具有各向同性的特性,其半径在各个方向上相等,但经过映射后,其在射影空间中半径各向相异,如图1所示,在包含一对垂直直径的平面上,可以圆心的圆心作为坐标原点,分别以两个垂直方向作为x轴与y轴,在圆形半径未知的情况下,可将其半径作为单位长度1来计算,则点P1、P3、P2、P4的坐标分别为(-1,0)(1,0)(0,-1)(0,1);在其对应的图像中,当灭线确定之后,根据公式(6)计算圆形圆心经过映射后的像pc,过pc取一条直径r1,r1与椭圆交与两点p1,p2,此条直径所在直线的灭点可根据公式(9)计算获得,而与此灭点关于椭圆对极的直线即为与r1垂直的另外一条过直径的直线,记作r2, r2與椭圆的交点分别为p3,p4,四个点p1,p3,p2,p4的图像坐标可通过计算获得。
[vp1=r1×vl] (9)
[r2=C-1*vl] (10)
根据图像点与平面中自定义坐标系中的对应点之间的对应关系,利用直接线性变换(DLT)计算其单应矩阵H,利用单应矩阵可以将图像逆映射为相差一个缩放因子的图像。
4 测试与分析
本部分实验计算在Matlab环境下通过编程实现,以人机交互的形式提取图像中多条直线。针对场景图像中的椭圆和直线,首先手工提取尽可能多的边缘点,然后采用最小二乘法对椭圆和直线进行拟合。
4.1 实验数据与结果
本节选用了两幅包含圆形和一组平行线的图像,分别如图2和图3所示。图2中选用黑色圆环的外环作为已知信息,获取其中一条直径,并以其左下角的矩形的一组边作为已知平行线段,其恢复后的图像如图2右图所示,左图中的椭圆被恢复为圆形。图3中为常见的运动场,选择场地中间的圆形为已知对象,已知其一条直径,以场地中其他的边作为已知的平行线段,恢复后的图像如图3右图所示。
[
图2 合成测试图
[
图3 真实场景测试图
4.2 分析
由图1可看出,圆形映射后的直径r1与灭点vp1关于圆形映射后的椭圆存在对极关系,而垂直于直径r1的一组平行线也交于灭点vp1,因此,一条圆形的直径与垂直于此条直线的平行线关于圆形对等,两者确定同一灭点。换而言之,若图像存在具有一条直径的圆形以及一组不与此直径垂直的平行线组,则等同于一个圆形包含两条直径,两条直径的交点即为圆形的圆心,由此可确定平面的灭线。
本文方法需要已知一个圆形,此圆形具有一条直径,以及一组平行线,即可将当前平面恢复到与真实平面相差一个比例因子的层次,只要在平面上已知一个度量信息即可将平面恢复到真实情况。
在实验数据中,包含很多可以求解灭线的几何信息,而在实际场景中由于拍摄的角度等差别,可能无法获得如此多的几何信息,如真实的球场图像中,可能只包含球场中间的圆形,已经另外一组平行线,利用本文方法即可满足恢复需求。
5 结论
本文提出了一种基于平面中一个圆形(包含一条直径)与一组平行线组的灭线求解方法,在确定灭线的基础上,可对图像进行度量矫正,恢复后的图像与现实场景相差一个缩放因子。若图像中圆形的直径尺寸已知,则可进一步对图像中的对象进行几何量测。实验证明了本算法的可行性。
参考文献:
[1] 王光辉,胡占义. 基于平行线的单视平面测量方法[P]. 中国专利,01140336.5, 2006-12-6
[2] 王美珍,刘学军,甄艳,等. 包含圆形的单幅图像距离量测[J]. 武汉大学学报信息科学版,2012, 37(3):348-353.
[3] 李立冬,刘教民. 单目视图下相机标定和平面测距研究[J]. 河北科技大学学报,2005,26(1):47-50.
[4] Zhong H., Mai F., and Hung Y. S.; Camera calibration using circle and right angles[C],” in Proc. of ICPR06, 2006: 646-649.
[5] Marr. 视觉计算理论[M]. 姚国正,译.北京:科学出版社,1988.
[6] 王美珍. 单幅图像中地物目标几何量测研究[D]. 南京:南京师范大学,2011.
[7] Huang F R, Hu Z Y, Wu Y H.A new method on single view metrology[J]. Acta Automatica Sinica, 2004, 30(4): 487-495.
[8] Guo F. Plane Rectification Using a Circle and Points from a Single View[C]. in Proc. of ICPR06, 2006, page(s): 9-12.
[9] Criminisi A.Accurate visual metrology from single and multiple uncalibrated images[D]. Berlin: Springer-Verlag, 2001.