车载鱼眼相机的间接法全景影像拼接

曹 君，洪 勇

（1.武汉城市职业学院，湖北 武汉 430064；2.立得空间信息技术股份有限公司，湖北 武汉 430070）

车载鱼眼相机的间接法全景影像拼接

曹 君1,2，洪 勇2

（1.武汉城市职业学院，湖北 武汉 430064；2.立得空间信息技术股份有限公司，湖北 武汉 430070）

提出了一种车载鱼眼相机的间接法全景影像拼接方法，由拼接后全景影像上的像点坐标出发反求其在原始图像上的像点坐标，从而解决拼接所得全景影像像点非规则排列问题。通过实验发现，采用该方法得到的全景影像画面清晰、成像质量明显提高，证实了该方法进行车载鱼眼影像全景拼接的可靠性。

鱼眼相机；间接法；全景影像拼接

近年来，街景地图作为一种全新的实景地图服务模式，能为用户提供城市、街道或其他环境360°全景影像，给用户带来身临其境的感受[1]，从而得到国内多家图商和互联网企业的青睐。目前，考虑到地图连续性、成像视场角、影像分辨率等因素，街景地图采集主要是通过车载多视点组合式鱼眼全景相机获取。然而，受数据量大、成像模式等方面限制，如何通过序列鱼眼相机数据实现全景影像快速无缝拼接，一直是困扰各大数据生产商的问题。

基于上述前提，本文对车载鱼眼相机的全景影像拼接模型进行了推演，针对直接法全景影像拼接存在部分像元素内可能出现“空白”（无像点），而有的像元素可能出现重复（多个像点）问题提出了一种间接全景影像拼接方法[2]，即由拼接后全景影像上像点坐标出发反求其在原始影像上的像点坐标，从而解决拼接影像像点非规则排列问题。

1 间接法全景影像拼接

由于现有全景相机由多个光心位置、不同焦距、不同独立鱼眼相机组合而成，直接从全景影像像素坐标获取其对应原始鱼眼影像上的像素坐标G（srcx，srcy）较为复杂，因此，本文对该转换过程进行了细化，分如下几步进行：

1）全景像素坐标系P（dstx, dsty） 到全景球面坐标系PO（θ，φ）。全景像素坐标系到全景球面坐标系间的投影关系如图1所示。

对全景影像上任意一点P（dstx，dsty）在全景球上对应的坐标PO可通过球面上的点与X轴夹角φ、与XOY平面的夹角θ来表示，其转换关系如下：

式中，imgW、imgH分别表示全景影像的宽度和高度。

图1 全景像素坐标系到全景球面坐标系

2）全景球面坐标系PO（θ，φ）到单个相机平面坐标系 PC（u，v）。受鱼眼影像失真和变形较大的影响，在获得像点在全景球面坐标系上的坐标后，不能直接将其对应到单个鱼眼相机坐标系中，要先将其转化为理想的平面坐标系[3]。全景球面坐标系到单个相机平面坐标系之间的变换关系如图2所示。

图2 全景球面坐标系到单个相机平面坐标系

由于全景球面中心O与各相机摄影中心C并非严格位于同一几何中心，因此，在解算全景球面坐标PO（θ，φ）与相机平面坐标 PC（u，v）之间变换关系时，往往先假定某一物方距离D来解算球面点对应物方点PG的坐标值：

式中，（XO，YO，ZO）为全景球中心坐标，全景球面坐标系往往以该中心为原点，且该坐标一般为（0，0，0）。依据共线条件方程求解该点在相机平面坐标系中的坐标值 ：

式中，（XC，YC，ZC）为事先通过高精度检校得到的单个相机在全景球坐标系下的坐标；a1，a2，…c3为检校得到的单个相机在全景球坐标系中的旋转向量。

3）相机平面坐标系PC（u，v）到原始鱼眼影像坐标系PF（xF，yF）。在事先获得鱼眼相机畸变系数前提下，可根据鱼眼相机球面坐标解算其对应的相机平面坐标，但由于影像从球面转为平面后，影像尺寸大幅度拉伸，因此，采用此方法获得的平面影像往往存在大量“黑洞”。为弥补这一不足，可首先根据相机平面坐标值获取其向径值及切向角再对鱼眼相机通用畸变校正模型的反函数进行多项式拟合[4]，得到相机平面坐标向径rC与鱼眼相机球面坐标向径rF的对应关系：

式中，p1，p2，…，pn+1为对检校所得畸变函数进行反函数拟合得到的多项式系数。解算其对应的原始鱼眼影像坐标系下的坐标值：

4）灰度内插与赋值。经过上述3个步骤计算后，即可获得目标全景影像上各像点对应原始鱼眼影像上的像点坐标，但由于求得的像点坐标不一定正好落在像元素中心，因此需要进行灰度内插，一般采用双线性内插方法，求得像点PF的灰度值g（xF，yF）并将其赋值给全景影像上的像元素P的灰度G（dstx，dsty）：

2 实验结果及分析

为验证算法的有效性，本文以立得空间公司生产的全景影像采集系统LeadorHD为实验设备，进行了多组全景影像生产实验。该设备由6个独立相机组成，分别搭载焦距为8 mm的鱼眼镜头，其中5个环绕一周水平安置，另一个朝上，用于拍摄天顶方向影像，如图3所示。

图3 LeadorHD全景影像采集系统示意图

按本文算法流程对该设备采集的鱼眼影像进行全景拼接处理，并与直接法拼接效果进行对比，结果分别如图4和图5所示。

图4 直接法全景影像拼接效果

图5 间接法全景影像拼接效果

从图中可以看出，采用直接法进行拼接得到的全景影像成像模糊且存在大量“黑洞”；而采用间接法进行拼接则有效地避免了这一问题，全景影像画面清晰、成像质量明显提高，由此，证明了本文算法的有效性。

3 结 语

针对车载鱼眼相机全景影像拼接的需求，对间接法鱼眼相机的全景影像拼接模型进行了推演，该方法由拼接后全景影像上的像点坐标出发反求原始影像上的像点坐标，并进行灰度赋值，能够有效地解决直接法全景影像拼接过程中因像幅大幅度拉伸变形而产生的像点“空白”等问题，并通过实验验证了该方法的有效性与优越性。参考文献

[1] 周璞.街景地图引领位置服务新方向[EB/OL].[2015-08-10]. http://soft.zol.com.cn/284/2841579_all.html

[2] 张剑清,潘励,王树根.摄影测量学[M].武汉:武汉大学出版社,2009

[3] 季顺平,史云.车载全景相机的影像匹配和光束法平差[J].测绘学报,2013,42(1):94-100

[4] 冯文灏.近景摄影测量[M].武汉:武汉大学出版社,2002

[5] 崔汉国,陈军,王大宇.鱼眼图像校正及拼接的研究与实现[J].计算机工程,2007,33(10):190-192

[6] 续园园,李晓明.一种通用的鱼眼图像全景拼接方法[J].太原师范大学学报,2011,10(1):20-23

[7] 杨恒.鱼眼图像拼接的研究与实现[D].武汉:武汉理工大学,2013

P235

B

1672-4623（2016）10-0073-02

10.3969/j.issn.1672-4623.2016.10.021

曹君，硕士研究生，主要研究方向为移动测量技术。

2015-08-14。

项目来源：国家高技术研究发展计划资助项目（2015AA124001）；测绘地理信息公益性行业科研专项资助项目（201512008）。