一种针对车载全景系统的图像拼接算法的仿真

张宝龙李洪蕊 李 丹 戴凤智

（天津科技大学电子信息与自动化学院 天津 300222）

一种针对车载全景系统的图像拼接算法的仿真

张宝龙*李洪蕊 李 丹 戴凤智

（天津科技大学电子信息与自动化学院 天津 300222）

传统的全景图像拼接算法，多采用Harris角点的特征提取或尺度不变特征转换 （SIFT）的特征匹配算子的方式，对存在重合部分的图像进行图像拼接处理。但对于车载全景图像拼接算法而言，车身四周采集到的4幅鱼眼畸变图像，使用特征提取算子的方法进行的拼接，运算的复杂度高，效率低，不能满足车载设备的实时性要求。针对这一问题，该文提出一种专门应用在车载系统的车载全景图像拼接算法，并对其进行Matlab仿真，最大限度提高算法的运算效率，以满足车载系统实时性的要求，真实的反应路况信息，辅助驾驶员安全驾驶。

计算机视觉；图像拼接；车载全景；实时性；鱼眼图像

1 引言

近年来，随着计算机视觉的发展，全景图像被广泛应用在医学成像技术、遥感图像处理、虚拟现实世界和车载安全等方面［1］。尤其是车载安全方面，车载全景泊车系统因其为驾驶带来的全方位无死角的视觉体验而越来越受驾驶员的青睐，成为近年来新兴的技术发展方向。但是一台摄像机或一个摄像头的视角大小是有限的，为了获得无死角的全景图像，考虑将多个方向采集到的图像利用特定的算法拼接起来，以获得所需的全景图像［2］。

一般的图像拼接技术，是利用图像重叠部分的像素的相似性，将多副图像拼接成一幅大图像，使其最大程度的接近现实场景，减少图像的失真［3］。为此，经过国内外专家的大量研究，总结出图像拼接技术的过程包括图像预处理，特征提取，图像配准和图像融合技术等步骤，其中图像的特征提取最为关键，直接影响图像拼接的效果。图像的特征一般包括图像的角点，轮廓和一些不变矩等［4］。其中，角点具有计算量小、适应性强、精确度高、信息量丰富等优点，成为图像拼接技术的最常用特征。其中，Harris角点提取算法是基于角点的特征提取的常用方法，角点对应于图像中信息含量高的位置，相对于原图而言，使用角点进行摄像机标定、匹配和重建能够大大的提高精度［5］，但是在存在大量角点匹配的情况下，这种方法极大的降低了图像处理的速度，影响算法的运行效率。文献［6-9］中提出的基于尺度空间的尺度不变特征转换（Scale-Invariant Feature Transform， SIFT）的特征匹配方法，也是图像拼接的一种常用方法，较稳健地解决了不同摄像头、不同时间视角的图像配准，但是SIFT算法运算量大，当需同时处理4幅图像时，不能满足实时性视频图像拼接的要求［10］。以上两种方法都能实现全景图像的拼接，但对于车载全景图像拼接，需先将车身4周采集到的超广角鱼眼镜头的畸变图像进行畸变校正的变换，然后再将校正好的图像进行空间逆投影变换，最后待拼接的图像是基于两次非线性变换后的图像，再对其进行图像的特征提取，特征匹配。但经过两次非线性变换后的图像，其图像像素特征不能通过Harris或SIFT算子准确提取，提取出的特征混乱，将其拼接后的图像的质量很差，并且算法效率很低，完全不能满足车载系统的实时性的要求。为解决这一根本问题，本文提出了一种针对车载系统的全景图像拼接的特殊标定方法，在达到拼接图像的前提下，最大可能地提高程序的运行效率，满足车载系统的实时性要求。

2 车载全景图像拼接预处理步骤

为了实现车载全景图像拼接，可将算法的流程划分为6个部分：图像的采集、图像的预处理、鱼眼图像的畸变校正、具有透视效果的图像的空间逆投影变换、图像拼接和图像的融合，其算法的流程图，可表示为如图1所示。

2.1 图像采集和图像预处理

对于车载全景图像拼接，第1步是图像的采集，本实验图像的采集是使用视场角达到210°的超广角鱼眼镜头作为采集图像的摄像头。并对采集到的图像进行图像的预处理，尽量减少图像处理过程中由于光照，环境等条件，对图像拼接效果造成的影响。

2.2 图像畸变校正

由于本实验采用的是项目组自主研发的视场角达210°的超广角鱼眼镜头，镜头的各项参数如表1所示。

图1 车载全景图像拼接流程图

表1 镜头规格参数

极大的视场角造成图像的严重畸变，在进行图像的拼接之前，需要对其进行鱼眼镜头的畸变校正，其镜头模型及镜头的畸变曲线，如图2所示。

图2 鱼眼镜头及镜头畸变曲线

分析文献［11～13］，根据图2（b）的超广角鱼眼镜头的畸变曲线，使用最小二乘法对其进行曲线拟合，求出拟合的多项式系数，采用多项式坐标变换的畸变校正方法，推导出畸变校正的参数方程：

其中，Y为镜头畸变曲线值，θ为镜头视场角，e5， e4，e3， e2， e1， e0均为最小二乘法拟合出的参数。如图3所示，为鱼眼镜头畸变校正的效果图。

2.3 图像的空间逆投影变换［14］

安装在车身前后的摄像头受到安装位置的限制，光轴与地面存在一定角度，获取到的图像存在透视效果，而车载全景图像所呈现出的全景鸟瞰图从视觉效果上要求是90°的俯视效果，因此需要对车身前后采集到的图像进行逆投影变换，消除透视效果［15］。

图3 鱼眼镜头畸变校正效果图

传统的逆投影变换方法是利用从图像坐标系到世界坐标系的转换关系得到取出透视效果的图像［16］。根据小孔成像的模型可得到简化后的鱼眼镜头的成像模型，并将其分成X轴方向和Y轴方向分别建立坐标转换模型，如图4所示。

图4 世界坐标系与图像坐标系的坐标转换模型

图中，O点是摄像机的光心，矩形abcd是图像的成像平面，其对应的道路区域是梯形ABCD。在路面上任取一点P，设其坐标为（X，Y）， P点在图像中对应的点为P，设其坐标为（x，y），由简单的数学分析可得，坐标的转换公式为

其中，X，Y为世界坐标系中的坐标值，x， y为图像坐标系中的坐标值，h为摄像头的安装高度，H，W为图像的高度和宽度，α0， β0为摄像头的视场角，λ0为摄像头的俯仰角。如图5所示，为其逆投影变换的效果图。

图5 图像逆投影变换后效果图

3 改进的车载全景图像拼接

在进行图像拼接的过程中，必须要在相邻的两幅图像的重叠区域找到特征点或者特征信息来进行图像的拼接，但由于实验采用的是视场角达210°的超广角鱼眼镜头，相邻两幅图像的重叠区域很大，导致从待拼接的两幅图像中提取特征信息的计算量大，拼接速度慢，不能满足车载系统的实时性要求。基于这个问题，本文提出一种专门适应于车载系统的特殊标定方法（即基于菱形块特征点的图像拼接算法），来对图像进行拼接。

3.1 算法的原理

由于重叠区域大，特征信息多，且车载图像在拼接前会经过畸变校正和图像的逆投影变换两个非线性过程，使图像原本的特征信息发生严重的变化，造成使用SIFT算子或者Harris特征提取的方法获得图像的特征信息混乱，并且二者的算法计算量大，耗时时间长。分析上述的原因及可能带来的影响，表明在进行全景图像拼接之前需要考虑到图像特征信息的变化和算法的运算速率两个方面的影响因素。因此本文提出了一种能兼顾两种因素的图像拼接算法，主要的方法是在一个全黑色的环境下，在汽车的4个方位放上4个大小完全相同的白色菱形块，并且要保证4个菱形块所在的范围能够被鱼眼镜头采集到。故在采集图像前，需要对实验的环境进行特殊的设定，采用基于特征的图像配准算法，提取4个菱形块的4个顶点作为图像拼接算法的标定点，根据实际使用的4个菱形块的形状完全相同的这一特点，计算出菱形块的相对位置的两个点之间的长度，及与坐标轴之前相对的角度，在保证线段的长度和角度相等的情况下，以4幅处理好的待拼接图像中1幅图像为基准（本文采用的是前视图为标定基准），对图像进行图像的缩放和旋转的处理，最后将大小和旋转角度相同的图像，根据相对坐标的偏移量的不同，采用图像平移的算法，将4副图像拼接成一幅全景图像。通过使用这种基于菱形块特征点的图像拼接算法的标定方法，在满足特征点信息足够的前提下，对汽车周身4个方向的图像进行全景的拼接。

标定方法需按照以下步骤进行，取纯黑色棉布平铺在水平地面上，将汽车模型放在黑布中央，在汽车前后4个角，和汽车一定距离的地方放置4个大小相同的白色菱形布，保证短边对角线与车头、车尾平行，并将其固定在黑色棉布上，以防止其位置的不定性变化，且要保证4个白色菱形块都能进入到4个方向摄像头的视野范围内。特殊标定环境获得的4幅图像的方法可简化表示为图6所示。

图6 车载全景图像拼接标定示意图

根据以上参数对图像进行缩放和旋转的处理，将待拼接的两幅图像处理成相同方向上的角度和大小都相同的图像，在使用图像上的特定点进行图像的拼接。

首先根据图像中A，B和A'， B'之间的关系，先对图像的X方向和Y方向分别进行缩放，按照式（7）所示，使图像在两个方向上的大小相同。

最后得到处理好的待拼接图像，将其按照待拼接图像A和A'的坐标点在拼接图像的坐标对应相同的原理，将两幅图放在大的图像模板上，以该模板为基准建立坐标系，将前视图顺时针旋转90°，并将其固定在坐标系最左端，作为图像拼接的基准，通过图像平移的方式，将左视图上的菱形块上与前视图菱形块上位置相同的点进行相对坐标的计算，按照计算出的相对坐标的偏移量的数值对左视图进行平移，至两点完全重合为止，最后将两幅图像拼接成一幅不存在重合区域的完整的图像。采用上述方法先将前视图，与左右视图拼接完成后，将拼接好的3个视图的图像作为一个整体最后再和后视图进行拼接。图7，是记录使用Matlab仿真车载全景图像拼接的过程及最终拼接出的全景鸟瞰图。

图7 车载全景图像拼接过程示意图

最后，将该算法移植到DSP系统上运行，其实时性能达到每秒25帧的运行效率。系统屏幕显示截图效果如图8所示。

4 结束语

利用改进的车载全景图像拼接的算法，在图像拼接的精准度上可能会比SIFT算子和Harris角点特征提取的方法稍差，但是车载系统上，对实时性要求很高，故这种采用简单的图像几何变换的操作，可以满足精确度在接受范围内的情况下，最大可能性地提高算法的运行效率，以达到车载系统的实时性要求。以便在行车过程中为驾驶员提供一定程度上的视觉定位，在保证安全的情况下，辅助驾驶员安全驾驶。此外，使用简单的标定设备，降低对标定场地，标定设备等的严格要求，弥补了标定复杂度高的缺点，更具有实际的应用前景和意义，方便车厂的大批量标定操作。

图8 DSP系统屏幕截图效果

［1］ 王俊杰， 刘家茂， 胡运发等. 图像拼接技术［J］. 计算机科学，2003， 30（6）: 141-144. Wang Jun-jie， Liu Jia-m ao， Hu Yun-fa， et al.. Im age m osaic technology［J］. Com puter Science， 2003， 30（6）: 141-144.

［2］ 李军， 吴洁明. 一种改进图像拼接算法的仿真研究［J］. 计算机仿真， 2012， 29（2）: 273-313. Li Jun and Wu Jie-m ing. Simulation study of an im proved image stitching algorithm［J］. Computer Simulation， 2012，29（2）: 273-313.

［3］ 封靖波， 苏志勋， 刘秀平. 一种基于相似趋向的全景图自动拼接算法［J］. 计算机学报， 2003， 26（11）: 1604-1608. Feng Jing-bo， Su Zhi-xun， and Liu Xiu-ping. A sim ilar trend panorama stitching algorithm based on automatic［J］. Chinese Journal of Computers， 2003， 26（11）: 1604-1608.

［4］ 吴乐富， 丁广太. 基于区域的图像拼接算法［J］. 计算机工程与设计， 2010， 31（18）: 4044-4050. Wu Le-fu and Ding Guang-tai. Image stitching algorithm based on region［J］. Computer Engineering and Design， 2010，31（18）: 4044-4050.

［5］ 郭晓晶. 图像角点检测方法的研究［D］. ［硕士论文］， 青岛大学，2009. Guo Xiao-jing. Research on im age corner detection method［D］. ［ Master dissertation］， Qingdao University， 2009.

［6］ 邓朝省， 陈莹. 基于局部SIFT特征点的双阈值配准算法［J］.计算机工程与应用， 2014， 50（2）: 189-193. Deng Chao-sheng and Chen Ying. Dual-threshold matching algorithm based on local SIFT feature points［J］. Computer Engineering and Applications， 2014， 50（2）: 189-193.

［7］ 张朝伟， 周焰， 吴思励， 等. 基于SIFT特征匹配的监控图像自动拼接［J］. 计算机应用， 2008， 28（1）: 191-194. Zhang Chao-wei， Zhou Yan， Wu Si-li， et al.. Monitoring based on SIFT feature m atch ing Autom atic Im age Stitching［J］. Journal of Com puter Applications， 2008， 28（1）: 191-194.

［8］ Lowe D G. Ob ject recognition from local scale invariant features［C］. Proceedings of the Seventh International Con ference on Com puter Vision （ICCV9）， Am sterdam: Corfu，1999: 1150-1157.

［9］ Lowe D G. Distinctive image features from scale-invariant key-points［J］. International Journal of Computer Vision，2004， 60（2）: 91-110.

［10］ 何宾， 陶丹， 彭勃. 高实时性F-SIFT图像拼接算法［J］. 红外与激光工程， 2013， 42（S2）: 440-444. He Bin， Tao Dan， and Peng Bo. High real F-SIFT image stitching algorithm［J］. Infrared and Laser Engineering， 2013，42（S2）: 440-444.

［11］ 黄岩岩， 李庆， 张斌珍. 鱼眼畸变棋盘格图像校正［J］. 计算机工程与应用， 2014， 50（12）: 111-114. Huang Yan-yan， Li Qing， and Zhang Bin-zhen. Checkerboard distortion fisheye image correction［J］. Computer Engineering and Applications， 2014， 50（12）: 111-114.

［12］ 李根， 费章君， 杨仕友. 基于几何成像模型的鱼眼镜头图像校正算法和技术研究［J］. 机电工程， 2013， 30（10）: 1268-1272. Li Gen， Fei Zhang-jun， and Yang Shi-you. Geom etric im aging m odel is based on a fish-eye correction algorithm and technology research head image［J］. Journal of Mechanical & Electrical Engineering， 2013， 30（10）: 1268-1272.

［13］ 王永仲. 鱼眼镜头光学［M］. 北京: 科学出版社， 2006: 26-61. W ang Yong-zhong. Fisheye Optics［M］. Beijing: Science Press，2006: 26-61.

［14］ 贾立山， 罗剑， 李世其. 基于车道线直线模型的道路曲率估计方法［J］. 江苏大学学报， 2012， 33（4）: 373-378. Jia Li-shan， Luo Jian， and Li Shi-qi. Estimated lane road curvature method based on linear models［J］. Journal of Jiangsu University （Natural Science Edition）， 2012， 33（4）: 373-378.

［15］ 赵凯. 全景可视化辅助泊车系统研究［D］. ［硕士论文］， 合肥工业大学， 2011. Zhao Kai. Panoramic visualization research auxiliary parking system［D］. ［Master dissertation］， Hefei University of Technology， 2011.

［16］ 郭磊， 李克强， 马莹， 等. 基于定向二维插值的逆投影变换方法［J］. 清华大学学报（自然科学版）， 2006， 46（5）: 712-715. Guo Lei， Li Ke-Qiang， Ma Ying， et al.. Based on a twodimensional inverse p rojection transform ation directional interpolation method［J］. Journal of Tsinghua University（Science and Technology）， 2006， 46（5）: 712-715.

张宝龙： 男，1976年生，教授，硕士生导师，研究方向为现代显示技术等.

李洪蕊： 女，1990年生，硕士生，研究方向为计算机图像处理.

李 丹： 女，1977年生，副教授，硕士生导师，研究方向为成像光学及非成像光学设计等.

戴凤智： 男，1971年生，副教授，硕士生导师，研究方向为控制理论与控制工程、模式识别与智能系统等方向的研究.

A Simulation of Image M osaic A lgorithm Based on Vehicle Panorama System

Zhang Bao-long Li Hong-rui Li Dan Dai Feng-zhi
（College of Electronic Information and Automation， Tianjin University of Science and Technology， Tianjin 300222， China）

For the mosaic algorithm of traditional panoram ic image， the Harris corner extraction or the Scale-Invariant Feature Transform （SIFT） feature matching are the most commonly used methods for resolving the parts of im age overlap. But for the vehicle panoram ic image m osaic algorithm， fou r images of fisheye distortion around a car are spliced by the algorithm of feature extraction. The algorithm has high com putational com plexity，low efficiency and is not able to satisfy the real-time requirements of vehicle equipment. Aim ing at this problem， a mosaic algorithm for the panoram ic images specially used in the vehicle system is proposed and simulated in matlab. The resu lt is to maxim ize the efficiency of the algorithm and meet the requirements of real-time for the vehicle system. It can be achieved that the real traffic in formation is disp layed for protecting the safety of the driver.

Com pu ter vision； Image mosaic； Vehicle panoram ic； Real-tim e； Fisheye image

TP391.4

： A

：1009-5896（2015）05-1149-05

10.11999/JEIT 141185

2014-09-10收到，2014-11-25改回

天津市科技支撑计划（13ZCZDGX 03000）资助课题*通信作者：张宝龙 eezbl@tust.edu.cn