基于参考点配准法的全景泊车系统研究*

杨 刚， 臧春华， 李仲年

(南京航空航天大学 电子信息工程学院，江苏 南京 211106)

基于参考点配准法的全景泊车系统研究*

杨 刚， 臧春华， 李仲年

(南京航空航天大学电子信息工程学院，江苏南京211106)

为了提高驾驶行车的安全性，研究并改进了一种全景泊车系统，由鱼眼摄像头，图像处理单元和显示器三大部分组成。鱼眼摄像头采集汽车四周的超广角图像；在OpenCV环境下通过鱼眼摄像头标定，桶型矫正和图像的透视变换技术形成汽车前后左右的4幅平面俯视图；提出了一种参考点配准的方法，可以根据平面俯视图得到汽车的360°全景图像，并在显示器上显示。与特征点匹配法相比，参考点配准方法受环境的影响很小且对硬件性能要求较低，因此，更适用于嵌入式系统实现。

全景泊车系统； 鱼眼摄像头； OpenCV； 透视变换； 平面俯视图； 参考点配准

0 引 言

在日益复杂的城市交通中，汽车在泊车等低速行驶时的视野盲区问题一直是困扰广大驾驶员的问题。全景泊车技术指通过以一定角度安装在汽车四周的摄像头采集图像，再经过鱼眼矫正和图像拼接实时地将全景图像传送至显示器上，使驾驶员可以看到汽车四周的路面情况[1]。图像拼接作为全景泊车系统核心技术一直是研究的难点。传统的拼接方法多是基于特征值提取的方法[2]，对图像质量要求较高，提取成功率与光照环境有关，在光照较弱时，成功率很低；同时，该方法对处理器的运算要求较高。

本文提出了一种基于参考点配准的方法进行图像拼接，方法受环境的影响很小，在不同光照强度下配准成功率均很高，而且，对处理器性能的要求更低，更加适用于嵌入式系统的实现。本文将该方法用于全景泊车系统中，设计了一种基于参考点配准法的全景泊车系统，实现了汽车四周全景图的生成，并通过实验进行了验证。

1 360°全景泊车原理

360°全景泊车是一种使用多视点图像组合的方法：利用广角摄像头的大角度视角，在汽车的某一面采集一幅图像即可获得汽车该面的所有信息，从而汽车四周的视野可以被4幅图像无死角地采集到；由于采集到的原始图像存在着图像畸变，需要进行相应的处理，包括：对原始广角图像进行标定和矫正，由于摄像头有安装角度，矫正后的图像存在线性失真的问题，所以需要利用标定板对图像进行角点的提取和透视变换，再利用参考点匹配的方法对图像进行拼接；最后拼接得到360°全景图[3]。整个系统流程如图1所示。

图1 全景泊车系统流程

2 鱼眼摄像头参数标定和图像去畸变

2.1 鱼眼摄像头参数标定

全景泊车系统在图像拼接时要求4幅图像包括车四周所有的区域且图像之间存在一定的共同区域，鱼眼摄像头具有超广角的特性，其成像视场角能达到180°甚至更大，在汽车四周安装鱼眼摄像头，可以保证图像具有足够的视野和重叠区域[4～6]。但是，鱼眼摄像头存在着严重的桶形畸变，在拼接前需要对其进行标定，得到线性特性的图像。采用张正友标定法对鱼眼图像进行标定，视图通过透视变换将三维空间中的点投影到图像平面[7]。投影如式(1)所示

(1)

(2)

进一步表示为

(3)

H=[h1h2h3]

(4)

利用非线性最小二乘法来求解H的最大似然估计，则有[h1h2h3]=λA[r1r2t]。其中，λ为一常数因子，每幅图像均能获得如下对内部参数矩阵的约束条件

(5)

据此求出鱼眼摄像机的内参阵A和畸变系数[8～10]。

基于OpenCV,求解鱼眼相机内部参数步骤如下：

1)根据式(1)编写基于OpenCV的鱼眼摄像头标定C++程序；

2)将一幅7×8的棋盘图平整地放在鱼眼摄像头前方，保证棋盘图的有效区域能被鱼眼摄像头接收到。采集图像输入到OpenCV标定程序内；

3)用寻找角点函数找出棋盘图中56个角点，将坐标保存到C++容器中；

4)将棋盘图旋转一定角度和姿态，再次执行步骤(2)、步骤(3)的操作，重复20次，以获得较好效果的相机参数值；

5)将上述多次得到的角点坐标送入标定程序的参数计算模块，计算得到相机内外参数和畸变系数。

2.2 图像去畸变

在获得4幅鱼眼相机的图片和相机的内部参数以及畸变系数后，即可将广角图像变换为具有透视特性的图像，这时图像只存在线性失真，利于接下来的透视变换和固定参考点的图像配准。将式(1)化简可得

(6)

(7)

式中x′=x/y；y′=y/z；r2=x′2+y′2；k1，k2为径向形变系数，p1和p2为切向形变系数。根据已知的定标模式，从几个角度拍摄若干已知角点的照片(u，v)可以计算出鱼眼相机的内部参数和外部参数[11，12]。图2、图3为鱼眼广角图像和矫正畸变后的图像。

图2 矫正前鱼眼图像

图3 矫正后鱼眼图像

如图2和图3所示，矫正前，图像存在明显的桶型畸变，而经过矫正后，图像棋盘格可以看出只存在线性透视失真，为下一步透视变换提供条件[13～15]。

3 基于参考点配准法的图像拼接

3.1 透视变换原理

可以通过透视变换来处理图像图3所示的线性失真，将图像从所在平面线性地投影到另一个平面。即将图3中标准的棋盘方格投影到新的俯视平面，使方格的大小和位置变为原来的方格的大小和位置

(8)

式中H为变换矩阵；x=x′/w′;y=y′/w′。基于这种原理可以将四边形变换到标准矩形。

3.2 透视变换与图像拼接

传统的图像拼接方法[16]过于复杂，对设备和环境要求较高，在光线较弱等不利条件下，很容易出现找不到足够特征点的情况，无法完成拼接。

因此，本文提出了一种基于参考点配准的方法，原理是构建4幅相对位置固定的参考点群，如图4所示。汽车每个方向都有一张标准参考点图且各相对位置已知，设H1,H2,H3,H4分别为4个方向上原始图像向最终合成图的变换矩阵。系统初始化时通过角点查找[17]，在图3中找到各棋盘图的对应角点，计算出对应实际棋盘图的变换矩阵。再将各图像代入式(8),则可以恢复全景图像的场景，也可以将透视变换和图像配准集成在一个步骤中完成，且拼接的标定过程只需要在使用前标定一次。方法无需在图像中重复提取特征点，同时,当图像颜色，质量受到影响时,基于参考点配准也不影响最终图像的配准，具有很好的适应性。

图4 固定位置标定板示意

基于参考点配准的图像拼接可以归纳为以下步骤：

1)铺设好4合1标定板，标定板间的位置信息事先存入处理器，再将待标定汽车置于图4汽车位置，在汽车的四周架设好鱼眼摄像头，使摄像头画面有效地覆盖棋盘图。

2)前后左右各拍摄一幅图像，按鱼眼矫正程序矫正图像，得到有透视效果的图像，如图3所示。

3)用OpenCV进行角点查找，找到棋盘图的矩形角点(矩形角点在透视图中呈现出梯形形状)，并存储起来，结合式(8)透视变换原理求出H1,H2,H3,H4。

4)根据H1，H2，H3，H4将4幅透视图变换到最终的合成图上，过程中需要为每幅图设计一个图像掩，膜防止图像交叉重叠。

变换效果如图5所示，中间区域为车体。

图5 全景透视变换配准后效果

由图5可以看出生成的全景泊车图的效果良好，可以将汽车四周的场景以俯视全景图的形式再现。为了论证基于参考点配准方法的高成功率，将基于SIFT特征点匹配的方法与本文方法进行了对比实验，将两幅重复度不同的图像分别使用2种方法拼接，并调节重复区域百分比。实验结果如图6所示。

图6 基于参考点配准与特征点配准效果对比

实验表明:只要保证待拼接图中存在参考角点，则参考点配准的方法成功率很高，适用于实际嵌入式系统。

4 结 论

针对当前道路交通中驾驶员遇到的泊车难问题，本文研究并改进了一种适用于嵌入式系统实现的全景泊车系统。针对一般特征点匹配方法在全景泊车系统中存在一些不足，提出了一种基于参考点配准的图像拼接方法，并通过OpenCV设计了系统平台进行验证。实验结果表明：基于参考点配准的拼接方法对环境光线适应力强，不需要大面积的重叠区域即可完成全景图的生成，且易于嵌入式系统实现。本系统可以帮助驾驶员轻松安全泊车。

[1] 赵伟军，顾新艳，姜庆标，等.起伏目标检测的应用研究[J].现代雷达，2015,37(6)：32-36.

[2] 李 楠.基于DSP的多路图像采集系统[D].保定:河北大学,2009.

[3] 陈显毅.图像配准技术及其 Matlab 编程实现[M].北京:电子工业出版社,2009.

[4] 芦 博.基于DSP的视频动态跟踪研究[D].武汉:武汉理工大学,2008.

[5] 涂晓昱.基于DSP的通用实时图像处理系统设计与研究[D].杭州：浙江大学,2004.

[6] Milna S,Vaclav H,Roger B.图像处理、分析与机器视觉[M].3版.北京:清华大学出版社,2011.

[7] 杨梦雯,李宝明,陈付亮,等.基于DSP的图像去雾算法优化方法[J].传感器与微系统,2016,35(6):136-138.

[8] 张铖伟,王 彪,徐贵力.摄像机标定方法研究[J].计算机技术与发展,2010,20(11):174-179.

[9] 陈 铎.摄像机标定方法研究与实现[D].沈阳:东北大学,2008.

[10] 茂 林,马颂德,李 毅.计算机视觉中摄像机定标综述[J].自动化学报,2001,26(1):43-55.

[11] Scaramuzza D,Martinelli A,Siegwart R.A flexible technique for accurate omnidirectional camera calibration and structure from motion[C]∥IEEE International Conference of Computer Vision Systems,2006:45-53.

[12] 李 彬,罗 彪.机器视觉在物体位姿检测中的应用[J].传感器与微系统,2016,35(2):150-153.

[13] 赵 炯,朱海涛,屈剑平,等.基于OpenCV的圆心定位在地铁隧道变形监测中的应用[J].传感器与微系统,2013,32(11):139-142.

[14] 丁 鑫.全景视觉泊车辅助系统研究[D].杭州:浙江大学,2010.

[15] 赵 凯.全景可视化辅助泊车系统研究[D].合肥:合肥工业大学,2011.

[16] Songde M.A self-calibration technique for active vision system[J].IEEE Transactions on Robotb and Automation,1996,12(1):114-120.

[17] Abdel-aziz Y I.Direct linear transformation from comparator coordinates into object space coordinates in close-range photogramrnetry[C]∥Virginia,USA:American Society of Photogrammetry,1971:1-18.

Studyofpanoramicparkingsystembasedonreferencepointsregistrationmethod*

YANG Gang, ZANG Chun-hua, LI Zhong-nian

(CollegeofElectronicandInformationEngineering,NanjingUniversityofAeronauticsandAstronautics,Nanjing211106,China)

In order to improve the safety of driving,the panoramic parking system is studied and improved.The system consists of three components,which are fish-eye cameras,an image processing unit and a displayer.First,fish-eye cameras are used to capture the ultra-wide-angle images around the car.Then four vertical views around the car are obtained by the fish-eye camera calibration,the bucket correction and the perspective transformation based on OpenCV.Reference points registration method is proposed to obtain a360° panoramic bird's eye view,which is showed on displayer,according to the vertical views.Since the proposed method is hardly affected by the environment and not dependent on hardware performance heavily,it is more suitable for embedded system implementation compared with the feature points matching method.

panoramic parking system; fish-eye camera; OpenCV; perspective transformation; plane vertical view; reference points registration

10.13873/J.1000—9787(2017)10—0041—04

2016—09—21

南京航空航天大学研究生创新基地(实验室)开放基金资助项目(KFJJ20150406)

TP 391

A

1000—9787(2017)10—0041—04

杨 刚(1990-)，男，硕士研究生，主要研究方向为电路与系统。臧春华(1964-)，男，副教授，主要研究方向为数字系统设计与计算机应用。