车位图像畸变的矫正与拼接研究

李宇成， 赵兴彩，李国辉

(北方工业大学机电工程学院，北京 100144)

1 引言

随着我国经济的迅速发展，城市机动车数量迅速增加，然而城市空间资源有限，停车难问题日益突出。目前，停车场管理系统侧重在计时收费功能上，智能化程度普遍不高，欲停车的司机常需要被专人引导，或者自己满场寻找空闲车位。为了提高效率、方便司机停车，同时方便利用图像自动检测车位，设计一种新的基于视频监控图像检测空闲车位的方法成为必要。然而，视频监控是分片进行的，不方便进行全局观察。另一方面，由于摄像头受安装场所或高度限制，图像传感器的视野受到很大局限，而且视频图像存在畸变。为此，本文提出一种首先将畸变的视频图像分段逐一进行矫正后再拼接成大图，进而方便后续进行车位检测的新方法。

图像拼接[1]是指将一组有一定重叠区域的车位图像序列拼接为一幅能够更为全面描述场景内容的大视场图像过程。视频图像拼接技术在虚拟现实、场景重建、遥感遥测[2]、军事侦察等领域中有着广泛的应用。拼接的关键在于图像匹配。目前，图像匹配方法[3]主要包括两大类：基于图像灰度的方法和基于图像特征的方法。其中，基于图像特征的匹配方法应用较为广泛。1999年，Lowe D G[4]提出了SIFT(Scale Invariant Feature Transform)算法，这是一种基于尺度空间理论的、对于图像缩放、旋转、仿射变换均保持局部特征不变性的图像描述算子。由于 SIFT算法的复杂性，使得其计算量大、速度慢, 直接影响了拼接时间。Bay等人[5]提出基于积分图像的 SURF(Speeded Up Robust Features)算法，通过基于积分图像的方形滤波器来近似代替拉普拉斯高斯算子，构造了一种 Hessian矩阵, 进而克服了SIFT算法速度慢的问题。

通过停车场的监控摄像头从视频中提取车位信息，借助计算机对其进行图像分析和处理，基本不增加检测系统硬件成本。与需要埋设地感线圈的车位检测系统相比，无需破坏地面，且便于设备更新和维护升级。此外，红外传感器和超声波传感器因为不便安装，易受人为损坏，都不太适合露天安装使用。

由于停车场中汽车种类、形状、大小、颜色各异，直接对拍摄的视频图像进行空闲车位检测，算法相当复杂、误检率高。原因是受视角和透视效应[6]影响，停车场或车库的视频图像畸变严重，直接处理或者多图拼接成整图后，由于图像中各车位形状不一致，导致较难正确检测出车位状态。尤其是图像两侧部位图像与中间部位图像差异明显，从而大大增加了图像处理的困难。为此本文提出首先将各个车位区域逐一分别进行视角和透视效应校正以及尺寸归一化变换后，再进行图像拼接，以便明显提高后续自动检测车位的准确率。

2 算法的基本流程

本文算法整体框架如图1所示。

Figure 1 Flowchat of image mosaic图1 图像拼接算法整体框图

(1)车位图像预处理, 消除每张图像中的视角变形和透视畸变；

(2)对全部序列图像提取SURF 特征点并匹配相邻帧图像的SURF特征点；

(3)用RANSAC(RANdom SAmple Consensus)算法[7]去除匹配SURF 特征点对中的外点,利用最大内点集估计出相邻帧变换矩阵；

(4)求解全局配准模型,将每帧图像变换到基准图像坐标系下；

(5)图像融合,实现序列图像无缝拼接；

(6)车位图像多信息矫正与拼接技术在停车场中的应用。

3 SURF特征点检测及描述

3.1 特征检测

SURF特征点方法基于尺度空间理论。首先， 在建立金字塔尺度空间时使用积分图像和方框滤波，然后，将Hessian 矩阵的行列式极值作为候选特征点,以便对块状结构敏感。

对于某一尺度图像下的某一关键点，用Hessian矩阵求出极值后，需要在3×3×3的立体邻域内进行非极大值抑制(NMS)，只有比上下尺度各9个及本尺度周围的8个共计26个邻域值都大或都小的极值点，才能作为候选特征点。然后，根据文献[8]中的Hessian矩阵的权重调整公式:

(1)

其中，H1为Hessian矩阵H(w)的逆矩阵。由此计算出各个参数的偏移量，当它在任一维度上的偏移量大于0.5时，此时插值中心已经偏移到它的邻近点上，所以必须修正当前关键点的位置。同时，在新的位置上迭代直到稳定，此过程可能出现超出迭代次数范围或者超出图像边界，这样的点应该删除。此外，候选点的响应值过小的话容易受噪声干扰而不稳定，为了得到稳定的特征点，必须舍去。具体方法是对该候选点进行泰勒级数展开(一般取前三项)，再求极值点，如果此点极值大于0.03，则留此点，否则删除。图2为采用SURF描述子检测到的特征点。

Figure 2 Feature points detected by SURF descriptor图2 SURF描述子检测到的特征点

3.2 主方向确定

为保证特征矢量具有旋转不变性，为每一个特征点分配一个主方向。在特征点周围6δ(δ为特征点所在尺度) 的圆形区域内依步长δ进行采样，并且在采样点处使用4δ的HARR小波卷积核在X和Y方向上分别求取响应值。为使靠近特征点的响应大一些，远离特征点的响应小一些，使用σ=2δ高斯加权函数进行加权运算，结果表示为一个二维坐标上的点，可得到所有采样点分布在二维平面上的响应值。然后，用一个张角为60°的滑窗按固定步长5°左右滑动，每次将60°范围内的HARR小波响应dx和dy相加形成新矢量。最后，选择最长矢量所对应的方向作为此特征点的主方向。

3.3 构建描述子

将坐标轴旋转到以特征点为中心的主方向上。选取20δ×20δ的正方形区域，将其分成4×4的子区域，则各个子区域的大小为5δ×5δ，再使用2δ×2δ的HARR模板计算共计25个采样点的响应值，如图3所示。然后在每个子区域上以σ=3.3δ的高斯函数加权得到dx和dy的累积值，即∑dx、∑dy、∑|dx|和∑|dy|。各个子区域均形成一个四维的新矢量，正方形区域共包含4×4个子区域， 所以每一个特征点将形成4×4×4=64维特征矢量。

Figure3 SURF descriptor图3 SURF描述子组成

4 图像配准

采用 SURF 算法获得的特征点描述(位置、尺度、主方向及特征矢量)中,特征向量包含了特征点周围的信息,采用特征向量的最近邻匹配法可计算出图像间可能存在的匹配对。本文采用特征向量的欧氏距离作为两幅图像间的相似性判断标准。找出匹配对后,不可避免存在误匹配的情况,再应用 RANSAC仿射方法,经过几何一致性检验,去除外点, 计算出几何约束模型,从而确定准确的匹配点对。

4.1 特征匹配

从图像中提取特征点后，需要对其进行匹配。特征点匹配的相似度判断以特征向量之间的欧氏距离为准则。假设对两幅图像A和B进行特征点匹配，p为图像A中的某一特征点，要计算其在图像B中的对应的匹配点，先计算出图像B中与特征点p欧氏距离最短的d1和d2。当d1与d2相差很大时，说明存在匹配点的概率较大；当d1 和d2相差不大时，误匹配的概率较大。因此，可以选择一个阈值作为匹配正误的准则。大量统计实验表明，当阈值在 0.6～0.9取值时，可以取得比较好的匹配效果。 图4为匹配的结果。

Figure 4 Matching feature points图4 特征点的匹配

4.2 精确匹配

通过初始计算得到的匹配集合中不可避免存在错误的匹配点对，使用 RANSAC 鲁棒算法对匹配结果进行去粗取精。RANSAC算法是由 Fischler M A和 Bolles R C提出的一种模型参数估计方法。它在一组样本数据集中，剔除异常数据，计算出数据集的参数模型，并得出有效的样本数据。

对于使用 RANSAC 算法去除误匹配得出参数估计的步骤如下：

(1)从初始匹配点对中随机抽取四组匹配对计算两幅图片间的变换矩阵M，根据此矩阵M计算其余匹配对的距离，若在误差允许范围内,则接受此匹配对为M的内点。

(2)选择包含内点数目最多的一个点集估计出相似变换模型，用最小二乘法,剔除少数的“外点”后计算新的内点集内的平均误差。

(3)重复上述两步骤直至达到理想效果,选择平均误差最小的内点集计算最终的变换矩阵F。图像A和图像B的变换关系可以表示为IB=F×IA,F为透视变换矩阵, 其形式如式(2)所示:

(2)

5 图像拼接融合

5.1 确定重叠区域

计算出图像间的透视变换矩阵后，就可以将两幅待拼接图像拼接成一幅图像。具体方法如图5所示。XOY和X′O′Y′分别代表原图A和待拼接图B的坐标系，XOY中的一条直线可以用方程Y=Y0表示，此直线经过公式(2)仿射变换到X′O′Y′，根据图形学中的线段裁剪算法可以求出落在图B中的线段的起始点a和终点b,进而可以很方便地求出两幅图的重叠部分。

Figure 5 Schematic of overlapping area图5 确定重叠区域示意图

5.2 渐入渐出的平滑过渡法

为了尽可能消除两图重叠区的拼缝问题，目前采用较多的是加权平均法，中权值的选取包括帽子函数[9]和渐入渐出[10]两种。本文采用后一种方法，假设重叠区域宽度为L，取过渡因子是σ(0≤σ≤1)，两幅图像重叠区的x轴、y轴最大和最小值分别xmax和xmin，ymax和ymin，则过渡因子σ=(xmax-x)/(xmax-xmin)，重叠区域的图像像素为：I=σIA(x,y)+(1-σ)IB(x,y)。其中，IA(x,y)、IB(x,y)分别为图像A和图像B相对应的像素值，拼接效果如图6所示。

Figure 6 Stitching effect picture图6 拼接效果图

采集一系列相邻摄像头拍摄的照片如图7a～图7d所示，按此方法拼接的结果如图7e所示。

Figure 7 Mosaic picture图7 拼接图

5.3 色彩亮度补偿

由于图像噪声、模型误差、相机晃动等因素的存在，通常图像之间会存在颜色和亮度差异，所以为了保证合成图像的清晰度以及消除明显拼接痕迹，需要对拼接后的图像进行颜色和亮度补偿。方法就是分别统计第一幅图和第二幅图中重叠区域的R、G、B三个值，然后计算出第一幅图中R、G、B与第二幅图对应的比值，进而把第二幅图按比值关系对应变换到第一幅图的亮度值。为了说明此拼接方法具有较强的鲁棒性，以图8a为例，可以看到直接拼接的图8b中，左、右半图色差明显，中间含有一道拼缝；而采用色度补偿后，效果有了较好的改善，见图8c。

Figure 8 Color brightness compensation effect图8 色彩亮度补偿效果

5.4 车位畸变矫正

由于摄像镜头安装的视角偏移和透视效应，造成拍摄的图片存在明显的畸变，例如原来的矩形车位被拍摄成了不规则的四边形，并且各个车位的情况都不太相同，为了使用统一的图像处理算法进行空闲车位识别，可以对每个车位区域逐一进行畸变矫正。

如图9所示，因视角偏移造成垂直线变成斜线，又因透视效应造成近处大远处小。由于摄像头位置是固定的，可以采取离线的矫正方法。具体实现过程如下：离线得到车位的四个角点坐标a、b、c、d，进而可以求出车位线的倾斜角度θi,i=1,2,3,4，通常情况下θ1≠θ2，θ3≠θ4。从纵向看，ab边需要旋转θ3，cd边需要旋转θ4，为了使整幅图片实现均匀的倾斜矫正，需使图片从ab边到dc边的旋转角度从θ3逐渐变化到θ4。同理，图片横向从bc边到ad边的旋转角也需要从θ1逐渐变化到θ2。

为了将各个车位变成统一大小，求取各个车位线的平均长度作为标准尺度；然后将其车位线伸缩变换到设定标准尺度即可，对应于图中的ab1c1d1，把各个车位逐一矫正后，所有的车位按顺序融合为一幅同向视图的照片。

Figure 9 Parking spaces schematic diagram图9 车位形变矫正示意

6 停车场空车位检测

停车场中每个摄像头分管一片区域，需要采用图像拼接构成大视图，为空车位的快速检出奠定基础。通常，限于停车场摄像头的安装条件，摄像头的视角偏差和透视效应造成同张视图的车位区域存在畸变，使得拍摄到图片上的各车位区域的大小或形状不同，为了准确识别空车位，可以先将车位矫正为同视角图片。

对于位置固定的摄像头，可以先进行离线的标定矫正。在长方形车位的仿射畸变图中，各个车位畸变角度是不同的，需要分别对横向畸变和纵向畸变进行两次矫正得到标准单个车位图片。选择两个相邻摄像头拍摄的照片如图10a和图10b所示，首先将图片按车位逐一进行矫正，然后基于SURF特征进行拼接，结果如图10c所示。从实验结果可以看出，通过矫正拼接后，能够在液晶屏上直观展现出车位的空闲、占用情况。另外，也更有利于采用统一的图像处理算法，对车位状态进行自动检测。例如，可以根据文献[11]的车位状态检测方法，自动检测出各车位的状态。

对比未矫正直接拼接的结果图7e,可以看出矫正之后更方便直接观察停车场中的空车位，并且也有利于自动检测车位时采用统一的处理算法。相对而言，本算法比较简单，能够实时显示整个停车场的全景图及其空闲车位的占用情况，便于指引用户泊车，因而具有良好的实用性。

Figure 10 Correction splicing图10 矫正后的拼接图

7 结束语

针对当前大部份停车场管理系统还只停留在显示车位已满和人工引导泊车的情况，提出了一种车位图像畸变的矫正与拼接方法，用来实现自动准确检测车位。

首先对变形严重的图片，按照车位逐一进行透视和视角渐变矫正后，再利用SURF特征进行多图像拼接。实验结果表明，所给畸变矫正方法快速有效。软件中可以显示整个停车场的全景图，动态地显示停车场内各个车位的占用、空闲信息，并实时地将车位信息传递给显示屏，更加人性化地指引用户泊车；同时，车位图像逐个经过畸变矫正后，有助于进行进一步图像处理，实现自动检测和主动报告空闲车位。

[1] Zou Bei-ji, Ruan Peng, Xiang Yao, et al. An automatic panoramic images mosaic algorithm with precise matching [J]. Computer Engineering and Science, 2010, 32(8):60-63. (in Chinese)

[2] Li Xiao-ming,Zheng Lian,Hu Zhan-yi.SIFT based automatic registration of remotely-sensed imagery [J]. Journal of Remote Sensing, 2006,10(6):885-892. (in Chinese)

[3] Cai Li-huan, Liao Ying-hao, Guo Dong-hui. Study on image stitching methods and its key technologies [J]. Computer Technology and Development, 2008,18(3):1-4. (in Chinese)

[4] Lowe D G. Object recognition from local scale-invariant features [C]∥Proc of the 7th International Conference on Computer Vision, 1999:1150-1157.

[5] Bay H,Tuytelaars T,Van Gool L.SURF:Speeded up robust features[C]∥Proc of the 9th European Conference on Computer Vision, 2006:404-417.

[6] Zhang Z Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000,22(11):1330-1334.

[7] Fischler M A, Bolles R C.Random sample consensus:A paradigm for model fitting with applications to image analysis and automated cartography [J].Communications of ACM, 1981,24(6):381-395.

[8] Liu Jin-lu, Chen Shou-yu. Back propagation learning algorithm with Hessian matrix for fuzzy optimal neural networks[J]. Shuili Xuebao, 2004(4):1-64. (in Chinese)

[9] Szeliski R.Video mosaics for virtual environment[J]. IEEE Computer Graphics and Applications, 1996,16(2):22-30.

[10] Hou Shu-wei, Guo Bao-long. A fast automatic image stitching algorithm [J]. Computer Engineering, 2005,31(24):70-72. (in Chinese)

[11] Li Yu-cheng, Yan Juan-li. Approach for parking spaces detection based on video images[J]. Computer Engineering and Design, 2012,33(1):283-285. (in Chinese)

附中文参考文献:

[1] 邹北骥,阮鹏,向遥,等. 一种精确匹配的全景图自动拼接算法[J].计算机工程与科学,2010,32(8):60-63.

[2] 李晓明,郑链,胡占义.基于 SIFT 特征的遥感影像自动配准[J].遥感学报,2006,10(6):885-892.

[3] 蔡丽欢,廖英豪,郭东辉.图像拼接方法及其关键技术研究[J].计算机技术与发展,2008,18(3):1-4.

[8] 刘金禄,陈守煜.基于Hessian矩阵的模糊优选BP算法及其应用[J].水利学报,2004(4):1-64.

[10] 侯舒维,郭宝龙. 一种图像自动拼接的快速算法[J].计算机工程,2005,31(24):70-72.

[11] 李宇成,严娟莉.利用视频图像检测车位状态的方法[C].计算机工程与设计,2012,33(1):283-285.