基于环视图的自动泊车停车位检测方法

范梦阳

摘 要：“停車难”这一问题变得日益严峻，自动泊车系统的研究也就显得至关重要，停车位检测是自动泊车系统的重要组成部分。环视图通过逆透视变换消除了透视畸变，恢复了库位线的平行、垂直、间距等几何信息，可以直接利用图像中的库位线满足的几何约束约束特征来实现停车位检测。利用安装在车辆四周的四个鱼眼摄像头采集图像，经过畸变矫正、逆透视变换、重合区域拼接可以得到车辆的环视图。摄像头在采集图像的过程中必然会引入各种噪声，首先需要对环视图通过均值滤波、中值滤波、高斯滤波等方式进行降噪处理。之后，进行灰度化，以减少后续图像处理的计算量。由于库位线与地面的灰度信息不一致，灰度化后的图像仍然保留了库位线的灰度特征，仍然可以利用该灰度差异区分出停车位线和地面。在对环视图进行滤波降噪、灰度化等图像预处理操作之后，通过边缘检测得到库位线的边缘。之后利用霍夫变换提取出边缘图像中的直线。根据《中华人民共和国国家标准/道路交通标志和标线（第 3 部分：道路交通标线）》（GB5768.3-2009）标准中对停车位标线宽度、尺寸和设置方式的规定，提取划线停车位应满足的几何约束特征条件，可以识别出停车位。在此基础上，融合车辆定位模块得到的车辆位姿信息对单帧图像中检测到的停车位在图像序列中进行跟踪，进一步提高停车位检测正确率和检测精度。

关键词：自动泊车 停车位检测 摄像头 环视图

Automatic Parking Space Detection Method based on Ring View

Fan Mengyang

Abstract：The problem of "difficult parking" is becoming more and more serious， and the research of automatic parking system is also important. Parking space detection is an important part of automatic parking system. The ring view eliminates the perspective distortion through the inverse perspective transformation and restores the geometric information such as the parallel， vertical， and spacing of the location line. It can directly use the geometric constraints that the location line in the image meets to realize the parking space detection. The four fisheye cameras installed around the vehicle are used to collect images， and the ring view of the vehicle can be obtained after distortion correction， inverse perspective transformation， and overlapping area stitching. The camera will inevitably introduce various noises in the process of collecting images. First， the ring view needs to be denoised by means of mean filtering， median filtering， and Gaussian filtering. After that， grayscale is performed to reduce the amount of calculation for subsequent image processing. Since the gray information of the location line is inconsistent with the ground， the gray-scaled image still retains the gray features of the location line， and the gray level difference can still be used to distinguish the parking space line and the ground. After image preprocessing operations such as filtering and denoising and graying are performed on the ring view， the edge of the location line is obtained through edge detection. Afterwards， the Hough transform is used to extract the straight lines in the edge image. According to the "National Standards of the People's Republic of China/Road Traffic Signs and Markings （Part 3： Road Traffic Markings）" （GB5768.3-2009）， the rules for the width， size and setting method of parking space markings are extracted. The geometric constraint characteristic condition that the parking space of the line should meet， and the parking space can be identified. On this basis， the article fuses the vehicle pose information obtained by the vehicle positioning module to track the parking space detected in a single frame image in the image sequence， and further improves the parking space detection accuracy.

Key words：automatic parking， parking space detection， camera， ring view

停车对于很多驾驶员来说是个“难题”，而随着我国汽车保有量的不断增加，停车位变得越来越紧张，“停车难”这一问题就变得日益严峻。由于人们对于泊车辅助系统的迫切需求，以及我国汽车产业朝着智能化方向发展的必然趋势，自动泊车系统的研究显得至关重要。

停车位检测是实现自动泊车首先需要解决的问题，它是自动泊车系统的重要组成部分。目前环视摄像头由于成本低、提供的视图清晰直观，已经在较多量产车型上有所应用。如图1所示，环视图通过逆透视变换消除了透视畸变，恢复了库位线的平行、垂直、间距等几何信息，可以直接利用图像中的库位线满足的几何约束约束特征来实现停车位检测，此外，和单目摄像头相比，环视图的视野范围更广，包含的库位线信息更加丰富，停车位的检出率更高。

首先，环视摄像头所采用的鱼眼镜头具有畸变，该畸变可以从径向畸变和切向畸变两个方面来表征。径向畸变将会导致实际成像点相对于理想成像点沿着透镜径向方向存在偏移。鱼眼摄像头采集到图像的光学中心的径向畸变为0，沿着靠近图像的边缘，径向畸变不断增大。切向畸变会导致实际成像点相对于理想成像点沿着透镜的切向方向存在偏移。通过张正友标定法得到摄像头的畸变参数，据此对鱼眼图像进行畸变矫正，将鱼眼图像转化为透视图像。

三维空间中的点通过针孔成像所形成的图像成为透视图像，这种变换关系即透视变换。三维空间中的点对应为透视图像中确定的一点，即根据某点在三维世界坐标系中的坐标可以计算得出该点在图像坐标系中的坐标。反之，根据某点在图像坐标系中的坐标却不能直接计算得出该店在三维世界坐标系中的坐标。但是如果已知某点在世界三维坐标系中的某一维坐标，则可以根据该点图像坐标系中的坐标，计算出该点再世界坐标系中的另两维坐标。我们把这种建立图像坐标系中的点与三维世界坐标系中已知某一位坐标的点的对应关系的过程称为逆透视变换。由于自动泊车系统中所需检测的停车位标线都位于地面上，所以我们假定图像中的所有点都位于三维世界坐标系的地面上，利用标定得到的四个摄像头的内参和外参矩阵，对矫正畸变后的图像进行逆透视变换，得到四幅俯视效果的鸟瞰图。

由于安装在车辆四周的四个摄像头中相邻的摄像头视野范围有重叠，所以相邻摄像头采集到的图像所转换为的鸟瞰图会有部分重合区域，通过寻找重叠区域内的标志点并将其对齐，可以将四幅鸟瞰图剪切、拼接得到360度环视图。

由于摄像头在采集图像的过程中必然会引入各种噪声，所以首先需要对环视图进行降噪处理。通常可以选用均值滤波、中值滤波、高斯滤波等方法进行降噪。拼接得到的原始车辆环视图为彩色图像，为了减少后续图像处理的计算量，对环视图进行灰度化处理。常见的灰度化方法有平均值法、加权平均值法、最大值法等。由于停车位标线与地面的灰度信息不一致，灰度化后的图像仍然保留了库位线的灰度特征，仍然可以利用该灰度差异区分出停车位线和地面。

在对环视图进行滤波降噪、灰度化等图像预处理操作之后，再通过边缘检测得到停车位线边缘。边缘点是指图像中灰度值和相邻点的灰度值存在显著差异的像素点。边缘检测是利用计算图像中各个像素点的一阶差分或二阶差分来判定该点是否属于边缘像素点。由于库位线边缘的灰度值和相邻地面处的灰度值存在较大差异，因此可以通过边缘检测识别出图像中库位线的边缘。之后，利用霍夫变换提取出边缘图像中的直线，以识别出库位线的边缘直线。在图像空间（x，y）中，同一条直线上的点满足方程y=kx+b，即同一条直线上的点的斜率k相等，截距b也相等。构建参数空间（k，b），可以得出，图像空间（x，y）中的一条直线和参数空间（k，b）中的一个点相对应。利用参数空间和图像空间的之间所存在的点-线对偶性，霍夫变换就把图像空间中的直线检测问题转换到参数空间中去：在参数空间（k，b）里进行的累加统计，寻找斜率和截距的计数器峰值，以此来检测出图像空间中的直线。

在《中华人民共和国国家标准/道路交通标志和标线（第 3 部分：道路交通标线）》（GB5768.3-2009）中，规定停车位标线的宽度可介于6到10cm之间。停车位标的上限尺寸长为1560cm，宽为325cm，适用于大中型车辆;下限尺寸长为600cm，宽为250cm，适用于小型车辆。在条件受限时，宽度可适当降低，但最小不应低于200cm。停车位标线的设置方式分为平行式、垂直式和倾斜式，分别如图2、3、4所示。根据该标准中对停车位标线宽度、尺寸和设置方式的规定，提取我国划线停车位应满足的几何约束特征条件，基于单帧环视图中提取到的直线信息可以识别出划线停车位。

环视摄像头采集到图像在泊车的过程中不断刷新，形成了图像序列流，通过融合车辆定位模块得到的车辆位姿信息对单帧图像中检测到的停车位在图像序列中进行跟踪，对单帧环视图中检测出的停车位进行实时修正优化，进一步提高停车位检测正确率和检测精度，从而提高自动泊车系统的可靠性和安全性。

课题名称：基于多传感器融合的车辆自动泊车停车位检测方法研究;编号：XJZK202002。

参考文献：

[1]孟焱，孙军，汤一平.基于机器视觉的停车位检测技术的研究[J].计算机测量与控制，2012，20（3）：638-641.

[2]王成雨.基于視觉环境感知技术的自动泊车系统研究[D].苏州：江苏大学，2019.

[3]孙炬辉.基于鱼眼相机的实时视频拼接技术研究[D].杭州：杭州电子科技大学，2014.

[4]方财义，邓军，檀银学.全景泊车系统及图像拼接技术的研究[J].汽车零部件，2012，11：103-108.

[5]GB 5768.3-2009 道路交通标志和标线第3部分：道路交通标线.

[6]刘微.应用机器视觉的自动泊车车辆位姿获取算法研究[D].长春：吉林大学，2012.

[7]王旭东.基于环视的自动泊车方法研究与系统设计[D].上海：上海交通大学，2013.