一种基于卷积神经网络的360环视系统停车位检测设计

李锦辉 钱薛榴 诸俊辉

摘   要：针对传统汽车视觉系统所存在的视野有限的缺陷，文章提出了一种基于卷积神经网络的360环视系统停车位检测方法。该系统通过安装在车身四周的4个鱼眼摄像头来获取车身所处环境信息，再对摄像头捕获的图片进行畸变矫正与逆透视变换，由拼接技术生成环视鸟瞰图;在此基础上，设想出一种全新的停车位检测方法，即利用卷积神经网络对环视鸟瞰图进行检测和识别。

关键词：360环视系统;停车位检测;卷积神经网络

1    研究意义及现状

1.1  研究意义

近年来，随着我国汽车总量的上升，路面交通负担不断加重，城市拥堵、交通事故频发的现象也日益严重。与此同时，汽车数量的剧增也使得大众对于停车位、停车场的需求急剧增加。可事实是，城市的空间极为有限，想要提供足够的停车位与停车场显得尤为困难。密集的泊车环境与狭窄的停车位，使得驾驶员不得不面对“停车难”的窘境。传统的汽车视觉系统在泊车时，因视野有限，车后的视野盲区对驾驶人泊车控制的判断有着很大的影响，由此引起的事故与纠纷也层出不穷，其造成的结果有时不仅是经济损失，更有可能是人员的伤亡。为此，本文提出的基于卷积神经网路的360环视系统理论上能够有效减少驾驶员视野盲区，大大降低了驾驶员的泊车难度，对保证交通畅通与安全具有重要意义。

1.2  国内外研究现状

目前，国内外对于自动泊车系统都有一定的研究，而关于停车位的智能检测与识别又是自动泊车系统的一个研究重要方向，其大多数主要是利用传感器进行停车位的检测。例如大连理工大学王海等[1]提出的基于激光雷达传感器的车位检测方法、学者PARK等[2]提出的基于超声波传感器的检测方法以及电子科技大学陈奋等[3]提出的基于视觉传感器的检测方法，目前基于视觉的自动泊车系统研究成为主流。

2    360环视泊车辅助系统

360环视和逆透视变化。在利用鱼眼相机[4]实时采集图片的时候，得到的是一张存在畸变的三维空间图，使得对车位线的识别造成了视觉上的阻碍，所以本团队采用图片处理技术中的逆透视变化[5]将三维空间图片里的信息完整透视到二维平面，从而从视觉上能够完整地分辨出车位的相关信息，以便于后期自动泊车路线的规划。

（1）坐标系。在逆透视变换中将涉及3个坐标系，下面对3个坐标系进行分析：

首先，世界坐标系，通常以竖直向上为Z轴正向，地面任取两垂直方向为X，Y轴，三者两两互相垂直。

其次，相機坐标系，一般以正右方为X轴，正上方为Y轴，视线方向为Z轴负向。

最后，平面坐标系，图像成像的坐标系X-Y。

（2）坐标变换。首先，世界坐标系与相机坐标系间的转化。相机坐标系实际就是世界坐标系绕着原点旋转一定角度后，再平移所得到的坐标系，设相机坐标系中一点为（XG，YG，ZG），世界坐标系中一点为（XW，YW，ZW），则矩阵表示如下：

=R+T（1）

其中，R矩阵为旋转矩阵，T矩阵为平移矩阵：

R=，T=（2）

其次，相机坐标系与平面坐标系的转换。假设以（0，0，-d）为投影点，Z为投影方向，则：

=（3）

（3）理论依据。逆透视变换实在透视变换的基础上提出的，透视变换如下：

（4）

其中，θ为相机沿X轴旋转的一个仰角，h为相机相对于原点的高度，d为投影点距离原点的距离。

在透视变化中会发现，透视变换阵由于满秩而不可逆，说明在将三维图像映射到二维平面时丢失了某些信息，从维度上看就是丢失了一个维度，所以将透视变换阵的第3列全部补充为1，即补充了一个信息使得矩阵可逆，矩阵如下：

（5）

对上述矩阵求逆矩阵，从而得到逆变换矩阵（矩阵如下）：

（6）

补充的信息就是摄像头坐标系下的Z坐标即深度信息。逆透视变换能够去除在采集图像当中的透视效果。图像是由很多像素点形成的像素矩阵，如果要对整个图像进行逆透视变换，计算量太大，所以将实际的车位转化为矩形图形模型，要将整个车位实行逆透视变换，即将整个矩形中的离散点进行逆透视变换。由于是矩形，为了简化计算只需要对4个顶点进行逆透视变换即可。

3    图像拼接

由于360环视图像由4个鱼眼摄像头采集而成，在经过逆透视变换以后会存在部分重叠的情况，所以，采用图像拼接算法中的平均加权融合算法。

加权融合算法[6]就是在平均融合算法的基础上给每一个平均像素点加一个权值，从而使得图像拼接更加顺畅，以达到最佳融合效果。由于本文的拼接位置特殊，因此需要借助欧式距离来确定加权值α，β。图像拼接如图1所示，两张图像重叠部分为ABCD，作CD的平行线AE，以AE为拼接缝，记AE和CD间的距离为d，待融合点到CD的距离为d'，则加权值α，β为。

将所采集到的图像通过加权平均融合拼接之后，就得到了360全景环绕图。

4    车位检测与识别

在前文中，利用4个鱼眼摄像头得到了车身的环视鸟瞰图。在此基础上，需对鸟瞰图进行识别与检测。尽管目前大多采用超声波传感器进行车位的检测，但其检测精度并不太高。基于视觉的方法虽然相较于前者起步稍晚，但已有在未来成为主流泊车辅助系统的趋势。就目前而言，传统的视觉检测方法绝大多数都是基于霍夫变换空间[7]，但其受光照、树影的影响较大，检测准确性不高。为此，本文提出了一种基于卷积神经网络的车位检测设想，相比传统方法，具有准确性高、稳定性好的特点。可行性分析如下。

4.1  卷积神经网络的基本结构与原理

卷积神经网络的典型结构为：典型的卷积神经网络由输入层、卷积层、下采样层、全连接层和输出层组成，如图2所示。

原始图像Y为卷积神经网络的输入，本文用Xi表示卷积神经网络第i层的特征图。假设Xi是卷积层，Xi产生的过程可描述为：

（7）

其中，Mi表示的是第i层卷积核的权值向量，符号“”代表的是卷积核与第i-1层图像进行的卷积操作，卷积的输出与第i层的偏移向量bi相加，最终通过非线性的激励函数f（x）得到第i层的特征图Xi。

经过卷积层与降采样层的循环传递，卷积神经网络依靠全连接网络对提取的特征进行分类，得到基于输入的概率分布H（li表示第i個标签类别）。卷积神经网络从本质上来说，是将原始矩阵（X0）经过多个层次的数据变换或降维，映射到一个新的特征表达（H）的数学模型：

（8）

在训练过程中，采用梯度下降法对卷积神经网络进行优化。残差经过梯度下降后反向传播，逐层更新各个层的可训练参数。

4.2  车位分类器的设计思路

本文设想利用卷积神经网络来实现车位的检测，其车位检测器的设计思路如图3所示。

首先，需进行样本的采集。为保证样本的多样性，应尽可能多的采集到不同环境下停车位的情况;其次，为增强分类器在对不同光照环境及阴影下的适应性，需在HSV空间[8]对原始的数据集进行预处理，以改变原始图片的明亮度。最后，利用反向传播算法[9]对样本集进行训练。

（1）当正向传播时，卷积层特征图的计算公式为：

（9）

其中，为连接上一层特征图与本层特征图的卷积核，表示的是卷积操作，表示的是与该特征图有联系的上一层特征图的集合。

（2）当正向传播时，池化层的计算公式为：

（10）

其中，down（ ）为下采样函数。经过下采样操作，池化层特征图的长和宽变为原来的1/m。

（3）当反向传播时，卷积层灵敏度和梯度的计算如下。

某个样本输入后对应输出层的误差为：

（11）

其中，tz表示对应标定好的输出标签的第z维输出，而yz表示通过卷积神经网络一次正向传播之后的第z维输出。第n层的灵敏度矩阵为：

（12）

其中，o表示点乘操作;up（ ）表示上采样函数。输出误差对第n层每个卷积核的对应梯度值为：

（13）

式中，表示为得到卷积层而与卷积核相乘的第n-1层的对应区域。

（4）当反向传播时，池化层（下采样层）灵敏度和梯度的计算如下。

假设第n层（池化层）后面连接的是全连接层，则该层对应的灵敏度矩阵为：

（14）

若第n层后面连接的是卷积层，则该层对应的灵敏度矩阵为：

（15）

式中，conv2（ ）表示将输入的前两个参数进行卷积操作;full表示完全卷积;rot180（ ）表示将矩阵旋转1800。

输出误差关于乘法系数的梯度为：

（16）

经过上述的训练，设置网络的学习率为2.5，将每10个样本进行一次训练，整个样本集经过20个来回的训练，则通过反向传播法，整个卷积神经网络也就区域稳定，并且也就具有了停车位检测和识别的能力。

5    结语

本文提出了一种基于卷积神经网络的360环视系统车位检测方法，相比较于传统的车位检测法，能够有效消除驾驶员存在的视野盲区，提高泊车安全性。在环视鸟瞰图的基础上，利用卷积神经网络进行车位检测，与传统检测的算法相比，其结果更加准确，能够大幅度减少漏检与误减次数。但其自身还存在不足之处，当采集样本数量过少时，卷积神经网络将会因为在训练中的多样性不足而导致在实际使用时出现无法识别的现象。为此，如何用较少的样本数量来保证足够的训练量仍然是亟须解决的问题，在后续过程中，将会在优化算法方面展开进一步研究。

[参考文献]

[1]王海.基于激光雷达的自动泊车环境感知技术研究[D].大连：大连理工大学，2013.

[2]PARK W J，KIM B S，SEO D E，et al.Parking space detection using ultrasonic sensor in parking assistance system[C].Threshold：Intelligent Vehicles Symposium IEEE，2008.

[3]陈奋.基于机器视觉的自动泊车技术的研究[D].成都：电子科技大学，2016.

[4]夏青，谭树人，娄静涛，等.鱼眼相机等效焦距三点标定法[J].光电子.激光，2013（6）：1133-1137.

[5]李颢，杨明.基于非线性逆透视变换的摄像机畸变参数标定[J].上海交通大学学报，2008（10）：1736-1739.

[6]刘鹏，王敏.基于改进加权融合算法的运动场景图像拼接[J].信息技术，2014（12）：177-180.

[7]王彦，吴俊敏，郑焕鑫.广义霍夫变换在多目标检测领域的应用及优化[J].计算机工程与应用，2016（17）：203-207.

[8]王赛.基于颜色的图像识别技术及其应用研究[D].杭州：杭州电子科技大学，2017.

[9]王恒欢.基于深度学习的图像识别算法研究[D].北京：北京邮电大学，2015.

Designed on an idea of parking space detection based on convolution neural

network in 360 look around system

Li Jinhui， Qian Xueliu， Zhu Junhui

（Jiangsu University， Zhenjiang 212013， China）

Abstract：In view of the limitation of vision in traditional vehicle vision system， this paper proposes a method of parking space detection based on convolution neural network in 360 look around system. In this system， four fisheye cameras are installed around the car body to obtain the environmental information of the car body， then the distortion correction and inverse perspective transformation are carried out on the pictures captured by the camera， and the panoramic view is generated by the splicing technology; on this basis， a new parking space detection method is envisaged， that is， the convolution neural network is used to detect and identify the panoramic view.

Key words：360 look around system; parking space detection; convolutional neural network