基于卷积神经网络的无人机循迹方法

陈思锐，刘智，耿振野

（长春理工大学 电子信息工程学院，长春 130022）

对于智能移动机器人的核心研究问题是定位与避障的研究[1］。而避障功能是衡量移动机器人智能化不可或缺的关键指标之一。若要实现移动机器人行走过程中完成自主避障，所要解决的问题是：一方面需要机器人所处的外部环境信息，另一方面要求能够将所获取的环境信息，通过适当的处理转变为控制信息[2］。

无人机循迹控制系统如图1所示。无人机上的相机会采集无人机前方的图像，然后基于卷积神经网络的图像识别模块会对此图像进行识别并发出控制指令，进而帮助无人机保持在正确的路径上，实现无人机在楼道里的自主循迹飞行。

1 基于卷积神经网络的循迹算法

1.1 卷积神经网络

近几年，卷积神经网络在图像和语音识别方面取得了很大的突破，它已经成为当前语音分析和图像识别领域的研究热点。CNN作为一个深度学习架构被提出是为了最小化数据的预处理要求。在CNN中，图像的一小部分（局部感受区域）作为层级结构的最低层输入，再依次传输到不同的层，每层通过一个数字滤波器去获得观测数据的最显著的特征。它的局部连接、权值共享的网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。卷积网络是为识别二维形状而特殊设计的一个多层感知器，避免了传统识别算法中复杂的特征提取和数据重建过程，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性[3］。

图1 系统总体框图

1.1.1 卷积层

卷积层与传统的特征提取作用一样，每个卷积层中包含多个特征图，每个特征图中都包含有多个神经元。同一特征图中神经元的权值和偏置是共享的，因此同一特征图是提取前一层中不同位置神经元的同一特征得到的。同一卷积层中的不同特征图是采用不同的权值和偏置，所以能够提取不同的特征。每个特征图就只有一个卷积核与之对应并与之进行卷积运算[4］。前一层特征图通过一个可训练卷积核进行卷积，其结果再通过一个激活函数形成下一层特征图。其过程如下式：

其中，f(⋅)代表激活函数，l代表层数，*表示卷积操作，k是卷积核，Mj代表输入特征图的一个选择，b是一个偏置。

1.1.2 下采样层

下采样层是对卷积层进行特征选择，执行的是局部平均操作，是紧跟在每个卷积层之后的。它能够降低每个特征图的空间分辨率，从而为后层网络减少输入参数的数量来降低计算复杂度，通过降低分辨率能够取得一定程度的位移、缩放、旋转和其他形式的扭曲不变性。下采样层中的每个特征图都分别和卷积层中的特征图一一对应，下采样层通过感受对卷积层进行抽样。下采样区域是按照采样区域的步长跳跃式扫描的，且输入层的大小必须能够整除采样区域的大小[5］。下采样层的抽样形式如下式：

其中，down(⋅)表示一个下采样函数，一般为矩形区域的平均值或者最大值。

图2 CNN的卷积和采样过程

1.2 改进的卷积神经网络

基于上述卷积神经网络在图像识别方面的优点，本文提出一种方法，其将无人机前方的摄像头采集的图像作为输入，通过卷积神经网络对此输入进行识别，并给出避障策略。

考虑到复杂的网络结构不仅会增加训练难度，并且对机载硬件设备的要求极高，这会直接影响到系统的实时性，因此本文的卷积神经网络是在LeNet-5的基础上修改而来，改进后的LeNet-5结构如图3所示。其中包括一个输入层、两个卷积层、两个下采样层、一个全连接层、一个输出层。输入数据为160×120分辨率的灰度图像，第一个卷积层（C1）包含6个特征图，采用的卷积窗口的大小为5×5，输出的特征图的大小为156×116。第二个下采样层（S2）是用来对（C1）层进行下采样，同样得到6个特征图，特征图的大小为78×58。第三个卷积层（C3）包括12个特征图，卷积核的大小为5×5，特征图的大小为74×54；第四个下采样层（S4）包括12个，特征图的大小为37×27；第五层共有11988个单元，分别与第四层的对应单元相连；输出层是一个全连接层，共有三个单元。其中第一层到第五层使用的激活函数为双曲正切函数。

图3 改进的LeNet-5模型

另外，本文在卷积神经网络最后的输出层采用的分类器是Softmax回归模型，在Softmax回归模型中，对于给定的测试输入x，假设函数p(y=j|x)是x属于类别j的概率值。

1.3 数据采集及处理

为了对上述卷积神经网络进行训练，需要采集无人机飞行路径周围的图像，并对图像进行预处理和标定。设d→为无人机应该行进的正确方向，向此方向飞行可以使无人机保持在正确的路径上，v→为无人机当前的飞行方向，也就是摄像机的指向，并认为v→平行于水平面。设α为向量d→和向量v→之间的夹角，如图4所示。

图4 图像标记示意图

当15°＜α＜90°，也就是相机的视轴方向位于图中右侧阴影部分时，无人机应该左转才能保持在正确的路径上，这时相机采集的图像标记为TL，如图5所示。

图5 标记为TL的图像

当-15°≤α≤15°，也就是相机的视轴方向位于图中两个阴影中间时，无人机可以前进，这时相机采集的图像标记为GS，如图6所示。

图6 标记为GS的图像

当-90°＜α＜-15°，也就是相机的视轴方向位于图中左侧阴影部分时，无人机应该右转才能保持在正确的路径上，这时相机采集的图像标记为TR，如图7所示。

图7 标记为TR的图像

为了获得训练数据集，需要由操作人员通过遥控器控制无人机在楼道走廊里飞行，飞行的过程中，每向前飞行0.2米取一次图像，共取得500张标记为TL的图像、500张标记为GS的图像、500张标记为TR的图像。另外为了扩大训练数据集，通过对上述图像进行镜像翻转的方式，使训练集扩大到3000幅图像。镜像翻转后，原来标记为GS的图像，现在还标记为GS，原来标记为TL、TR的图像现在标记为TR、TL。

1.4 卷积神经网络的训练

CNN在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。卷积神经网络的训练流程如图8所示。

图8 卷积神经网络训练过程

由于卷积神经网络比较复杂，训练过程需要很大的计算量，所以建立的用于图像识别的卷积神经网络的训练是在工作站上进行的，训练完成之后再移植到机载设备上。训练过程中的误差曲线如图9所示。

图9 训练时的误差曲线

2 无人机飞行试验及结果分析

神经网络最后的输出层的三个神经元所使用的激活函数为Softmax，其输出值可以认为就是当前输入图像属于每一类（TL、TR、GS）的概率，因此需要将输出值转换为控制无人机飞行的控制信号，其中无人机的航向角与p(TL)-p(TR)成比例关系[6］，其值为正时无人机向左转向，其值为负时无人机向右转向，无人机向前飞行的距离D和P（GS）成比例关系，D/P（GS）=0.2，也就是当P（GS）为1时无人机向前飞行0.2米。

图10 三种不同图像的识别结果

3 结语

为了解决无人机自主循迹飞行的问题，提出了一种基于卷积神经网络的无人机循迹飞行方法，从一个全新的角度实现了无人机的循迹飞行。首先通过机载相机采集无人机前方的图像，然后将采集到的图像送入到改进的卷积神经网络模型进行分类，并给出飞行指令，进而使无人机实现循迹的功能。经过现场试验证明此方法具有良好的性能。

[1]邴丽媛，刘智，蒋余成.基于模糊神经网络的电力巡线无人机避障技术研究[J］.长春理工大学学报：自然科学版，2017，40（3）：98-102.

[2]邓星宇.基于单目视觉的轮式小车避障方法研究[D］.扬州：扬州大学，2014.

[3]Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networks[C］.International Conference on Neural Information Processing Systems.Curran Associates Inc.2012：1097-1105.

[4]丁新立.基于卷积神经网络的车辆前方障碍物识别[D］.大连：大连理工大学，2015.

[5]吴正文.卷积神经网络在图像分类中的应用研究[D］.成都：电子科技大学，2015.

[6]Giusti A，Guzzi J，Dan C C，et al.A machine learning approach to visual perception of forest trails for mobile robots[J］.IEEE Robotics&Automation Letters，2017，1（2）：661-667.