深度学习用于无人机影像树种识别研究进展

罗仙仙，许松芽，严洪，肖美龙，陈正超

(1.泉州师范学院 数学与计算机科学学院，福建 泉州 362000；2.福建省大数据管理新技术与知识工程重点实验室，福建 泉州 362000；3.泉州师范学院教育科学学院，福建 泉州 362000；4.福建省林业调查规划院，福建 福州 350000；5.泉州市林业局森林资源管理站，福建 泉州 362000；6.中国科学院空天信息创新研究院，北京 100094)

随着“数字林业”不断推进，遥感用于森林资源调查与监测取得丰硕成果.航空遥感和卫星遥感运行高度高，云雾天气影响树种识别的遥感数据获取与识别精度.因此，提高树种识别精度是国际性关注的学术问题.解决这一问题突破口在于[1-2]：一是获取好的遥感数据源，二是采取好的数据处理方法，包括遥感图像预处理与选择合适的分类方法.

无人机(unmanned aerial vehicle，UAV)作为一种低空遥感工具，具有全天候、高分辨率、实时性、操作灵活、拍摄时间自由、飞行成本低等优点[3-4]，与传统遥感相比，无人机低空航拍受天气影响小，作业方式灵活；平台建设与后期维护成本低；飞行高度较低，获取的影像比例尺大、精度高、重叠率高，提高了后期处理影像的可靠性，这为林业遥感研究提供了新的技术手段.然而，传统人工目视解译方法和遥感图像处理方法，并不能地对无人机遥感图像进行自动识别，而且精度难以保证.深度学习是人工智能研究的一个重要分支，于2006年由多伦多大学Hinton教授提出[5]，是一种有效的特征提取及分类方法.其在计算机视觉领域快速发展，并取得了良好的效果，这为遥感图像处理等领域提供了一种新的技术方法.深度学习方法用于无人机影像树种识别初见端倪，该研究领域既可以实现计算机对树种自动识别，也可以进行森林调查自动区划.总结无人机影像用于树种识别的研究成果，指出当前研究存在问题，展望未来研究方向，以期为无人机技术在树种识别、森林资源调查提供参考，以期更好改进和完善我国森林资源监测体系.

1 无人机类型与外业飞行参数设计

1.1 无人机类型

无人机主要根据大小和飞行动力进行区分，根据飞行原理和结构可分为固定翼、旋翼和特殊构型无人机[6].无人机遥感系统由无人机平台、无人机载荷、地面控制系统与遥感数据处理系统组成[7].无人机可以搭载不同类型的传感器，如普通数码相机(可见光)、激光雷达扫描仪、多光谱影像仪、高光谱影像仪等，利用不同数据源应用于林业病虫监测、林火监测、野生动植物监测与识别、森林资源调查、林业执法等[8].在林业中，最常用的是旋翼无人机，可实现目标悬停，更容易获取森林的树冠信息.

1.2 无人机树种识别外业飞行参数设计

采集影像质量直接影响后续分类效果.根据机器学习方法所需要训练样本与测试样本，确定每个树种所要拍摄相片的张数，根据研究区域大小、树种分布情况合理规划好无人机飞行计划，包括总体飞行次数、每次飞行区域大小、飞行的预计时间.为考虑样本多样性，飞行季节在春、秋两季较多；为减少阴影对分类影响，飞行时间尽量选择正午时间；飞行高度是无人机外业飞行的重要参数，根据文献[11-19]，无人机树种识别飞行高度在20～280 m，应根据研究目的、研究区域大小来确定.

1.3 无人机高光谱影像树种识别现状

高光谱具有非常窄的光谱波段，高空遥感的高光谱图像常常用于树种识别与提取.但因设备昂贵，搭载无人机的高光谱树种识别研究较少.以高光谱遥感图像为数据源的树种识别算法主要分为基于光谱特征、基于光谱匹配和基于统计分析方法[20].杨礼基于无人机获取的高光谱正射影像，在最小噪声分离变换的基础上，采用光谱角匹配方法对5个树种进行识别研究，总体精度达54.05%[21].四川双利合谱科技有限公司运用大疆的无人机M600 Pro自主研发的高光谱相机GaiaSky-mini2在上海交通大学闵行校区植物园进行数据采集，采用最佳指数法进行3个波段的特征选取，并采用see5.0决策树方法进行自动分类，但未对拼接好的无人机高光谱影像数据进行不同树种的分类识别[22].

2 传统机器学习方法用于无人机树种识别研究现状

机器学习方法可分为监督分类、非监督分类、半监督分类和强化学习[23].无人机树种分类常用监督分类方法，包括随机森林、决策向量机、决策树等.Franklin等选取加拿大安大略省东部0.1 km2硬阔林为研究区域，采用随机森林方法，对4种成熟落叶树种(糖槭、红槭、白桦、山杨)进行研究，总体精度达78%[14].Brovkina等选取捷克共和国中2个50 m×50 m方形样地，同时进行无人机多光谱数据获取与地面调查，地面调查因子包括基本林分因子、枯立木与活立木、活力因子.基于对象图像分析方法对云杉、冷杉、山毛榉、枯死木总体分类精度达78.4%[15].Liu等选取广东省韶关市丹霞山内12 km2为研究区域，采用8波段多光谱成像系统搭载无人机，包括3个RGB通道和5个多光谱波段(550、600、700、750、850 nm)，拍照721次.采用支持向量机与植被指数等构成3级分类方法，对稀少濒危树种——丹霞梧桐进行提取，识别精度达76.9%[13].Sothe等以巴西南部约25 ha亚热带森林研究对象，采用支持向量机对12个树种进行识别研究.研究表明,结合3D高光谱点云数据、可见光/近红外波段、冠层高度模型、植被指数4类特征识别效果最佳，总体精度达到72.4%，Kappa达到70%[19].

3 基于卷积神经网络的无人机树种识别研究进展

3.1 卷积神经网络方法及其优化算法

卷积神经网络典型模型包括Let5、Caffenet、AlexNet、VGG[1].近年来，卷积神经网络结构不断改进与优化，2014年Goodfellow等提出生成对抗网络(generative adversarial networks，GAN)[24]，其核心思想是用神经网络来指导神经网络，彼此之间通过相互学习和对抗达成一种纳什均衡的状态.2015年Girshick等提出区域卷积神经网络(region-based CNN，R-CNN)[25]、Ren等提出Faster R-CNN[26]、Long等提出全卷积神经网络(fully convolutional neural networks，FCN)[27]、Ronneberger提出U-Net[28]、Szegedy提出GoogleNet[29].2016年Dai等提出区域全卷积神经网络(R-FCN)[30].2017年Howard等提出MobileNets[31]、Tsung等提出RetinaNet[32]、Chen等提出DeepLabV3[33]、Huang等提出DenseNet[34]、Jégou等提出FC-DenseNet[35]、Badrinarayanan等提出SegNet[36].2018年Redmo等提出YOLOv3[37].

3.2 无人机树种识别的数据集及其数据增强技术

数据集质量、大小决定了卷积神经网络用于无人机树种识别精度.无人机树种识别数据集总结如表1所示，研究区域面积在0.2 km2以下；识别树种类型最多为7类；样本总数在[225，15 786]，远远少于1 400万的大型可视化数据库ImagNet和6万条数据的手写数字识别数据集MNIST；从具体树种分类上看，国外研究多于国内研究，南方树种识别较多，尚未见北方树种识别；从总体精度上看，最低精度75.67%，最高精度为97.8%，精度与训练样本、测试样本大小有直接关系，部分研究尚未介绍外业采集方式、每个树种样本大小，这不利于数据集建设与共享.

表1 无人机树种识别数据集Tab.1 Datasets of tree species identification from UAV

无人机树种识别数据采集应考虑季节、时间、高度、光照强度等因素，以增加样本的多样性，提高卷积神经网络识别能力和泛化能力.同时，应采取数据增强技术进行样本扩充，减少外业数据采集工作和提升模型识别效果，数据增强通常采用几何运算中的平移、旋转、缩放、镜像、栽剪、扭曲、加噪中的一种或几种.戴鹏钦等对原始图像及其水平翻转后分别旋转90°、180°、270°将训练样本量增加到原来的8倍[10].Onishi等采用随机旋转、高度和宽度变换、剪切、缩放、翻转等对原始样本扩充至21倍[16].林志玮等采用随机角度旋转的方式对影像进行10次旋转，将原数据集数量扩充10倍，同时，采用水平镜像和垂直镜像将原数据集数量扩充2倍[12].生成对抗网络生成的图像也可以作数据增强，但尚未见文献报道利用此方法作无人机树种识别数据增强.

3.3 卷积神经网络树种识别研究现状

3.3.1 卷积神经网络用于无人机树种识别研究现状 卷积神经网络用于无人机树种识别刚处于超步阶段.Onishi等对日本京都大学神木实验站的北部(0.11 km2)为研究区域，于2016年11月20日，利用大疆精灵4搭载1/2.3CMOS传感器，获取RGB图像，采用GoogleNet方法对7类树种进行分类，总体识别精度达89.0%[16].林志玮以福建省安溪县崩岗区为研究区域，采用无人机获取20 m和40 m高的光学图像，研究表明随着航拍高度的上升，分类正确率呈现下降趋势.随着模型网络层数的增加，模型分类精度出现下降现象，DenseNet121 模型分类精度高于DenseNet169模型分类精度[12].同时，林志玮利用FC-DenseNet-103对马尾松、柠檬桉和芒萁3 类优势树种进行分类，分类精度分别为79%、70%和78%.利用Dense模块提取树种图像特征并增强深层网络信息，上下采样层的功能也有所不同，上层主要采集数据特征信息，而下层则是为了凸显图像的特征信息.实验表明FC-DenseNet-103在进行优势树种分类任务中有良好的表现，同时该方法还能够有效解决数据集样本数量不足、模型分割结果边缘存在噪声所导致的实验精度不足的问题[38].Natesan等以加拿大安大略省彼得华华保护林为研究对象利用无人机搭载尼康D810单反相机，采集等红松、白松、香脂冷杉、白云杉、东方白柏等5个树种共9 772个样本，采用DenseNet121网络进行树种识别，总体精度达84%[39].Santos等选取巴西中西部城市3个研究区域，利用大疆精灵4搭载CMOS传感器，于2018年8月至2019年2月，进行6次飞行任务，对城市濒危树种巴鲁仁进行识别研究，获取RGB图像(2 000万像素)392张，共110棵树.比较3种卷积神经网络(Faster R-CNN、YOLOv3、RetinaNet)树种识别优劣，研究表明RetinaNet取得最好识别精度，总体精度达到92.64%[18].Torres等借用Santos创建的数据集，选取其中225个样本，比较五种全卷积神经网络(SegNet、U-Net、FC-DenseNet、DeepLabv3+Xception、DeepLabv3+MobileNetV2)，研究表明FC-DenseNet网络结构取得最好识别精度，总体精度达到96.7%[40].戴鹏钦等基于Res-U-Net 模型的全卷积神经网络进行5类树种识别，发现融合了可见光差异植被指数VDVI和过红减过绿指数ExG-ExR的Res-U-Net方法可提高马尾松与杉木的区分度[10].

3.3.2 利用迁移学习的无人机树种识别研究现状 迁移学习是运用已存有的知识对不同但相关领域问题进行求解的一种新的机器学习方法[41].将经过一项任务训练的深度神经网络的知识“迁移”到训练相关任务的另一个网络，根据卷积神经网络的可解释性,其纹理、轮廓、形状、颜色等特征提取器是通用的，将训练好的模型中的一些权值和中间层迁移到新模型中，可以节省训练时间和提高识别精度.近两年，有迁移学习用于无人机树种识别引起相关研究者的关注与应用.王莉影等运用迁移学习方法，采用ImageNet上训练的Inception-v3模型进行对树种图像进行特征提取，利用东北林业大学实验林场数据集重新训练一个新的全连接层和Softmax层，进行针叶林、阔叶林分类研究，样本1 300张低空遥感数据，总体分类精度为98.4%，Kappa系数为0.987[42].滕文秀等以江苏省东台市东台林场为研究区域，对4类树种进行识别研究，提出了树种分类与制图的深度迁移学习方法，采用在ImageNet数据集上性能较好的VGG16作为预训练模型，利用全局平均池化压缩特征并与全连接层每个节点连接.采用简单线性迭代聚类(SLIC)算法，对原始无人机高分影像进行超像素分割，最终生成树种专题地图.较好解决数据量不足引起的过拟合问题[9].Natesan等以加拿大安大略省彼得华华保护林为研究对象，采用在ImageNet数据集上预训练过的ResNet50模型，并外加最大池化层与4层全连接层，基于Kera框架对3类树种进行识别，总体精度达80%，研究表明当样本量增大时，可以提高识别精度[17].目前，2020年5月谷歌推出计算机视觉领域先进的迁移学习模型BigTransfer(BiT)，BiT是一组经过预先训练的模型，在新数据集上进行简单的迁移学习就能获得优秀的性能[43].

4 无人机遥感树种识别的未来研究方向

深度学习方法用于无人机树种识别研究初见端倪，与人工智能技术融合将加速发展，但阻碍该研究领域的是无人机树种识别数据集建设与共享.目前，尚没开放的无人机树种识别数据集，国家或行业应加强此项领域建设，以促进智慧林业研究.同时，应充分利用对抗生成网络作数据增强.

卷积神经网络网络不断优化，针对无人机采集不同数据源及不同树种，应逐步建立基于卷积神经网络的无人机影像树种识别的技术体系、标准与规范，包括建立优化的网络结构标、超参数配置等.利用迁移学习方法，在相关数据集训练完成模型的权重参数作为新模型训练时的初始权重，以提升训练时间与识别精度.利用谷歌的迁移学习模型BigTransfer用于无人机树识别也是一个重要方向.

针对无人机采集图像快、影像分辨率高、数据量大等特点，采用嵌入式设备，集成GPU资源，采用框架技术(如Spark-streaming流式处理组件)进行实时与批量计算，从而实现实时动态监测.在此基础上，应拓展研究内容，如复杂林分树种识别、天然林演替、森林资源调查中小班自动勾划、森林火灾监测等，在样地、林分尺度，甚至更大尺度开展森林健康监测，从而改进和完善森林资源监测体系.