基于U-Net网络和无人机影像的松材线虫病变色木识别

张瑞瑞，夏 浪，陈立平※，谢春春，陈梅香，王维佳

（1. 北京农业智能装备技术研究中心，北京 100097； 2. 国家农业智能装备工程技术研究中心，北京 100097；3. 国家农业航空应用技术国际联合研究中心，北京 100097； 4. 农业智能装备技术北京市重点实验室，北京 100097；5. 山东瑞达有害生物防控有限公司，济南250000）

0 引 言

松材线虫病（Pine Wilt Disease，PWD）是由松材线虫（Bursaphelenchus xylophilus）引起的毁灭性森林病害，可通过松墨天牛等媒介昆虫快速传播，属中国重大外来入侵病种。近年受气候变化和人员流动等影响，该病迅速蔓延，截止2020年已在中国18省（666个县市）发生[1]，面积达111.46 hm2，导致大量松树枯死，对中国松林资源、自然景观和生态环境造成严重破坏。松树染病后针叶颜色出现明显变化，起初针叶失水，褪绿，继而变褐，而后呈红黄色[2]。该病当前无有效防治药物，一旦发生，只能通过砍伐移除整株松树，切断病源防止扩散来进行治理。因此，尽早识别病木并定位，可以缩短对病木的处置时间，降低蔓延速度。

利用卫星和无人机（Unmanned Aerial Vehicle，UAV）遥感技术进行森林变色木识别是当前松材线虫病疑似染病松树识别和定位的主要技术手段。材线虫病变色木识别方面的相关研究主要集中于基于光谱特征的光谱波段选择和基于遥感图像结合分类算法开展变色松树监测 2个方向。例如，张衡等[3]使用高光谱数据对染病树木进行特征分析，表明采用593 nm波段光谱数据计算一阶导数，结合叶绿素质量分数可作为马尾松是否染病的特征依据。杜华强等[4]采用分形理论对高光谱数据开展马尾松松材线虫病发病早期探测研究。白雪琪等[5]基于高光谱数据源，构建归一化光谱指数（Normalized Difference Spectral Index，NDSI）、比值光谱指数（Ratio Spectral Index，RSI）、差值光谱指数（Difference Spectral Index，DSI）与叶绿素a、b含量、含水率的相关系数对油松毛虫危害程度进行研究。黄明祥等[6]对健康和发病马尾松针叶的时序高光谱进行观测研究，表明近红外波段内最大的一阶微分值、红边内一阶微分和与蓝边内一阶微分和的比值是指示病害发生的显著性高光谱特征。吴琼[7]使用颜色和纹理特征对获取的无人机遥感图像开展变色松树识别研究。胡根生等[8]使用加权支持向量机（Support Vector Machine，SVM）对染病松树展开识别研究。曾全等[9]研究无人机不同飞行高度下获取数据对变色松树识别效率，并采用归一化植被指数（Normalized Difference Vegetation Index，NDVI）监测变色松树，取得85.70%的精度。基于人工神经网络的深度学习图像分类和分割算法，如 VGGNet[10]、Google Inception[11]、深度残差网络（Deep Residual Network，ResNet）[12]、U-Net分割网络[13]和Fast R-CNN分割网络[14]等极大地提升了图像分类和分割的精度和鲁棒性。上述方法也广泛地运用于农业图像识别领域，例如黄双萍等[15]使用深度卷积网络Inception预报水稻稻瘟病，验证结果表明穗瘟病害预测最高准确率达到92.00%。孙钰等[16]使用深度学习检测算法SSD300开展森林虫害实时监测研究，检测精度达到97.00%。周云成等[17]通过改进VGGNet网络，提出可用于番茄主要器官的分类方法，针对果体、花和茎的识别精度分别不低于81.64%、84.48%和53.94%。刘媛媛等[18]使用 U-Net分割网络对秸秆数据开展分割研究，取得94.30%识别精度。胡志伟等[19]使用迁移学习将VGG16模型参数迁移至U-Net网络，对生猪轮廓开展识别研究，取得94.32%精度。

松材线虫病变色木识别方面暂未有基于人工神经网络的深度学习方法开展相应研究。松材线虫病变色木监测工作通常在较大区域开展，一方面无人机获取影像时外界气象（云、雾）、光照条件的变化导致图像成图质量存在一定差异；另一方面由于监测区域较大，下垫面情况复杂，同类地物存在不同的光谱特性，类间干扰较大。这要求识别算法需克服复杂、多场景下的类间干扰，以提高变色木识别精度。本研究使用无人机获取大面积地物影像，通过人工目视解译和地面实地验证获得的变色松树作为训练样本，基于 U-Net图像分割网络，构建了可用于大区域松材线虫病变色木识别的分割器，以期望提高松材线虫病变色木自动识别精度。

1 数据和方法

1.1 研究区概况

研究区域位于青岛市崂山区北部（36°05′N～36°19′N，120°24′E～120°42′E），如图 1 所示。研究区西南部是城市建成区，东北部为山地，陆域面积395.79 km2，平均海拔360 m，最高海拔1 132.7 m，年平均地面温度14.2～15.0 ℃，年均降水约660 mm，植被覆盖以针叶林为主，是松材线虫病高发区域。采集变色木影像试验区域位于崂山区仰口隧道和黑虎山区域，其中仰口隧道区域面积56.50 km2，黑虎山区域面积53.07 km2。

图1 研究区地理位置概况Fig.1 Location of the study area

1.2 数据获取

1.2.1 无人机航拍

航拍设备使用DB-II固定翼型无人机（图2），该无人机以燃油为动力，具有较强抗风能力和较长续航时间；成像设备采用飞思iXU 180-R 8000万像素相机，该相机具有宽动态特性的无人机航拍专用相机系统。无人机与航拍相机的具体参数信息如表1所示。

图2 无人机与航拍路径Fig.2 DB-II Unmanned Aerial Vehicle (UAV) and routes of aerial photography

表1 DB-II型无人机和飞思iXU 180-R航拍相机参数表Table 1 Parameters of the DB-II Unmanned Aerial Vehicle (UAV)and the iXU 180-R camera

航拍分2个架次完成，航线设计如图2所示，黑虎山区域航拍时间为2018年10月06日，仰口隧道区域航拍时间为2018年10月14日。无人机飞行高度低于700 m，飞行速度100 km/h，等距离方式拍摄，飞行方向重叠度不低于 75%，旁向重叠度不低于 50%，采集正射影像（Digital Orthophoto Map，DOM）分辨率8 cm。另外，布设地面控制点，使用差分全球定位系统（Differential Global Positioning System，DGPS）设备采集地理坐标进行后期地理位置精纠正，整体定位精度达到0.4 m。航拍飞行获得黑虎山区域1 567张航拍影像，仰口隧道2 232张航拍影像。

1.2.2 变色木地面样点调查

对变色木识别过程中遇到的难以判读、疑难点和集中发生区域采用智能终端采集变色木图片，同时记录该变色木地理坐标。开展地面调查获取的地面样点数据用于辅助目视解译和验证无人机影像变色木识别精度。地面调查共采集45处变色木图像。

SAP10-2视野检测程序发现视野损害前青光眼黄斑区视功能损伤的能力…………………… 汪星朦 孙兴怀戴毅 等（6）748

1.3 数据处理

航拍无人机图像间重叠较大，为提升解译效率和避免重复，对无人机影像数据按照成像区域使用Pix4Dmapper软件进行拼接生成正射影像。使用PIE软件和 DGPS采集得到的地理坐标对拼接后正射影像进行地理位置精纠正。通过人工目视解译，判识全部区域影像，并标记变色木。完成解译后，仰口隧道区域影像标识1 312棵，黑虎山区域标记 356棵。将地面调查采样结果对人工目视判读结果进行精度验证，得到人工目视解译精度95.24%。

使用 PIE软件对人工目视识别的松材线虫变色木进行标记，并对包含变色木的图像和掩码标记图像进行裁剪，裁剪尺寸128×128像素，得到训练样本。图3为包含典型干扰地物的病害变色木训练样本图像，其中干扰地物分别为岩石（图3a）、土壤（图3b）、岩石和土壤（图3c）。此外，为扩充训练样本数据集，对训练样本进行数据扩增，具体规则如下：

1）随机对样本图像和标记图像以中心点旋转0～45°；

2）随机对样本图像和标记图像在水平和垂直方向按照图像宽度和高度的0～20%进行平移；

3）随机对样本图像和标记图像按照-20%～20%比例改变图像亮度；

5）按照1:10比例对样本图像进行上述处理，即训练样本扩大10倍。

本研究使用仰口隧道区域影像作为训练和验证数据集，黑虎山区域影像数据作为测试数据集。完成数据预处理后，共得到13 120个训练样本。

1.4 U-Net深度学习分割网络

2015年国际医学图像计算和计算机辅助干预（Medical Image Computing and Computer-Assisted Intervention，MICCAA）会议首次公开用于医疗影像分割的 U-Net网络[13]。由于简洁的分割逻辑和出色的分割效率，图像分割领域大量使用该网络进行图像分割[20-21]。U-Net网络由下采样（编码）和上采样（解码）2个部分构成，下采样用于提取图像特征，上采样用于恢复下采样学习获取的特征细节，此上下结构构成U型网络。在U-Net网络中下采样部分由5个节点构成，前4个节点中每个节点由2个3×3卷积处理和一个2×2降尺度最大池化处理构成，最后一个节点由2个3×3卷积和一个 2×2升尺度最大池化处理构成。上采样由 4个节点构成，每个节点由2个3×3卷积处理和一个2×2升尺度卷积处理组成。此外，由于下采样和上采样之间使用直连网络连接，网络能够获取图像在不同尺度上的特征，进而提升网络分割能力。

图3 包含典型干扰地物的病害变色木训练样本图像和掩码标签Fig.3 Training wilt images with typical obstruction items and mask labels

2 结 果

2.1 U-Net模型训练

用于 U-Net模型训练工作站参数：Intel Xeon E5-2630×2处理器，32GB内存，4TB磁盘，RTX 2080Ti 11GB显存显卡。U-Net模型使用基于Tensorflow后端的Keras构建，选用Adam优化器，训练迭代30次，块（batch）大小32，学习率0.000 1。对样本数据以8:2划分为训练数据集和验证数据集。图 4为训练过程中每次迭代获取的模型验证精度、损失值和模型训练精度、损失值。

由图 4可知，模型的训练精度随迭代次数增加逐渐提高，模型的训练损失值随迭代次数增加逐渐降低。对于模型的验证精度和损失值，存在相同规律，没有出现过拟合或欠拟合以及梯度消失等问题，表明模型被正确的训练。总体上，模型的训练精度和验证精度分别达到98.74%和97.76%。

2.2 模型应用和精度

使用训练后的模型，对黑虎山区域无人机影像进行预测，得到变色木图像分割结果。图 5所示是选取的不同光照条件、具有代表性背景地物图像和对应分割结果，其中图5a～5d是无人机获取变色木真彩色影像，图5e～5h是U-Net网络分割结果。图5a中地物主要由变色木、常绿林混合构成，图5b地物由岩石、变色木构成。图5c地物由岩石、变色木与常绿林混合构成，该图成像时光照条件较差。图5d地物由裸土、岩石、变色木和绿色树木混合构成，其中 2株变色木位于图像上部，一株变色木位于图像右下边缘。分析图5可知，U-Net网络能够较好的对松材线虫病变色木进行分割，无明显漏分和误报，且对颜色相近的地物，如岩石、土壤和变色树木有较高的识别精度。

图4 U-Net模型的训练、验证精度和损失值Fig.4 Training accuracy, validation accuracy, training loss values, and validation loss values of the U-Net model

图5 U-Net网络变色木分割结果Fig.5 Segmentation results of the wilt wood

为近一步评估变色木图像分割结果的精度，使用混淆矩阵评价 U-Net分割网络精度。主要步骤为在黑虎山区域验证影像中随机选取145幅图像，使用U-Net网络进行分割，与人工绘制变色木标记掩码进行对比，得到混淆矩阵。由于松材线虫变色木识别目标是单株变色木，精度的评定以分割变色木棵树为基础，不以分割的像元数量多少进行比较，为此需将分割结果转换为棵树。具体转换方法为：对一个孤立松材线虫病变色木像素构成的图斑，若图斑像素和＜9，则认为该图斑不为变色木，否则是变色木。上述处理依据：变色木大小应＞20 cm×20 cm，无人机获取图像分辨约 8 cm，则对应最小变色木图斑像素应＞9。此外，考虑林木之间存在一定遮挡，两图斑之间距离＜9像素则合并为一株变色木。

如表2所示，U-Net网络分割变色木用户精度和生产者精度分别是93.51%和97.30%，针对其他地物分割的用户精度和生产者精度97.06%和92.96%。变色木识别遗漏会导致感染疫木清除不彻底，影响防治效果，因此应用中要求较低的误报和漏报率，且漏判率低于误判率，以减少对染病木的漏报。本研究中变色木误报率6.49%，漏报率2.70%，漏报率显著低于误报，达到较高精度。总体上，U-Net网络变色木识别精度95.17%，Kappa系数0.90，表明分割精度较高。

表2 U-Net网络分割精度Table 2 Segmentation accuracies of U-Net model

3 讨 论

松材线虫病变色木的识别亦可以使用其他图像识别算法进行，如支持向量机[22]、随机森林等[23]、最大似然[24]等算法。在上述算法中，随机森林算法（Random Forest，RF）是一个常用机器学习方法，由Breiman[23]提出。该方法构建多个相互独立的决策树，通过多次抽取样本对构建决策树进行投票，得到最终决策结果。RF具有较高的精度，被广泛运用于图像分类、参数回归拟合等方面。例如，岳继博等[25]使用遥感数据源和RF算法估算冬小麦生物量，陈元鹏等[26]使用RF算法对工矿区复垦土地进行分类，王丽爱等[27]使用RF估算小麦叶绿素相对含量值。本研究基于Scikit-learn机器学习工具软件[28]，使用与U-Net网络相同的训练数据训练RF模型，运用训练的RF模型对验证数据进行逐像素预测，形成逐像素识别结果（图6）。

图6 U-Net分割结果和随机森林（RF）识别结果Fig.6 Segmentation results for U-Net and Random Forest（RF）model

由图6可知，RF方法能够识别松材线虫病变色木，但相比 U-Net网络分割结果存在误报较大和识别结果不完整的问题。如图6i～6l所示，RF算法对变色木识别不完整，变色木分割结果像元均出现破碎状，椒盐现象明显。椒盐现象出现的原因是同一地物呈现出差异较大的光谱信息。本研究在使用RF算法时仅仅使用光谱信息作为输入，分类精度有待提高。为此，本研究计算局部二值模式（Local Binary Pattern，LBP）、Haralick纹理（包含角二阶矩、对比度、相关性、方差、熵、均值、同质度）与真彩色图像叠加生成新的训练数据训练模型，得到结果如图7所示。

图7a～7d是图6a～6d作为输入图像得到的分类结果；图 7e～7h以图 5a～5d作为输入，不结合纹理信息得到分类结果；图7i～7l以图5a～5d为输入，结合纹理特征得到分类结果。对比图 7e～7h 与图 7i～7l，图 7a～7d 与图 6i～6l，表明纹理信息的添加能够降低误报、减少椒盐现象。对比图7e与图7i，图7a与图6i可知，在待分割对象与背景地物在光谱上存在较大差异时，使用纹理信息与否，RF分类器均能获取较好精度。总体上，在背景较为复杂时，如变色木、岩石、土壤等颜色与变色木类似时，U-Net分割网络相比RF能够更好的识别上述背景地物。

图7 随机森林（RF）模型识别结果Fig.7 Results of Random Forest (RF) model

U-Net深度学习网络能够实现较高精度变色木识别的前提条件在于数量足够的高质量训练样本。为分析样本数量和质量对 U-Net网络变色木识别精度的影响，本研究开展减少训练样本和降低训练样本质量 2个方面的对比分析：1）将用于训练的样本减少2/3，即随机选取4 373个样本训练模型；2）随机对用于训练的13 120个样本中50%标签样本添加大小1～20像素的枯死木标记，再对模型进行训练。使用2.2节中所用145幅影像对1）和2）两种处理得到模型精度进行评估，且重复5次，得到平均识别精度分别为90.2%和79.1%。这在一定程度上说明样本的质量对于 U-Net网络识别变色木更为重要，U-Net网络可以在较小的数据集上获取较高分割精度，这与U-Net网络特性一致[13]。

4 结 论

本研究通过使用无人机获取大区域无人机影像数据，结合基于人工神经网络的深度学习分割网络 U-Net对松材变色木图像进行分割研究。人工目视解译识别变色木与地面实际采样点结果对比表明人工目视解译精度95.24%。使用样本数据和标签掩码对 U-Net网络进行训练，得到训练精度和验证精度达到98.74%和97.76%，网络的训练未出现局部最小值或梯度消失等情况。采用混淆矩阵评估 U-Net网络分割精度表明，变色木图像分割的用户精度和生产者精度分别达到93.51%和97.30%，误报率6.49%，漏报率2.70%。总体上，U-Net网络变色木识别精度95.17%，分类Kappa系数0.90，达到较高精度。U-Net网络较随机森林方法能够降低误报，且能够极大地降低分割噪音。U-Net分割网络识别变色木，样本质量相比样本数量对识别结果影响更大。U-Net深度学习分割网络适用于大区域松材线虫病变色木识别工作。